N1!のPorductivity Engineerとして生産性向上に関わる活動をしている石川です。
ニフティでは2023年6月からPoCとしてGitHub Copilot for Businessを限定的に導入していましたが、2023年9月に正式導入することになりました。現在では希望する方は誰でも利用することができます。
本日はGitHub Copilotの利用状況と効果について話したいと思います。
GitHub Copilotの利用状況
Acceptance Rates
20人ほどでPoCを行っていたときのCopilotの提案採用率となります。
導入初期は好奇心からか採用率は50%を超えてましたが時間が経って30%前後に集約しました。Copilot利用者の提案採用率は約30%なので近い値にはなっていますね。
利用者がまだ少ないのと人や言語差の影響が大きく採用率が乱高下してますが、利用者がもっと増えてきたらまた変わってくるかと思います。
言語別
大抵のプログラミング言語では30%超えてますね。Javaに関しては60%超えているので、GitHubのブログにあった通りなので本当に精度がいいのだと思います。
記述内容が短文だったり自由度の高い言語ほど採用率が低い傾向にあるように見えます。
こちらもまだ母数が少なく使う人の採用スタイルに率は大きく依存するので、もっと普及するとどう変化するか追っていきたいと思います。
利用者へのアンケート結果
PoC時に取ったアンケートの結果も一部共有いたします。
工数削減効果
アンケートで取った以下の質問を散布図にしたものがこちらになります。
- 1日あたりCopilotの効果でどのくらい時間が節約できたか
- 10分未満, 20分, 30分, 1時間, 2時間, 3時間, 4時間以上
- 1日の仕事の中でコーディングに費やす時間
- 20%未満,40%,60%,80%以上
集計すると平均して 1日38分 工数削減できていて、コーディングに費やす時間が 23.73% 減ったと実感しているという結果となりました。
GitHub Copilot を使用するとタスクを 55% 早く完了できる らしいので、それに比べるとまだまだですが十分効果は出ていると思います。
改善されたことと変わらなかったこと
Copilot利用前後での変化を聞いた結果がこちらになります。
主にコーディング速度とそれに伴うタスク完了までの速度に大きく影響を与えていますね。
書くのがめんどうな型定義やテストまわりで活躍していて精神面でもよい効果が出ているようです。
都度ドキュメントを調べたりする機会が減ることで集中力が高まる効果もあるかと思ったのですが、そこについては変わらないという結果となりました。
生産性は向上したか（実感ベース）
8割以上が生産性向上を実感している。
費用対効果について
GitHub Copilot for Business は $19/user/month と決して安くはないですが、コーディングに費やす時間23%減という効果は出ているため、下振れたとしてもある程度の時間コーディングしているのであれば十分元は取れるものだと思います。
ただ今回の結果が一時的なものである可能性もあるため、効果については他の要素との相関も見つつ継続して計測していくつもりです。
最後に
PoC開始時点では試すだけ試してみるかというスタンスでしたが、実際に使ってみるとプログラミング体験がガラッと変わりました。ちょうどいいところにちょうどいいものを提案してくれる体験、悩んでいると合っているかは置いておいて候補を出してくれるという体験はとても心地よいものでした。
ChatGPTで十分と考えている方も一度GitHub Copilotを触ってみることをおすすめします。
公式がCodespacesでCopilotを体験できる環境を用意してくれているので無料で触れます。
Take GitHub Copilot on a test-flight. – GitHub Resources
GitHub Copilot ChatもPublic betaになりましたし、Copilotは利活用できる余地は多く残されていて、まだまだ生産性を上げてくれるのではないかと考えています。
宣伝
来週 9月26日(火) 12:00〜13:00にYouTube LiveにてGitHub CopilotをテーマにしたLTを行います。こちらでは今回書いていない利用者視点の話もあります。
興味がある方がいましたら以下のconnpassにご登録をお願いいたします。
GitHub Copilotの導入や活用 – connpass
