AIはコードにスコアをつけることもできるのでしょうか？アリババのコーディングコンテストに世界初のAI審査員が参加

エンジニアはコードを使用して AI を作成しますが、AI はコードにコメントしたり、バグを修正したりすることもできます。エンジニアとAIの関係は微妙になってきています。

4月18日、2019 Alibaba R&D Effectiveness Summitの「83 Lines of Code Challenge」決勝戦では、専門家審査員や一般審査員と協力して出場者が提出したコードの総合評価を行う「AI審査員」が導入されました。これは、世界的なコードコンテストに登場した初の AI 審査員でもありました。

写真は83 Lines of Code Challenge決勝のランキングリストです。 AI審査員、一般審査員、専門家審査員が出場者に採点を行います。

アリババの3万人以上のエンジニアが参加するこの技術カンファレンスは、社内の研究開発効率をさらに向上させることを目的としており、「83行コードチャレンジ」はアリババ史上最大のコードテイスティングイベントと言えるでしょう。このコンテストは、1年前にアリババのイントラネット上で行われたイベントに端を発し、一群の人々が83行のコードを投稿した。アリババグループCTOのZhang Jianfeng氏、Ant Financial CTOのCheng Li氏、さらにはJack Ma氏とLucy Peng氏も参加した。

この AI ジャッジはクラウドで実行されます。出場者がコードを提出すると、静的分析、実行時分析、グループの共通性など、さまざまな側面からコードがすぐに採点されます。競技会場では、大型スクリーンに出場者の得点がリアルタイムで表示されます。 AI審査員、専門家審査員、一般審査員のスコアが順番に表示されるとともに、総合スコアに基づいたスコアランキングリストがリアルタイムでスクロールします。論理言語の処理により、出場者の順位が瞬時に向上することもあります。

現場の専門家と一般審査員の意見を組み合わせた AI 審査員の採点は非常に正確で、採点も最も速く、コードが提出されてからほぼすぐに結果が表示されます。

AI審査員は誰ですか？

この AI 審査員は、アリババのコード プラットフォームによって開発された人工知能システムから生まれました。システムの最も重要な部分は、Precfix (経験的クラスタリングによるパッチ推奨) の統合です。テストケースやコンパイル結果に依存しません。不定期のインテリジェントスキャンにより、コード内のバグを自動的に検出し、修復の提案を提供します。速度は数ミリ秒に達し、誤報率は低くなります。

写真はAI審査員がつけたスコアです。 Precfix はコード内の欠陥を特定し、修復の提案を行います。

Precfix は、ルール チェックや手動レビューでは発見できない欠陥を発見できるため、コードの品質が根本的に向上し、開発エンジニアのデバッグとコード レビューの時間が効果的に短縮されます。同時に、Precfix が提供する修復提案は、エンジニアが欠陥を迅速に理解し、問題を解決するのに役立ちます。

写真は、エンジニアがPrecfixから提供された修理提案に従って欠陥を修理したことを示しています。

現在、Precfix は欠陥検出のために Alibaba のコード実稼働環境に導入されています。エンジニアはコードを書き終えると、それをオンラインで提出します。 Precfix はそれを確認し、欠陥のあるコードを指摘し、対応する修復の提案を提供します。

あるエンジニアによると、以前はバグを見つけるための手動コードレビューに数時間から数日かかっていたが、現在ではPrecfixはコーヒー1杯を飲む時間よりも短い時間で提出されたすべてのコードをレビューできるようになり、効率が少なくとも20％向上したという。

将来、Alibaba のコード プラットフォームがクラウドに移行するにつれて、Precfix は引き続き世界中の開発者にサービスを提供していきます。