５．人工知能の信頼度を上げる取り組みはまだまだ続く
9月下旬にOPLで信頼度を測る実験が行われたので見学しました。その日は、シュネルがフライトシミュレーターに仕立てたL-29のコックピット内に、1人のベテランパイロットが1日中座っていました。そのパイロットは、VRヘッドセットを装着して、人工知能が繰り広げる空中戦の指揮を執っていました。前年の春に行われた信頼度を測る実験に参加していた若いパイロットと同じように、人工知能への信頼度が測られていました。そのために脈拍等の生体反応のデータが収集され、飛行のデータも記録されていました。しかし、今回、パイロットはあらかじめ用意されたシナリオで空中戦を戦うのではなく、コンテストで勝ち残った3社（ヘロンシステムズ社、フィジックスAI社、エピ・サイ社）が開発したAIエージェントと空中戦を戦いました。
その日の終盤、空中戦の設定が変更されました。パイロットは交戦を中止し、飛行機を手動で（人工知能に頼らず）飛行させ、安全な状態になったと感じたら、再び人工知能による操縦に戻しても良いことになりました。ソアテック社の上席研究員のローレン・ライナーマン・ジョーンズは、パイロットが最初の空中戦に負けた場合には、人工知能への信頼度が回復するには時間がかかるだろうと予想していました。しかし、パイロットが最初の戦いに勝ったとしても、人工知能への信頼度が急激に高まるわけではありません。その後に何度も勝つことによって徐々に上がるだけです。そして、パイロットが最後の空中戦に負けると、信頼度は下がります。しかし、そんなに上がった信頼度が大きく下がるわけではありません。
パイロットが収まっていたコックピットの近くに4台のコンピューターが設置されていました。1台はパイロットがヘッドセットのビジョンに見ている映像を記録していました。その横の1台はパイロットの生体反応のデータの何種類かが色分けして線グラフ化されて表示されていました。それは人工知能への信頼度がどのように変化するかを示すものでした。ライナーマン・ジョーンズの説明によれば、茶色のラインが他の色のラインよりも上に表示されていたのですが、それは信頼度をほぼ正確に示しているものだということでした。彼女が他の研究員と協力してさまざまなデータから信頼度をグラフィックに見やすく表示できるようにしたのです。ウッドラフが近くに座っていたのですが、膝の上にノートパソコンを置いて、ボイスレコーダーを手にしていました。ほぼ1分おきにパイロットに人工知能への信頼度を尋ねていました。必ずと言っていいほど、「高い！」という答えが返ってきました。
しかし、報告会が行われたのですが、パイロットは結果に納得していないようでした。ある空中戦では、彼が操縦する戦闘機と敵機が激しく追跡し合って優勢劣勢が目まぐるしく入れ替わりました。空中戦の模様を映すコンピューターも設置されていたのですが、あたかも排水溝に水が流れる時の渦の様でした。パイロットはウッドラフに、人工知能による操縦を続けたものの、「敵機を撃ち落とすことはできないことは分かっていたんです。本当の空中戦であれば、あんな風に激しく回り続ければガス欠になるか、後ろから別の敵機に撃ち落とされてしまいます。」と言いました。実際の空中戦であれば、敵機に対して優位に立つために、パイロットはもっとリスクを受け入れたと思われます。一般的には、人工知能は、人間よりもずっと賢い選択をするはずだと考えられています。ですので、パイロットが空中戦の交戦中に、良い作戦があると思った際に人工知能がその作戦を採用しなかった際には、パイロットはどう考えるでしょうか？おそらく、どうしてなんだろう？もっと良い作戦があるのかな？と悩むことになるでしょう。
そうしたパイロットの批判は的を得ています。彼が批判したとおり、AIエージェントにはまだまだ未熟なところがあります。実際に敵機と空中戦を戦えるほど洗練されたレベルになる為には、さらに多くの試行錯誤が必要でしょう。しかし、パイロットが人工知能を批判したことは、1年前のコンテストの時に解説を務めていた時にジャスティン・モックが言っていた「戦闘機のパイロットは上手くいくものを信じる。」という言葉を思い起こさせました。
それ以来、AIエージェントの開発をさらに推し進めて、敵機2機に同時に応戦できるようにテストが繰り返されています。しかし、それは想像以上に複雑な作業でした。さらに、シミュレーターの機能改善に着手していて、現実の戦闘機の挙動をより忠実に再現できるようにしようとしています。最初のステップとして、空中戦を行うシミュレーターの機能を改善し、L-39を実際に飛行した際に感じる加速度や重力を体感できるようにします。今後数カ月間でその作業を終えて、新たに開発したアルゴリズムを導入したAIエージェントを戦闘機シミュレーターに搭載します。それにより、重力や加速度を体感できるようになり、パイロットはより実戦に近い状態でのテストが出来るわけですが、その状態で人工知能に対する信頼度がどのように変わるかも調べる予定です。ACEプログラムの責任者であるライアン・ヘフロンが言っていたのですが、戦闘機の試験飛行をすると、全ての機体が「問題あり」と評価されるそうです。それで、いくつかの機体だけが「かろうじて使える」という判断をされるそうです。シミュレーターを使って、開発した人工知能の信頼度を測るわけですが、へフロンは、「かろうじて使える」レベルの信頼度が得られることを期待しています。
シュネルが私と人工知能の進化について話している時に言ったのは、シミュレーターと現実は全く違うということを忘れてはいけないということでした。確かに、シミュレーターでは誰も死ぬことはありません。OPLの格納庫の中で行われている研究開発では、シミュレーターを使ったものですので、自機が撃ち落とされたり地面に激突しても、誰も死ぬことはありません。リセットボタンを押せば簡単にやり直せます。シュネルは私に言いました、「シミュレーターで重力や加速度を体感できるようにしたのは大きな改善と言えます。より、現実に近づける努力は今後も続けるべきですね。次は、本当に金属片がパイロットに向かってくるようにすべきかもしれません。」と。♦
以上