５.
しかし、本当に目を思い切り細めて見なければならない。「私が心配しているのは、人々が『 AI には本当に懐疑的である』という態度から、完全に盾を投げ捨ててしまったことである」とプリンストン大学の神経科学者ノーマンは語る。「まだ多くのことが解明されていない」。ノーマンの指摘は、私にも正しく当てはまる。というのは、私はカネルヴァが著書「 Sparse Distributed Memory 」で説明した思考( thoughts )、感覚( sensations )、そして記憶( recollections )は高次元空間の座標として表現できると主張するモデルとアンスロピックのモデルが非常に似ていることに関心してしまい、詳細を気にしなくなってしまったからである。ここ 1、2 年で、AI 研究で先日ノーベル賞を受賞したジェフリー・ヒントン( Geoffrey Hinton )の言葉を深く信奉するようになった。それは、ヒントンが 2020年 にジャーナリストのカレン・ハオ( Karen Hao )に語った「ディープラーニングは何でもできるようになる」というものである。しかし、大規模言語モデルが必ずしも優れたモデルになるとは限らないこともわかっている。大規模言語モデルのパフォーマンスとサイズをプロットした曲線は平坦化し始めている。大規模言語モデルがまだ消化していない高品質なデータを見つけることが難しくなっているし、コンピューティングパワーはますます高単価になっている。 GPT-5 が今年 8 月に登場した時、それは単なる漸進的な改善に過ぎないと受け止められ、AI 投資バブルを崩壊させるほどの深刻な失望を招いた。今必要なのは、中庸な懐疑論である。つまり、難問が残っていないとは考えず、現在の AI モデルの不具合を真剣に受け止める姿勢こそが重要である。
おそらく、これらの難問の中で最も難しいのは、人間と同じくらい効率的に学習するモデルをどのように設計するかということである。GPT-4 はトレーニングで数兆の言語データに晒されると推定されているが、人間の子供が流暢に言葉を話すようになるには数百万語しか必要ない。認知科学は、新生児の脳には学習を加速させる特定の「帰納的バイアス( inductive biases )」があることを明らかにしている。それは正しくそのとおりで、人間の脳は何百万年もの進化の結果であり、それ自体が一種のトレーニングデータであるわけだから。たとえば、人間の赤ちゃんは、世界は物質( objects )でできており、他の存在は信念( beliefs )や意図( intentions.)を持っていると予測できる。ママが「バナナ」と言えば、乳児はその言葉から、目の前に見えているバナナの先端や皮だけでなく、中身を連想することができる。どんな乳児もいろいろと試みる。つまり、小さな実験を行う。これは食べられるのか？これはどれくらい遠くに投げられるか？を確かめようとしたりする。彼らは、欲望、好奇心、フラストレーションなどの感情によって動機付けられる。子供というものは常に、自分の能力を超えた何かをしようとしている。彼らの学習は、具体的( embodied )、適応的( adaptive )、意図的( deliberate )、継続的( continuous )であるゆえに、非常に効率的である。世界を真に理解するには、世界にじかに触れることが必要かもしれない。
それに比べると、AI の経験なんてものは非常に貧弱で、実際のところ「経験」と呼ぶことさえ不可能である。大規模言語モデルは、既に非常に洗練されたデータでトレーニングされている。「それらが機能する理由は、言語に便乗しているからだと思う」とカリフォルニア大学バークレー校の神経科学者のツァオは語る。言語化されたデータは経験をあらかじめ噛み砕いたようなものである。他の種類のデータの意味はそれほど濃くない。「ビデオデータに関する推論で、同等の進歩が見られないのは何故か？」と、ハーバード大学の認知科学者であるガーシュマンは問いかける。「私たちが既に持っている種類の視覚モデルは、物理学に関する常識的な推論で苦労している」。ディープマインド( DeepMind )の最新のモデルは、絵の具が混ざる様を正確に示す動画を生成できる。迷路が解かれる動画も生成できる。しかし、時として、落ちたガラスが砕けるのではなく床からバウンドする動画や、ロープが三次元の世界ではあり得ない挙動で結び目になる動画が生成される。現在はマイクロソフトリサーチ( Microsoft Research )に勤務する認知神経科学者イダ・モメネジャド( Ida Momennejad )は、大規模言語モデルに建物内を仮想的に歩き回らせ、経路や近道について質問するという実験を行った。これは人間にとっては容易な空間推論である。ごく基本的な設定を省くと、AI は失敗するか、存在しない経路を幻覚的に提示する傾向がある。「 AI は本当にプランニング( planning )をしているのでだろうか？」と彼女は言う。「実際にはそうではない」。
多くの神経科学者と会話したのだが、私はいささか懸念することがある。AI 業界がやや思慮に欠ける形で突き進んでいるような気がする。プリンストン大学の認知科学者ブレンデン・M・レイク( Brenden M. Lake )が指摘するのだが、「もし目標が人工知能を人間の心と同等の能力にすることだとしたら、現時点で私たちは人工知能を正しく訓練できていない」。AI の訓練が完了すると、そのニューラルネットワークの「脳( brain )」は凍結される。その状態の AI にユーザーがユーザー自身に関する事実を伝えても、ニューロン群の配線は変更されない。代わりに、AI は実に粗雑な代替手段をとる。「ユーザーは幼児を抱えており、フランス語を勉強している」といった短いテキストを書き込み、ユーザーが他の指示を与える前にそれを考慮するのである。非常に対照的であるが、人間の脳は絶えず自己更新しており、その方法は様々だが非常に洗練されている。一例を示す。睡眠中、エピソード記憶( episodic memory：いつ、どこで、何があったかという、個人が経験した出来事に関する記憶のこと)の中から選択されたスナップショットが大脳新皮質に再生され、訓練に用いられる。人間の脳の高次元の思考空間に再生されたエピソード記憶によって窪みが生じ、目覚めた時には少し新しいものの見方をしている。
現在、AI 業界は熱狂の最中にある。長足の進歩のためにあちこちで挙って膨大な資金が投じられているため、進歩は必然であると錯覚することがある。科学は万能で為せないことはないと感じることもある。しかし、科学には時に行き詰まるという厄介な性質がある。シリコンバレーは AI 企業を「ラボ( labs )」と呼び、一部の従業員を「研究者( researchers, )」と呼ぶこともあるが、根本的には、上手くいくことなら何でもやってみるというエンジニアリング文化( engineering culture )が根付いている。「 AI 研究者のコミュニティでは、それ以前の歴史や認知科学をほとんど顧みず、ましてや尊重しようとしないことには、実に驚かされる」とコーエンは述べる。
今日の AI モデルの成功は、数十年前の脳に関する研究の成果の貢献が大きいわけだが、それでもなお、AI モデルと人間の脳の間には様々な違いがある。どの違いが偶発的で、どの違いが根本的なのだろうか？神経科学を研究する機関、研究室はいっぱいあるが、それぞれ独自の理論を展開している。これらの理論は旧来は不可能だった方法で検証することができる。しかし、容易に答えが得られると考えている者はいないだろう。「 AI モデルを悩ませ続ける問題は依然として多いわけだが、結局のところ、AI モデルが期待どおりに動作しない点を注意深く特定し、その問題に粘り強く対処することでしか解決できないのである」とノーマンは述べる。「それは依然として、生身の人間が関与してコツコツと取り組むプロセスである」。