What We Still Don’t Know About How A.I. Is Trained
AI の学習方法についてまだわかっていないこと
GPT-4 is a powerful, seismic technology that has the capacity both to enhance our lives and diminish them.
GPT-4 は非常に影響力の強いテクノロジーであり、私たちの生活を改善させたり、逆に改悪させる能力を持っています。
OpenAI社が開発した人工知能（AI）の”GPT-4”は、革新的でクールであることに疑いの余地はありません。それは、松尾芭蕉のスタイルで句を詠むことができ、簡単な曲のコード進行や楽譜も書けるし、ピーナッツバターとジャムのサンドイッチの7ステップのレシピも教えてくれます。私は、試しに世界の命運を握るナルシストな政治家を主人公にしたミュージカルを書いてほしいと頼んでみました。すると、2幕からなる物語を提供してくれました。アレックス・スターリング（Alex Sterling）なる人物が主人公でした。彼は権力を握り、権謀術数を弄し、さまざま決断を下しながら、がむしゃらに未来に突き進もうとしていました。ちゃんとミュージカルとしての体裁が整っていて、主人公が歌って踊るシーンも用意されていました。曲は、”鏡の中のナルシス（Narcissus in the Mirror：ナルシス＝水仙）”、”権力の代償（The Price of Power）”など全部で12曲でした。全て新たに創作された曲でした。
これらの曲は、AIが何もないところから生み出したように思えます。確かに、全く人手を介すること無く曲が生み出されています。しかし、スターリングを主人公とするそのミュージカルは、自己発見、贖罪、リーダーシップの発揮などが主題となっており、ミュージカルとしてはお馴染みのパターンです。お馴染みのものが生み出されたのには理由があります。GPTが提供するものは、膨大な量の素材を覚え込ませたアルゴリズムが媒介して生み出したものなわけですが、そのアルゴリズムに覚え込ませた素材は、そもそもが実際に知覚力のある生身の人間によって作られたものだからです。ですので、GPTが吐き出したものは、私たち人間が積み上げてきたものが反映されているだけのものなのです。
GPTは、”generative pre-trained transformer “の頭文字です。この中で最も重要なキーワードは、”pre-trained（事前訓練された）”です。事前訓練で、GPT は、インターネット上に蓄積されたあらゆる種類のデジタル化されたコンテンツを参照して、ディープ・ラーニング・テクノロジーを駆使して、同時に出現する可能性のある単語を含むパターンを見つけ出し、事実を蓄積し、文法を吸収し、初歩的な論理を学習します。GPT-4は、大量のテキストデータを参照して事前訓練されており、インプットされた情報に対応して、生身の人間と同じ様な応答を生成することができます。とはいえ、GPT-4は、その応答が何を意味しているかを理解しておらず、経験から学ぶことはありません。また、それが参照している知識のデータベースの更新は2021年9月で止まっています。ですので、GPT-4の認識では、未だに中絶は憲法で定められた権利なのです。
GPT-4で最も顕著な特徴の1つは、クエリに自信を持って答えるということです。これは特徴であると同時に欠点でもあります。それは、GPT-4の開発者がリリースの際に公表したテクニカルレポートでも指摘されています。そこには、「時として、多くの領域で能力を上手く発揮できているとは思えないような単純な推論ミスをすることがあります。また、ユーザーからの明らかに虚偽のステートメントを受け入れて騙されることもあります。・・・（中略）・・・ そして、その予測は完全に間違っていることもあります。」と記されています。私が、私の作品である”Summer Hours at the Robbers Library”（未邦訳：強盗図書館の夏時間の意？）という小説を要約するよう指示したところ、GPT-4は、刑務所から出所したばかりのキットという男の話だと答えました。しかし、実際には、その小説はキットという名前の女の話で、彼女は図書館員で刑務所に入れられた経験など無いのです。ケベック州モントリオールで毎日発行されているフランス語のデジタル新聞ラ・プレッセ（La Presse）は、GPTのボットに観光客向けのおすすめ情報を生成するよう要求してみました。そうすることで、旅行ガイドブックや関連ブログの代役を務めることができるか否かを見極めるためでした。すると、ボットは、観光スポットを1つでっち上げて、間違った方向を示して、誤った情報を提供したことを謝り続けました。UCLAの神経科学者ディーン・ブオノマノ（Dean Buonomano）がGPT-4に 「この文の3番目の単語は何ですか？（What is the third word of this sentence?）」と尋ねたところ、「3番目(third)」という答えが返ってきました（訳者注：”the”が正しい答え）。これらの例は些細なミスであり、重大な問題は無いと考える人もいるかもしれません。しかし、認知科学者のゲイリー・マーカス（Gary Marcus）の考えは違います。彼は、ツイッターに書いています、「何十億もの資料を参照して事前訓練しているのに「3番目」という単語の意味することさえ理解できないシステムなど、安心して使えるはずがありません。倫理面でも安全面でも問題ないシステムでなければ、使うことはできません。」と。
GPT-4の前身であるGPT-3は、45テラバイトのテキストデータを学習していました。GPT-4の説明によれば、それは小説9千万冊分の語数に相当するそうです。その45テラバイトの中に含まれているのは多様なデータです。ウィキペディアのエントリ、雑誌の記事、新聞の記事、取扱説明書、Redditのディスカッション、ソーシャルメディアの投稿、書籍、および、作成者に通知したり補償したりすることなく利用できるテキスト等です。GPT-4の事前訓練ではGPT-3よりも膨大な量の資料を参照していたと推測されていますが、その量がGPT-3と比べてどれ位多いのはということは不明ですし、また、どういったデータを参照しているかということも不明です。社名に”Open”という語が入っているにもかかわらず、OpenAIの姿勢は全くオープンではありません。テクニカルレポートでは、GPT-4の事前学習に関しては、「（インターネットデータ上などで）公開されているデータとサードパーティ・プロバイダーからライセンス供与されたデータの両方を使った」と記載されているのみです。また、付け加えて次のような記載もありました。「激しい競争環境とGPT-4などの大規模言語モデルの安全性を考慮して、当テクニカルレポートにはアーキテクチャ（諸元・スペック等）やハードウェア、大規模言語モデルの学習方法、データセットの構成、事前訓練方法などの詳細については一切記載していません。」
OpenAIが、GPT-4のスペック等を機密事項として公表しないことは重要なことです。というのは、GPT-4などの自然言語を日常的に処理する AIモデルは、非常に素晴らしいものなのですが、逆に悪用される危険性もあるからです。OpenAIのCEOであるサム・アルトマン（Sam Altman）は、先日、ABCニュースのインタビューで言っていました、「これらのモデルが大規模な偽情報（large-scale disinformation）の生成に利用されるのではないかと特に心配しています。」と。また、「現在のAIモデルはコンピュータコード（computer code）を書くのも非常に上手くなっていますので、AIモデルが攻撃的なサイバー攻撃のために利用される可能性もあります。」と指摘していました。さらに、付け加えていました、「私たちは安全を担保するための制限をかけているわけですが、制限をかけない企業が出てくる可能性もあるでしょう。こうした状況に、社会全体でどう対処するか、どう規制するか、どう変えていくかということを考えなければなりません。しかし、そのための時間は限られています。」と。(私は試しにやってみたことがあります。GPT-4に1995年にティモシー・マクベイ（Timothy McVeigh）がオクラホマシティのアルフレッド・P・ムラー連邦ビル（Alfred P. Murrah Federal Building）を爆破した方法を調べさせたのです。そうしたら、肥料を使って爆発物を作る方法を説明させることができました。その際に、GPT-4のボットは、歴史的背景を説明するために情報を提供しているのであって、爆発物を作るための実践的なアドバイスを提供するものではないと説明していました。）
GPT-4だけでなく、膨大なデータセットで事前訓練された大規模言語モデル（large language models）として知られる全てのAIシステムに当てはまることですが、その不透明性が、そうした危険をさらに悪化させる可能性もあります。莫大な量の誤った理論を蓄積して学習したAIモデルが、それらが誤っていることを認識せずに誤った情報を生成してしまう可能性があると思われるからです。また、GPTのような大規模言語モデルは、何十億もの単語を学習したとしても、社会的不平等を助長してしまう可能性がないとは言えません。GPT-3が発表された時に多くの研究者が指摘していたのですが、GPT-3は多くのインターネットの掲示板から得られる情報も学習していて、そうした掲示板では、女性や有色人種や高齢者の声があまり反映されていません。そのため、GPT-3が生成するものに暗黙のバイアスがかかってしまう懸念があります。
また、たとえAIが学習するデータセットの量を増やして莫大な量にしたとしても、憎悪に満ちたコンテンツを生成しないようにすることはできません。メタ（Meta）社のAIチャットボットである”ギャラクティカ（Galactica）”は、「学術論文の要約、数学の問題の解決、ウィキペディアの記事の生成、アプリケーションソフトのコードの記述、分子やタンパク質のアノテーション（分子等の配列に注記を付けて意味付けをすること）など」を行うことができるとされていました。しかし、デモ版を公開した2日後に、メタ社は公開を中止せざるをえなくなりました。理由は、多くの研究者がギャラクティカを使ってみたところ、反ユダヤ主義（antisemitism）を助長したり、あるいは、自殺を讃えるウィキペディアのエントリを生成できることが分かったからです。また、誤った内容の科学論文を生成できました。中にはとんでもない内容の論文もありました。1つは、砕いたガラスを食べることの効用を論じたものでした。実は、GPT-3でも、そういうことは確認されていて、ふとした拍子に人種差別や性差別を助長するコメントを生成する傾向があることが知られていました。
タイム（Time）誌によると、この問題を回避するために、OpenAIはケニアの請負業者に作業を外注したそうです。外注した作業は、学習させる膨大なデータを分析して、その中に下品であったり、攻撃的であったり、あるいは違法と思われるような情報素材があった場合にラベルを貼るというものでした。そうすることで、有害な情報がユーザーに届く前に検出できるようにしようとしていました。タイム誌によると、情報素材の中には、”児童の性的虐待（child sexual abuse）、獣姦（bestiality）、殺人（murder）、自殺（suicide）、拷問（torture）、自傷行為（self-harm）、近親相姦（incest）などの状況を生々しく描写したものがあったそうです。ケニアの請負業者の作業員は、9時間の勤務で150から250もの文章を読んでラベルを貼ることを強いられたそうです。彼らの時給は2ドル以下で、この仕事による精神的苦痛に対処するためのグループセラピーが行われていたそうです。その業者は、報じられた時給や労働環境は事実ではないと抗議していました。非常に煩わしい作業であったので、予定より8カ月早く請負を止めました。OpenAIの広報責任者がタイム誌を批判した声明文には、「当社は、請負先に作業の生産性に関しては何も指定していません。それは、全て先方の専権事項です。」と、記されていました。「従業員への給与支払いやメンタルヘルスに関する責任は、全て請負業者が負う契約となっていました。当社は、当社の従業員と契約先の従業員のメンタルヘルスを重視しています。」
OpenAIが掲げている同社の使命は、「汎用人工知能（artificial general intelligence ：略号AGI）を、全人類に確実に利益をもたらすものにすることです。また、AGIを、経済的に最も価値のある業務で人間を凌駕する高度に自律的なシステムにしなければならない。」というものです。そんなAGIが実現可能かどうかとか、機械に仕事を任せることが本当に全人類に利益をもたらすかどうかという問題はさておき、大規模言語モデルのAIエンジンが今まさに全人類に実害を及ぼし始めているわけです。それは明らかです。”人民科学（Science for the People）”誌に掲載されたある記事によると1つのAIエンジンに学習をさせるためには、かなりのエネルギーが必要であり、炭素排出量は膨大な量に達するとのことです。その記事には記されていました、「生身の人間は1人当たり年間5トンのCO2を排出するのに対し、1つの大規模ニューラル言語モデルLM（large neural language model）は学習する際に284トンも排出します。加えて、最大の大規模ニューラル言語モデルに学習させるために必要な演算能力（computing power）は6年間で30万倍になっており、今後ますます大規模言語モデルが環境に与える負荷は大きくなると予想されます。」と。
環境負荷が大きくなるという予測を補強する材料が他にもたくさんあります。メタ、グーグル、そして多くの小規模なハイテク企業が、独自の大規模言語モデルAIの構築にしのぎを削っていますが、グーグルの新しいAIチャットボットであるバード（Bard）が先週リリースされました。私は、AI研究の第一人者で南カリフォルニア大学（USC）教授であり、マイクロソフトの上級主任研究員も務めているケイト・クロフォード（Kate Crawford）に話を聞いてみました。彼女が言うには、彼女がBardといろいろとやり取りをしてみたところ、Bardが言及したのは、膨大な情報を参照して学習しているが、その中にはGmailユーザーがプライベートな電子メールでやり取りしたメッセージも含まれているということでした。グーグルは、それに反論していて、Bardが言及したことは事実ではなく、Bardはまだ初期の実験段階にあるため様々なミスをする可能性があると公表していました。一方、OpenAIに100億ドル投資したと伝えられているマイクロソフトは、Bing検索エンジンとEdgeブラウザにGPT-4を搭載しました。現在は、WordやExcelとGPT-4と合体させようとしているとされています。しかし、マイクロソフトは、1月に発表した1万人の従業員解雇計画の一環として、先日、AI（人工知能）部門下の倫理チームの全従業員を解雇しました。倫理チームは、同社のAIを広く一般に公開する際に、同社が定めているAIの基準を間違いなく満たしていることを保証するために不可欠な存在でした。このチームのメンバーの1人は、IT業界誌”プラットフォーマー（Platformer）”誌に対して、「最悪なのは、こうすることで当社のAI関連事業のリスクが高まることです。同時に、多くの利用者たちにもリスクがもたらさらされます。」と語っていました。
GPT-4の人工知能（AI）には本当に魅了されてしまいます。それは、司法試験に合格できます！アドバンスト・プレースメント・テスト（Advanced Placement tests：アメリカの高校生の基礎学力を測る統一テスト）で満点を取ることができます！コードの書き方も分かります！もうすぐ、冷蔵庫の中身の画像を見て、レシピを提案してくれるようになります！しかし、人工知能（AI）は、常にディープフェイクを生成するようになるかもしれません。また、テキストから画像を作成できるわけですが、その画像には、児童を性的に虐待する写真も含まれる可能性があります。人工知能（AI）は、私たちの生活を改善させたり、逆に改悪させる能力を持っています。非常に影響力の強いテクノロジーです。これの悪い影響が広がらないようにすべく、監視することが必要かもしれません。
「私のようなAIモデルを規制すべきかどうかという問題は、人間が決めるべき問題です。」と、ChatGPTは私に言いました。「AIを開発する企業、規制当局、一般市民を含む関係者が、AIテクノロジーの倫理的な影響について議論し、AIシステムの責任ある倫理的な開発と展開を確実にするするための適切な規制の枠組みを構築することが重要です。」 その枠組みはどのようなものになるかということを、私はChatGPTに聞いてみました。そのボットは、長いリストを生成しました。そこには、AI関連テクノロジーの急速な進展に対応できる柔軟性が必要であると記されていました。他に記されていたのは、AIシステムの開発と展開を管理する包括的な倫理的ガイドラインの確立、AI関連分野の全体を監督する独立した規制機関の設立、その機関によるさまざまな基準の制定やコンプライアンスの監視や規制の実施などでした。また、その機関は、AIモデルを開発する事業者等に対して、構築方法に関する明確な文書の作成を義務付けることも必要です。そして、AIが何らかの損害を発生させた際には、開発した事業者に責任を負わせることも必要です。コンテンツ・モデレーション（コンテンツ（書き込み・画像・動画）をモニタリングすること）とプライバシーを保護するための機関を設立して、誰もが安心してAIを使え、それがもたらす恩恵を享受できるようにしなければなりません。今、試されているのは、人工知能（AI）ではなく、生身の人間の脳です。AIを正しく使いこなす資質が備わっているか否かが問われているのです。♦
以上
- 1
- 2