３．
大規模言語モデルには多くの用途があると想定されています。JPEG形式でイメージファイルを圧縮すると少しぼやける事象と同様の仕組みであることを頭の片隅に置いておくと、大規模言語モデルが、どのような用途に適しているのか、あるいは適していないのかを認識することができます。いくつかのシナリオを考えてみたいと思います。
大規模言語モデルは、従来の検索エンジンに取って代わることができるでしょうか？大規模言語モデルを信頼して使うためには、それがプロパガンダや陰謀論に踊らされていないと確信できるものである必要があります。つまり、JPEG形式での圧縮に例えるなら、Web上の参照するに相応しい情報を削ぎ落さずに保持している必要があります。しかし、たとえ大規模言語モデルに必要な情報だけが含まれていたとしても、ぼやける（blur）という問題が残ります。ぼやけるという問題があるわけですが、ぼやけても全く問題無く、許容範囲である場合もあります。ぼやけたと言っても情報を別の言葉で言い直しているだけで意味が通じる場合がほとんどで、それは許容範囲です。逆に全く許容できないぼやけもあります。あからさまに捏造したように見える場合で、何かを検索しようとしている際には全く許容できません。技術的に、許容されるぼかしを残し、許容できないぼかしを排除することが可能か否かは定かではありません。しかし、近い将来、それも明らかになると思われます。
仮に、大規模言語モデルがとんでもない情報を再構成することに関与しないように制限することが可能だとしたら、つまり捏造を防ぐことができたら、Webコンテンツの生成に大規模言語モデルを活用するべきでしょうか？それは、Web上で既に入手可能な情報を再パッケージ化することが目標である場合にのみ意義があるでしょう。まさにそのようなことをすることだけが目的で存在している企業もいくつかあります。そうした企業は、コンテンツ工場と呼ばれています。コンテンツ工場は、”content mill（コンテンツミル）”とも呼ばれ、アクセス数を増やすために、低品質のコンテンツや他のWebサイトからコピーしたコンテンツを大量に提供するWebサイトや企業のことです。おそらく、大規模言語モデルのぼやけは、著作権侵害を回避する手段として、コンテンツ工場にとっては有用であろうと思われます。しかし、一般的に言って、コンテンツ工場にとって都合の良いものは、情報を検索する者にとっては逆に都合の悪いものだと言えるでしょう。大規模言語モデルによって生成されたテキストがWeb上で公開されればされるほど、Webにはオリジナルの情報をぼやけさせただけのものが多くなっていくでしょう。
OpenAI社のChatGPTの後継であるGPT-4については、ほとんど情報がありません。しかし、私はここで大胆に予測を立てたいと思います。GPT-4 のトレーニングのために使用される膨大な量のテキストを集める時、OpenAI社はたくさん人手をかけて、ChatGPT やその他の大規模言語モデルが生成した素材を取り込まないようにするためのあらゆる努力を払ったでしょう。もし、実際にそうであれば、大規模言語モデルと不可逆的圧縮アルゴリズムが似ていることが事実であると、図らずも証明したことになります。JPEG形式のイメージファイルを何度も圧縮して保存し直すと、その都度たくさんの情報が失われるので、より多くの圧縮アーティファクトが発生します。昔、コピー機でオリジナルをコピーして、出てきたものをさらにコピーするということを繰り返すと、徐々に画像が劣化していきましたが、それと同じようなことが発生するわけです。画質は悪くなる一方です。
実際、大規模言語モデルの品質を測る際の有用な基準は、生成されたテキストを新しい大規模言語モデルのトレーニング材料として使用することを、トレーニングさせている企業が望んでいるか否かということになるかもしれません。ChatGPTが生成したテキストがGPT-4のトレーニング材料として相応しくないない場合、そのことは人々が検索する際に使うのにも相応しくないことを示していると推測できます。逆に、あるモデルが新しいモデルのトレーニングで使えるレベルの良いテキストを生成し始めたら、そのテキストの品質は信頼できるものでしょう(しかしながら、あくまで私の推測ですが、そのような結果を得られるようになるには、大規模言語モデル構築のための大きな技術的ブレークスルーが必要でしょう）。もし、大規模言語モデルがオリジナルの情報と同等レベルの情報を生成できるようになれば、不可逆的圧縮アルゴリズムに付き物のぼやけの問題が解決したことになるわけで、非常に有用になります。
大規模言語モデルは、人間がオリジナルの文章を作成する際に役立つのでしょうか？これに答えるには、この質問が何を問うているかが具体的に説明される必要があります。ゼロックスアート（Xerox art）やコピーアート（photocopy art）と呼ばれる芸術ジャンルがあるのですが、これは複写機の特徴的な性質を利用してアートを創造するものです。ChatGPTにも同じような性質があるわけで、つまり、保持しているオリジナルの情報を圧縮したものを元にして近似しているがぼやけた情報を生成する性質があるわけです。では、大規模言語モデルは、複写機と同様にゼロックスアートやコピーアートのようなものを創造することが可能でしょうか？それがオリジナルの文章を生成できるかという意味の質問であれば、答えはイエスです。しかし、私が推測するに、複写機がアート制作の際の必須ツールであるとは誰も言わないでしょう。実際、大多数のアーティストは創作活動で複写機を使わないでしょうし、使わないという選択をしたことによって不利益を被ると主張する者も1人もいません。
さて、複写機がゼロックスアートという新たなジャンルを生み出したわけですが、ここでは大規模言語モデルが新しいジャンルの文章を生成できるかという話題からは離れたいと思います。そういう前提で考えると、フィクションであろうとノンフィクションであろうと、大規模言語モデルによって生成されたテキストは、物書きが何かオリジナルのものを書くときの出発点として役立つでしょうか? 大規模言語モデルが定型文のようなものを作って、それが下書きとして利用できるレベルのものであれば、物書きは本当にクリエイティブな部分のみに注力することができるのではないでしょうか?
そうした方法には問題があるとする物書きもいれば、問題無いとする物書きもいるでしょう。しかし、自分のオリジナルではない作品のぼやけたコピーを元にして創作活動を始めるというのは、オリジナル作品を生み出す良い方法ではない、と私は主張します。物書きとして生計を立てている人であれば、オリジナルなものを書く前に、さんざんオリジナルでないものを書いているでしょう。しかし、その非オリジナルなものに費やした時間や労力は決して無駄ではなく、むしろそれこそが、最終的にオリジナルなものを生み出すことを可能にするのだと私は考えます。相応しいと思われる語を選び抜き、文章を適切に並べ替え、より文意が伝わるようにするために費やした時間のおかげで、どのようにすれば文章が意味を持つかということを学ぶことができるのです。学生に論文を書かせることは、単に課題に対する理解度を測っているだけではなく、自分の考えを明確に表現する経験を積ませることになるのです。もし、教授が既に知っていることだからとして、学生に論文を書く必要が無いと言ったらどうなるでしょうか？おそらく、その学生は教授が知らない題材についての論文を書こうとしても、必要なスキルが備わっていないでしょう。
さて、あなたが学生ではないので論文を書く必要が無いとしたら、大規模言語モデルが生成して提供したテンプレートを下書きとして安心して使うことができるでしょうか？残念ながら、安心して使うことはできません。たとえ学生で無くても、自分の考えを表現するための葛藤が無くなるわけではありません。新たに何かを書こうとして下書きを始めるたびに葛藤が起こる可能性があります。書いている内に、自分のオリジナルな発想が見えてくることもあるでしょう。大規模言語モデルが生成したものは、生身の人間の物書きの初稿とそれほど大きな差は無いという人もいるかもしれません。しかし、それも表面的に似ているだけなのです。物書きの初稿は、オリジナルでないアイデアを明確に表現したものではないのです。それは、オリジナルのアイデアが稚拙に表現されたものなのです。そして、物書きは初稿に対して多かれ少なかれ何らかの不満を持っているはずです。つまり、言いたいことと書いたことの間に差があると感じているはずです。その差を認識して埋めようとすることで、書き直しをする際の方向性が定まります。AIによって生成された下書きを初稿として書き進めた場合には、そうしたことは起こらないわけで、方向性が定まらないことがあります。
文章を書くということは、魔法ではありませんし神秘的なことは何もありません。しかし、既存の文書を解像度の低い複写機の上に置いて複写する作業と比べれば、より複雑で手間のかかる作業です。将来的には、勝手に学習して、何も指示を出さなくても適切な文章を生成することができるAIが出現するかもしれません。それが実現したら、非常に画期的なことでしょう。しかし、そんな日が訪れるのはまだまだ先のことではないでしょうか。そんな日が来るまで、次の質問について考えることは理のあることだと思います。Web上のテキストを再生成することは本当に有用なのか？という質問です。もし、インターネットへのアクセスが永遠に失われ、スペースに限りのあるプライベートサーバーにコピーを保存しなければならないとしたら、ChatGPTのような大規模言語モデルは、良い解決策になるかもしれません。そのためには、圧縮した後に再生成してもオリジナルと差が出ない技術が確立していなければなりません。しかし、現在、私たちはインターネットへアクセスできないわけではありません。ですので、オリジナルにいつでもアクセスできるわけで、圧縮してぼやけたJPEGファイルを作る技術は、さほど重要ではありません。♦
以上