なぜ「次に来る1単語」を当てるだけで知能が宿るのか？――予測変換の親玉が、司法試験を解きプログラムを書く物理のからくり
1. 素朴な疑問：スマホの「予測変換」と「ChatGPT」の決定的な境界線
スマートフォンのキーボードで「お」と打つと、変換候補に「おはよう」「お疲れ様です」と表示されます。 誰もが毎日使っているこの便利な機能を見て、「これは人類を超える知能だ！」と驚愕する人はいません。単に「過去に入力した単語の組み合わせを統計的にカウントして出しているだけ」だと誰もが直感しているからです。
しかし、立ち止まって考えてみてください。 現在、世界中を席巻しているChatGPTやClaudeなどの最先端LLM（大規模言語モデル）の数学的定義を開くと、そこには驚くべき事実が書かれています。
「与えられたテキストの文脈（Context）から、次に出現する確率が最も高い1単語（トークン）を予測して出力する」
P(次の単語 w | これまでの文脈 w₁, w₂, ..., wₙ)やっていることの看板（目的関数）は、スマートフォンの予測変換と完全に同じなのです。
では、なぜスマートフォンの予測変換は何度タップしても支離滅裂なポエムしか出力できないのに、同じ「次単語予測」をしているはずのLLMは、アメリカの司法試験で上位10%のスコアを叩き出し、複雑なマイクロサービスのバグを特定し、哲学的な議論を交わすことができるのでしょうか？
「単なる確率のオウム返し」と「本物の知能」の境界線は、一体どこにあるのか？ その秘密は、**情報理論における「予測と圧縮の等価性」**と、**パラメータが臨界点を超えたときに起きる「物理の相転移（創発）」**に隠されています。
触って試す：次トークン予測の体験
🤖 次トークン予測の体験
あなたがLLMのつもりで、文の続きを1単語ずつ選んでください。各候補のバーが「その単語が次に来る確率」です。実際のLLMは全語彙（数万〜10万語）すべてに確率を付けますが、ここでは上位の候補だけを表示します。
私は毎朝、
最初の候補から選んでみてください。
2. 古典の限界：マルコフ連鎖と「次元の呪い」
なぜ昔の自然言語処理は知能を獲得できなかったのかを知ると、現代LLMが何を突破したのかが鮮明に見えてきます。
LLM以前の古典的なテキスト予測手法の代表格が、**「N-gram言語モデル」や「マルコフ連鎖（Markov Chain）」**です。 マルコフ連鎖の思想は極めて素朴です。「次に来る単語は、直前の $N-1$ 個の単語だけに依存する」と仮定します。
例えば、「今日 は 天気 が」と来たら、過去の膨大なテキストデータベースを検索し、「天気 が」の直後に「良い」が何回来たか、「悪い」が何回来たかを数えて割り算（頻度計算）するだけです。
組み合わせ爆発という「物理の絶望」
このアプローチは、文脈をほんの少し伸ばそうとした瞬間に、数学的な死を迎えます。
日本語の語彙数が約10万語あるとしましょう。
- 直前1単語を見る場合（2-gram）：$10万 \times 10万 = 100億$ 通り（まだメモリに乗る）
- 直前2単語を見る場合（3-gram）：$10万^3 = 1000兆$ 通り（巨大データセンターが必要）
- 直前10単語（一般的な1文）を見る場合：$10万^{10} = 10^{50}$ 通り
$10^{50}$ という数字は、地球上に存在する全原子の数（約 $10^{50}$ 個）に匹敵します。 たった10単語前の文脈を考慮して統計テーブルを作ろうとするだけで、**全宇宙の物質を集めてもメモリが足りなくなる「次元の呪い」**に激突します。
さらに致命的だったのは、「単語を互いに無関係な独立した記号（離散値）」として扱っていた点です。 「犬が走る」というデータが何億件あっても、データベースに「柴犬が走る」という文字列が1件も登録されていなければ、古典モデルは確率ゼロ（予測不能）として沈黙するしかありませんでした。
現代のLLMは、この絶望を**「単語を数千次元の連続的なベクトル空間に埋め込み、ニューラルネットワークの中で幾何学的に演算する」**というアプローチで完全に粉砕したのです。
3. イリヤ・サツケヴァーの洞察：「予測」とは「世界の圧縮」である
OpenAIの共同創業者であり、チーフサイエンティストとしてGPTシリーズの頭脳を設計したイリヤ・サツケヴァー（Ilya Sutskever）は、LLMの本質について極めて鋭い言葉を残しています。
「テキストの次の単語を正確に予測することは、そのテキストを生み出した『世界のモデル』を圧縮して頭の中に構築することと同義である」
この言葉の意味を、ミステリー小説の文脈で考えてみましょう。
【入力テキスト】
洋館の密室で当主が毒殺された。
執事には確実なアリバイがあり、窓の鍵は内側からかかっていた。
探偵のエドワードは床の擦り傷と硝煙反応の矛盾を見逃さなかった。
数々の証拠が指し示す真犯人は、他でもない [ ??? ] だ。この [ ??? ] に入る「次の1単語」を正確に予測することを強いられたAIを想像してください。
単なる文字の並びの統計だけで、この [ ??? ] を当てることは絶対に不可能です。
この1単語を高精度で的中させるためには、モデルは入力された文章を読み解きながら、以下のすべてを脳内でシミュレートしなければなりません。
- 物理世界の法則： 毒物がどう回り、ロープがどう擦れ、密室がどう作られたか。
- 心理学と動機： 誰が誰を恨み、誰が嘘をついているか。
- 論理的推論： 提示された手がかりから矛盾を排除し、消去法で1人に絞り込む演繹法。
「次に来る1単語の予測精度を極限まで高める」という一見単純なタスクは、**「文章の背後にある現実世界の物理法則、社会規範、論理演算、人間の感情の機微を、モデルの内部に完全なシミュレータとして再現すること」**をハードウェア的に強制するのです。
数学的一致：シャノンの情報理論とコルモゴロフ複雑性
これはオカルトでも哲学でもなく、厳密な数学的事実です。 情報理論の父クロード・シャノンが示した通り、「あるデータの次を予測すること」と「そのデータを最小のサイズに圧縮すること」は数学的に完全に等価です。
【情報理論の基本原理】
最小のビット数でデータを圧縮できるモデル ＝ 最も高い精度で次を予測できるモデルインターネット上に存在するテラバイト級の膨大な知識（Wikipedia、論文、GitHubのコード、文学全集）を、わずか数百GBの重みテンソル（浮動小数点数の配列）の中に丸ごと圧縮して詰め込む。
丸暗記（過学習）するにはデータが多すぎ、モデルの容量が小さすぎます。 この圧倒的な圧縮圧力をかけられたニューラルネットワークが生き残る唯一の道は、**「すべての知識の根底にある抽象的なパターン、法則、因果関係（ルール）だけを抽出し、脳内に『世界の動作原理』として再構築すること」**だったのです。
4. 創発（Emergence）の物理：スケール則が引き起こす相転移
「理屈は分かった。しかし、なぜ昔の小さなモデルではそれが起きず、近年の超巨大モデルで突然知能が芽生えたのか？」
ここで登場するのが、物理学における**「相転移（Phase Transition）」、そしてAIにおける「創発（Emergence）」**の現象です。
コップの水を冷やしていくと、10℃でも5℃でも水は液体のままです。見た目には何も起きません。 しかし、温度が**「0℃（臨界点）」**を下回ったその瞬間、分子の運動が劇的に整列し、カチカチの「氷」へと突如姿を変えます。
スケーリング則（Scaling Law）の冷徹な直線
2020年、OpenAIのジャレッド・カプラン（Jared Kaplan）らは衝撃的な論文を発表しました。 LLMの損失（予測のエラー率）は、以下の3つの要素をスケールアップさせると、驚くほど綺麗な「べき乗則（Power Law）」に従って直線的に下がり続けることを突き止めたのです。
- パラメータ数（モデルの大きさ $N$）
- 学習データセットのサイズ（トークン数 $D$）
- 投入する総計算量（FLOPs $C$）
L(C) ∝ C^(-α) （計算量を増やすほど、エラー率は予測通り綺麗に下がる）滑らかにエラー率（Loss）が下がり続けた結果、ある閾値（数億パラメータから数十億、数百億パラメータ）を越えた瞬間、それまで全く解けなかった「多段階の推論問題」「コードのデバッグ」「比喩の理解」といった高次のタスクの成功率が、崖を駆け上がるように垂直に立ち上がったのです。これを**「能力の創発（Emergence）」**と呼びます。
なぜこんな跳ね上がりが起きるのでしょうか？ 多段階の論理推論（Chain of Thought）は、「ステップ1が正解」かつ「ステップ2が正解」かつ「ステップ3が正解」でなければ最終的な答えが出ません。各ステップの精度が40%のときは全体正解率は $0.4^3 \approx 6.4%$（ほぼゼロ）ですが、各ステップの精度が90%に達した瞬間、$0.9^3 \approx 73%$ へと跳ね上がります。
表面的な次トークン予測のエラーがわずかに減る裏側で、モデルの内部では複数の論理回路がカチリと噛み合い、一気に知能の相転移が起きたのです。
5. テンソルの旅路：入力文字から確率分布へ
では、モデルの内部では実際にどのような数学的操作が行われているのでしょうか？ 1つの単語が入力されてから、次の単語の確率が出力されるまでの「テンソルの形状（Shape）の旅路」を俯瞰しておきましょう。
これが、本連載全12話を通じて解剖していく**「現代Decoder-Only Transformer」の全貌**です。
テンソルの寸法で理解するデータフロー
モデルの内部を理解するとき、「言葉」で追うと必ず迷子になります。 **「テンソルの次元（Shape）」**で追うのが、二度と忘れないための鉄則です。
| ステップ | テンソルの形状 (Shape) | 物理的な意味 | 担当する連載回 |
|---|---|---|---|
| 入力トークン | [Batch, Seq_Len] | 単語のID番号が並んだ整数の配列 | 第2話（BPE） |
| 埋め込み後 | [Batch, Seq_Len, Hidden_Dim] | 各単語が数千次元の「意味の座標」へ変換された状態 | 第3話（Embedding） |
| Attention層 | [Batch, Seq_Len, Hidden_Dim] | 他のすべての単語との関係性を内積で計算し、情報を吸収 | 第4・5話（Attention） |
| FFN層 | [Batch, Seq_Len, Hidden_Dim] | 各単語が持つ情報を、重みという巨大金庫と照合して強化 | 第7話（FFN） |
| 出力層 (LM Head) | [Batch, Seq_Len, Vocab_Size] | 全語彙（約3万〜10万語）それぞれに対する「自信の度合い」 | 第10話（Sampling） |
このテンソルの旅路の中で、トークン同士は互いに「視線（Attention）」を交わし合い、何十層もの階層をくぐり抜けるうちに、最初は単なる「文字の並び」だったものが、高度に抽象化された「文脈」「意図」「論理構造」へと昇華されていきます。
そして、その旅の終着点で、語彙辞書の中から**「文脈に照らして、世界で最も確からしい次の1ピース」**が、針の穴を通すような精度で選び出されるのです。
6. まとめ：「目的」と「手段」を混同してはならない
なぜ「次に来る1単語」を当てるだけで知能が宿るのか？ その答えを1枚の結論に凝縮するなら、以下のようになります。
【最大の混同】
× 目的が「次単語当て」だから、中身も単純な「次単語当て機」である。
◯「次単語当て」という極小の針穴を通すために、内部に「完全な世界シミュレータ」を構築せざるを得なかった。- 目的関数の単純さ： 学習ルールは「次の1トークンを外したらペナルティ」という、小学生でも分かる単純なもの。
- タスクの過酷さ： しかし、人類が書いたあらゆる文章の「次の1単語」を完璧に当てるには、物理、心理、論理、プログラミング、哲学のすべてを理解していなければならない。
- 圧縮の必然： 膨大な知識を高次元空間に圧縮した結果、モデルの内部には「世界の論理構造（世界モデル）」が自発的に結晶化した。
次に来る単語を予測しているだけ――その冷徹な事実を受け入れたとき、私たちは初めて「知能とは何か」「論理とは何か」というコンピュータサイエンスの深淵と向き合う準備が整います。
次話からは、この巨大な知能の心臓部へメスを入れていきます。 まずは、モデルが世界を認識するための最初の網膜、**「第2話：文字を切り刻む『BPE（Byte Pair Encoding）』の物理」**へと歩を進めましょう。
📝 3行で頭に入る『試験・実務の要点まとめ』
- 予測と圧縮の等価性： シャノンの情報理論が示す通り、次トークン予測の精度を極限まで高めることは、訓練データに含まれる世界の因果関係や論理構造を最小容量に「圧縮」することと同義である。
- マルコフ連鎖からの脱却： 離散的な共起頻度に頼る古典手法は文脈の伸長で「次元の呪い（組み合わせ爆発）」に陥るが、LLMは単語を連続的な高次元空間に埋め込むことで文脈の幾何学的処理を可能にした。
- 創発（Emergence）の物理： スケーリング則に従って計算量とパラメータをスケールさせると、ある臨界点を境に多段階推論やコード生成能力が非線形に跳ね上がる「相転移」が発生する。