Up 読む・考える・書く 作成: 2025-09-25
更新: 2025-09-25

    ChatGPT の「テクスト生成」は，以下のようになっている。

    ユーザの入力するテクストを「質問」，ChatGPT の出力するテクストを「応答」と言うことにする。
    セッションの開始からここまでの質問・応答全体のテクストが，
    　　Ｔ：質問 → 応答 → 質問 → ‥‥ → 応答 → 質問
    であるとする。

    直近の質問に対する応答のテクスト生成は，つぎのようになる：

    　Ｔ　　　　ｔ１　　　ｔ２　‥‥　ｔｎ−１　ｔｎ　　＜eos＞
    　　　　　　↑　　　　↑　　　　　↑　　　　↑　　　　↑
    　│　Ｐ１　│　Ｐ２　│　　‥‥　│　Ｐｎ　│Ｐｎ＋１│

    ここで，ｔ1, ｔ2, ‥‥, ｔn は，追加されるトークン。
    ＜eos＞は，｢応答終了」コード。
    Ｐ1, Ｐ2, ‥‥, Ｐn+1 は，トークン追加を周期とする処理。

    さらにつぎの記号を導入する：
    　　　Ｔ1 ＝ Ｔ + ｔ１
    　　　Ｔ2 ＝ Ｔ1 + ｔ2
    　　　　‥‥
    　　　Ｔn ＝ Ｔn-1 + ｔn

    Ｐ1, ‥‥, Pn+1 は，つぎがこれの中で起こっている：
    　Ｐ1 は，
    　　Ｔを読みながら，
    　　直近の質問に対する応答の大筋を決め，
    　　出だしの文言を考え，
    　　出だしの文言の最初のトークンｔ1 を書く
    　Ｐk ( k = 2, ‥‥, n ) は，
    　　Ｔk-1 を読みながら，
    　　続く文言を考え，
    　　続く文言の最初のトークンｔk を書く
    　Ｐn+1 は，
    　　Ｔn を読みなが
    　　
    　　応答を閉じてよいと判断して，
    　　＜eos＞を書く

    このように，「テクスト生成」では＜読む・考える・書く＞が起こっている。


    「Ｐ1 で応答の大筋が決められる」は，わたしと ChatGPT のつぎの対話がこれの証明になる：
    　　わたし:
    　　　短い自問自答を作成してください。
    　　ChatGPT:
    　　　今日は何をすべきだろう？
    　　　まずレポートの整理から始めよう。

    実際，ChatGPT のこの応答は，これに先行する全テクストから導かれるものではない。
    先行するテクスト全体から独立している。
    即ち，ChatGPT が＜考える＞をして決めたものである。

    　註：
      通説は，トークンの追加を「確率」で説明する。
      即ち，つぎのようになる：
      1. 先行する全テクストＴに続くトークンは，「今日」が確率が高い。
      2. Ｔ＋今日 に続くトークンは，「は」が確率が高い。
      3. Ｔ＋今日は に続くトークンは，「何」が確率が高い。
      　　‥‥‥‥
      通説のこの説明は，通説が「確率」を知らないことになってしまう。