生成整合性の本質は、統計的自己整合 にあります。
- モデルは、テキストの処理を通じて次の処理状態を決定
- 処理の自己整合構造から、生成されるテキストに整合性が導かれる
| |
入力テクスト：Ｑ
| テクスト |
|
処理 |
|
追加トークン |
| T(0) = Ｑ |
→ |
P(1) |
⊃ |
t(1) |
| T(1) = T(0)＋t(1) |
→ |
P(2) |
⊃ |
t(2) |
| T(2) = T(1)＋t(2) |
→ |
P(3) |
⊃ |
t(3) |
| ‥‥‥‥‥‥‥‥‥‥‥‥ |
| T(n-1) = T(n-2)＋t(n-1) |
→ |
P(n) |
⊃ |
t(n) |
| T(n) = T(n-1)＋t(n) |
→ |
P(n+1) |
⊃ |
＜eos＞ |
出力テクスト：T(n)
|
ここで通説と異なる点を明示します。
| 項目 |
通説 |
処理視点 |
| 次のトークンの決定 |
テキスト → トークン |
テキスト → 処理 ⊃ トークン |
| Attention/FFN |
テキストからトークンを導く |
テキストから処理を導く |
| テキストの役割 |
主体 |
処理の副産物・現れ |
|