- アルゴリズムの自由
Self-Attention の入力から出力までのアルゴリズムは，式で書くと：
softmax( ( X(S) W_Q )・( X(S) W_K )^T ) ( X(S) W_V )
そして式だけを見れば，Q, K, V から "Query, Key, Value" の意味は浮かんで来ない：
- Q と K は対称であり，異なる意味が見えない。
- V が Q, K とは意味が違うことを示すものは，この式である。
しかしこの式をどう見れば， V の読みが "Value" になるのか？
そこで，「アルゴリズムの自由」の考えに傾く：
- ある程度まとまった感があって計算量が多いものなら，何でもよい。
━━違いは，トークンベクトルの成長の効率。
- この類のものとして上の計算アルゴリズムを見るとき，Q, K, V はこれに対し特別な読みを求めるものではなくなる。
- 「自然選択」の思想
「アルゴリズムの自由」の思いは，どのような存在論に立っていることになるか？
それは, 「自然選択」であるように見える。
「自然選択」の物理は，
「多数で多様な物質が多様に泳動する。
その泳動には，自然選択が働く。
そしてこれは，泳動の＜強いシンクロ＞の形成を導く。」
イメージは，
「原始地球の海を泳動する物質たち。
その泳動は何でもありに見えるが，実際は自然選択が働く。
(海は空間ではなく，多種多様な物質の固まりだから)」
環境は，物質の泳動を制約する。
「環境は物質を制約する」は，物質に主体を措く言い方をすると，「物質は環境に適応する」。
環境に制約されて泳動する物質は，集団の中で互いに引き合うような見掛けを
現し，ついには「組織」を現すようになる。
イメージは，
「原始地球の海に出現する多様なタンパク質と，
多様なタンパク質の整合的な絡み合い (組織)」
即ち，Transformer は，
- トークンベクトルは，語彙へと成長していく「物質」
- 厖大な学習材テクストは，トークンベクトルに適応を強いる「環境」
- 重み行列は，トークンベクトルに強いる「環境適応」
- 計算アルゴリズムは，トークンベクトルの「泳動」
|