ミニ言語モデルを育てる
「直前の2文字を見て、次の1文字を当てる」だけの小さなAIです。上から順に触ると、AIがどう覚えていくかが見えます。
まず1問だけ、ゆっくり見てみる
学習文章の中から出題された問題
AIの予想（確率が高い文字の順）
正解は、学習文章に実際に書いてある「次の文字」です。AIが正解の文字に高い確率をつけられていなければ「まちがい」とみなし、内部の数字を少し直します。
たくさん学習させる
0
–
グラフが右肩下がりになるほど、正解の文字に高い確率をつけられるようになっています。
いまのAIが書いた文章（0.3秒ごとに更新）
AIの中身の数字が動くところ
AIが調整できる数字は全部で 個。その一部、「文字ごとの8個の数字」です（赤はプラス、青はマイナス）。
学習の前後で色や数字が変わります。AIは文章そのものを保存しているのではなく、こうした数字の組み合わせの中に「どの文字の後にどの文字が来やすいか」を染み込ませています。
成長の記録
書き出しを決めて続きを書かせる
よくある疑問
どうやって覚えているの？
「覚える」とは、AIの中の数字（上の赤と青の数字など）を調整することです。最初はでたらめな数字で、まちがえるたびに「正解の文字が出やすくなる方向」へ、すべての数字をほんの少しだけ動かします。これを何千回も繰り返すと、数字の中に文章のクセが染み込みます。
正解はどうやって判定しているの？
学習文章そのものが答えです。「猫は」の次に来る文字は、文章を見れば分かります。AIは各文字に「次に来る確率」をつけ、正解の文字にどれだけ高い確率をつけたかで採点されます。人が1問ずつ○×をつけているわけではありません。
「まちがい度」ってなに？
正解の文字につけた確率から計算します。確率100％ならまちがい度0、50％なら約0.7、10％なら約2.3、1％なら約4.6です。確率が低いほど大きくなり、AIはこの数字を小さくするように数字を直します。
なぜ最初はでたらめなの？
数字がランダムなので、どの文字もほぼ同じ確率になっているからです。上の「1問だけ見る」で、最初は棒がほぼ同じ長さなのを確認できます。
なぜ少しずつしか数字を動かさないの？
1つの問題に合わせて大きく動かすと、別の問題の答えがくずれてしまうからです。たくさんの問題で少しずつ直すことで、全体にうまく合う数字に近づきます。
学習させ続けるとどうなる？
文章が短いので、いずれ学習文章をほぼ丸暗記します。新しい内容を考えているわけではなく、覚えた文章を組み替えているだけです。ChatGPTやClaudeは、これをはるかに大きな規模で、膨大な文章を使って行っています。
学習させる文章を変える
1行が1文です。短い文を10行以上入れるのがおすすめです。変えたら「最初からやり直す」を押してください。