Scribble at 2025-11-26 08:41:50 Last modified: 2025-11-26 08:50:20
An example would be, let’s say you use vibe coding to do something. You go to some place and then you get a bug. Then you tell the model, “Can you please fix the bug?” And the model says, “Oh my God, you’re so right. I have a bug. Let me go fix that.” And it introduces a second bug. Then you tell it, “You have this new second bug,” and it tells you, “Oh my God, how could I have done it? You’re so right again,” and brings back the first bug, and you can alternate between those. How is that possible? I’m not sure, but it does suggest that something strange is going on.
これは、いまのところ LLM が部分最適化しかできないからだとか、あるいは LLM が「短期記憶」しか持っていないからだというのが標準的な臨床診断であり（実際、ディープ・ラーニングの仕組みはコンピュータ・サイエンスのプロパーですら正確には理解していないので、現象論的な推定しかできない場合がある）、それゆえトークンの容量を増やしてコンテクストのバッファを大きくすることが求められている。それはすなわち、次元の数はともかくとして、単純に扱うデータの数が増えることを意味するのだから、やはりコンピュータの処理性能での競争という伝統的な姿で AI サービスの業界は推移しているのだ。そして、なんだかんだ言ってもみんな NVIDIA のグラフィック・カードを使っていたりするし、クラウドでも AWS や Google など膨大な計算資源をもつサービスは限られているので、同じ土俵での勝負だから、アルゴリズムの考案だとか計算リソースを潤沢に使うための資金といった、人間的な要素も鍵になる。
結局、膨大な数の情報を溜め込んでいるだけでは優れた結果を出せないという意味では、きみたち東大暗記小僧がなんの業績もあげられないという科学哲学の現状に似ていると言える。