Scribble at 2026-11-11 13:05:17 Last modified: unmodified

これまでは VRAM それからオフロードしたメイン・メモリとの合計量という範囲でしか動かせなかった LLM の巨大なオープン・ウェイトを、高性能な手法で分割して制御できるツールが開発されたらしい。僕のマシンだと、LMStudio では 32 GB くらいの合計容量のオープン・ウェイトが限界だったのだが、この Strata を使うと Qwen3.8-Flash-Next 無検閲版 IQ4_XS（OrcaRouter）という総パラメータ数が約180B（1,800億）もある巨大モデルが動いてしまうという。スペックだけで言えば、もうこれはオンラインで利用している数兆のパラメータで動く ChatGPT や Gemini に迫る性能だ。少なくとも LMStudio で動かしている gemma-4-12B-it-QAT-Q4_0 の約12B（120億）よりも劇的に高性能であることは事実だ。

もちろん時間があれば試してみたいとは思うのだが、セットアップにはそれなりの手間と時間がかかりそうだ。なんだかんだ言っても本体をダウンロードしなくてはいけない。Qwen3.8-Flash-Next 無検閲版 IQ4_XS（OrcaRouter）だと、量子化してあるとは言え、100 GB 近くの容量がある。いま使っているマシンは 2 TB + 2 TB のストレージだから、C ドライブでも D ドライブでも好きな方に入れて使えるし、そもそも 100 GB がデカいなんて言ってたら MMORPG などやっていられないとも言える。