「StrataはQwenをllama.cppより『バカ』に動かす:ツール呼び出しのループとエンジンの非決定性」— Strata Issue #2685(10/15〜17)
Strata serves Qwen3.8-Flash-Next with strange behavior
RTX 5070で、同じIQ3_S・同じプロンプトでも、Strata経由だとツール呼び出しが失敗しがち(提供していないBashやWebFetchを幻覚し、同じlist_filesを3〜5回繰り返す「空ループ」)なのに、llama.cppなら同じ量子化でちゃんと動く、という報告です。報告者は原因をかなり追い込んでおり、プロンプトのテンプレートもトークンIDもllama.cppと完全一致なのに、同じシードでも出力が毎回変わる(エンジン側の非決定性)ところまで切り分けています。決め手はSTRATA_PREFILL_MMQ=0にすると出力がビット単位で一致したこと——つまり専門家計算のMMQ経路に揺れがある、という所見。ただしコメント欄が面白く、RTX 4070 SUPERでは原因がMMQではなくCPU分担(CPU_SHARE=0で一致)、RTX 3090では何を切っても128トークン以降で揺れる、とカードごとに症状が違う。別の5090ユーザーはCUDA 13.2.2に上げたら再現しなくなった、と報告しています。
見方(ここからは自分の考え)
Richardの体験記とIssue #2685は、同じStrataの両面です。「12GBのグラボで125B(実体は177B MoE)が4倍速で動く」のは本物で、待ち時間が消えることの価値は否定しようがない。一方で、その速さを「エージェントに任せる頭脳」として使うと、エンジン内部の非決定性が品質の揺れとして出てくる。しかもその揺れがGPUアーキやCUDAのバージョンで症状を変える段階にある、というのが今の正直な姿です。昨日のV2EXの「壊れていないことと正しいことは別」という警句が、まさにここに効きます。ローカルLLMを個人のチャットや翻訳に使うぶんにはStrataの速さは文句なし。でも自動化されたコーディングエージェントの母艦にするには、MMQ=0なり新しいCUDAビルドなり、自分のカードで決定性を確かめてから、という段階だと思います。