入力候補には小さなオンデバイスモデルで十分な理由

よい提案には大きなモデルが要る ―― パラメーターが多く、計算量が多く、API の向こうにデータセンターの GPU がある ―― と考えたくなります。自由な生成に関しては、その前提はおおむね正しいでしょう。しかし次のフレーズを補完する仕事は本質的に別物で、ずっと狭い課題です。ノート PC の CPU 上で動く小さな量子化モデルは、この仕事によく釣り合っています。

入力補完は「開かれた」仕事ではなく「制約された」仕事です

白紙の状態から小論文を書くよう大規模言語モデルに頼めば、モデルは構成、論の運び、口調について、ほとんど制約のないまま何千もの判断を下さなければなりません。モデルの規模が効くのはここです。パラメーターが多いほど、引き出せるもっともらしい出力の幅が広がります。

次のフレーズの予測は別の問題です。モデルの手元には、あなたが書き始めた一文、その周囲の文脈、そして(Typeahead の場合は)入力しているアプリという強い手がかりがすでにあります。何もないところから生成するのではなく、すでに絞り込まれた短い続きを補完しているのです。この制約こそが、小さなモデルを成り立たせます。選択肢となる妥当な補完が少なければ、うまく選ぶために必要な素の容量も小さくて済むからです。

量子化がしていること

素の言語モデルの重みは、通常 16 ビットまたは 32 ビットの浮動小数点数で保持されます。量子化はその重みをより低い精度 ―― たとえば 4 ビットや 8 ビットの表現 ―― に圧縮するもので、精度はわずかに落ちますが、一般には許容できる範囲です。結果として、モデルファイルは元の何分の 1 かの大きさになり、専用 GPU のないノート PC を含む一般的な民生ハードウェアでも実用的な推論ができるだけの速さになります。

サーバーラックではなく個人の Windows PC の中だけで完結するモデルを配布できるのは、これがあるからです。数百メガバイトから数ギガバイト程度の量子化モデルなら、すでに動いている他のソフトと並んでも、ディスクにもメモリーにも無理なく収まります。

Typeahead のモデルサイズの考え方

Typeahead for Windows は 3 種類のモデルを任意で選べるようにしており、速度と提案品質のバランスをご自身の PC に合わせて決められます。

3 つとも動作基盤は llama.cppです。一般的な CPU やコンシューマー向け GPU で言語モデルを効率よく動かすために作られた推論エンジンで、さらに 3 つとも Qwen 3をベースにしています。100 以上の言語をカバーする多言語モデルファミリーなので、手動で切り替えなくても、提案の言語はそのとき実際に入力している言語に従います。

クラウドに依存しないのも、これが理由です

モデルがローカルで動くほど小さいため、Typeahead は重い処理をサーバーに任せる必要がありません。これは直接的にはプライバシー上の帰結 ―― 入力した内容がどこにも送られない ―― をもたらしますが、実用上の利点もあります。インターネット接続がなくても提案が出て、API のレート制限もなく、遠くのサービスが動き続けているかどうかにも左右されません。

モデル	おおよそのサイズ	トレードオフ
fast	約 400 MB	遅延が最も小さい既定の選択肢
balanced	約 1.1 GB	容量に余裕、それでいて軽量
maximum	約 2.5 GB	利用できる中で最良の提案品質

モデルをダウンロードする前から使えるもの

Typeahead は、初日から役に立つのにモデルを必要としません。独自の定型文によるオートコレクトと辞書ベースの入力補完は、モデルをダウンロードする前、インストール直後から動きます ―― AI による文単位の提案は、3 つのモデルのいずれかを選んだ時点でその上に加わります。

よくある質問

Typeahead を入手

fast、balanced、maximum から選べます。すべて追加料金なしで込み。9.99 ドルの買い切りです。

 Microsoft Store で入手