スマートフォンや PC、工場や畑の機器の中で LLM を動かす「オンデバイスAI」を検討すると、まず「GPU のない機械で、小さな公開モデルはどこまで使えるのか」という疑問に行き当たります。論文やカタログには速さの数字が並びますが、機種も設定も違うため、自分の用途に置き換えるのは簡単ではありません。
そこで筆者の手元の CPU で、0.5B〜7B の公開モデルを量子化の段階とスレッド数(使う CPU の数)を変えながら動かし、生成の速さ・最初の文字が出るまでの時間・メモリ・日本語の問題の正答を測りました。あわせて、答えのない質問に「分からない」と言えるかも試しています。結論を先に言うと、今回の短い入力の比較では、量子化で速くなったのは主に文章を生成する段階で、入力の読み込みは生成ほどには速くならず、11問の正答数は量子化の段階よりモデルの大きさで大きく変わりました。小型モデルを選ぶときは、まず大きさを業務の質問で決め、そのあとで量子化をメモリと速さで選び、選んだ段階でもう一度答えの質を確かめるのが近道です!
お断り: 測ったのはサーバー向けの CPU で、スマートフォンや端末の電池の減り、発熱、NPU(AI処理専用の回路)での動作は測っていません。見てほしいのは絶対値ではなく、設定を変えたときに、どの値がどれだけ動くかです。端末で動かす話の全体像はオンデバイスAIの記事で、分野ごとの事例は医療・車載・ウェアラブル・農業の各記事で扱っています。
測った条件
- CPU: Intel Xeon Gold 6126(2017年発売のサーバー向け CPU)の仮想マシン。GPU は使わず、仮想 CPU 8個をこの計測だけに割り当て、スレッドをそこに固定しました。結果1・2の速さとメモリ、結果5は、同じ機械でほかの計算が動いていない状態で測っています(結果1の正答は、毎回同じ答えが出る設定なので、最初に測ったときの値です)
- 実行環境: llama.cpp(2026年10月19日時点の版)。スレッド数(使う CPU の数)は2・4・8の3段
- モデル: Alibaba が公開している Qwen2.5-Instruct の 0.5B・1.5B・3B・7B。公式に配布されている FP16(16ビット)・Q8_0(8ビット)・Q4_K_M(約4ビット)のファイルをそのまま使いました(7B は Q4_K_M だけ)
- 速さ: 日本語で約290字(約250トークン)の文章を要約させ、128トークンを生成させたとき(文章の終わりが来ても止めずに128トークンまで続けさせる設定)の3回の中央値。生成の速さの3回のばらつき(最大と最小の差)は、8スレッドでは2%以内、2スレッドでは最大11%でした
- 最初の文字まで: 要求を送ってから最初の文字が返るまでの時間。ほとんどが入力の読み込みにかかる時間です
- メモリ: 実行中のプロセスが使ったメモリの最大値(扱える文章の長さを4,096トークンに設定)
- 答えの質: 毎回同じ答えが出る設定(温度0)で、筆者が作った日本語の問題に答えさせました。出力の上限は、結果1の短い問題が64トークン、結果3の文章題が512トークン、結果4が160トークンで、途中で切れた回答は切れる前までで採点しています
結果1:量子化の段階ごとの速さ・メモリ・正答
8スレッドで動かしたときの結果です。正答は、短い問題11問(計算・日付の抜き出し・問い合わせの分類など)での数です。12問を用意しましたが、1問は問題文が二通りに読めたため集計から外しました。
| モデル | 量子化 | ファイル | 生成の速さ(トークン/秒) | 最初の文字まで | メモリの最大値 | 正答(11問) |
|---|---|---|---|---|---|---|
| 0.5B | FP16(16ビット) | 1.27GB | 36.1 | 0.42秒 | 1.40GB | 6/11 |
| 0.5B | Q8_0(8ビット) | 0.68GB | 50.6 | 0.53秒 | 0.81GB | 6/11 |
| 0.5B | Q4_K_M(約4ビット) | 0.49GB | 34.6 | 0.57秒 | 0.66GB | 7/11 |
| 1.5B | FP16(16ビット) | 3.56GB | 13.8 | 1.15秒 | 3.78GB | 10/11 |
| 1.5B | Q8_0(8ビット) | 1.89GB | 19.7 | 1.75秒 | 2.11GB | 10/11 |
| 1.5B | Q4_K_M(約4ビット) | 1.12GB | 29.1 | 1.04秒 | 1.97GB | 10/11 |
| 3B | FP16(16ビット) | 6.80GB | 7.5 | 2.42秒 | 7.07GB | 10/11 |
| 3B | Q8_0(8ビット) | 3.62GB | 10.4 | 3.52秒 | 3.88GB | 10/11 |
| 3B | Q4_K_M(約4ビット) | 2.10GB | 15.8 | 2.23秒 | 3.70GB | 10/11 |
8スレッドで動かした場合。最初の文字までの時間は、約250トークンの入力を読み込ませたときの値です。今回生成させた日本語の文章では、1トークンがおよそ1.1〜1.4字でした(文章によって変わります)。1秒に10トークンなら、およそ11〜14字です。
量子化で速くなるのは主に「生成」
3B は FP16 の 7.5 トークン/秒から Q4_K_M で 15.8 トークン/秒と、約2.1倍になりました。ところが、最初の文字までの時間はあまり縮まず(2.42秒→2.23秒)、Q8_0 ではかえって延びました(3.52秒)。0.5B では、入力の読み込みは FP16 がいちばん速くなっています。入力の読み込みは計算の量が効く段階で、この CPU では量子化の恩恵を受けにくかったと考えられます。
生成は、1トークンを作るたびにモデル全体をメモリから読み出す段階です。FP16 では、生成の速さにファイルの大きさを掛けると、1.5B と 3B で1秒に約49〜51GB を読み出していた計算になります(帯域を直接測ったのではなく、速さからの概算です)。この値はどちらでもほぼ同じで、メモリの読み書きで頭打ちになっていたと考えられます。量子化すると 3B のファイルは約3.2分の1になりましたが、速さは約2.1倍にとどまりました。読み出す量が減る代わりに、数値を元に戻す計算が増えるためと考えられます。
いちばん小さい 0.5B では、8スレッドの Q4_K_M(34.6 トークン/秒)が Q8_0(50.6 トークン/秒)より遅く、起動し直して測り直しても同じでした。小さいモデルほど、「ビット数を減らせば速くなる」とは限らないということです。
メモリは、ファイルほどには減らない
FP16 と Q8_0 は、ファイルの大きさに文章を覚えておく領域などの0.1〜0.3GBを足した程度でした。一方 Q4_K_M は、ファイルより 0.2〜1.6GB 多く使い、3B では FP16 の 7.07GB に対して 3.70GB でした。内訳を見ると、3B の Q4_K_M では、ファイルを読み込んだ分が約2.1GB、それとは別に確保されたメモリが約1.6GB でした(FP16 では、別に確保されたメモリは約0.3GB)。llama.cpp では、CPU で速く計算できるように重みを並べ替える機能(repack)が既定で有効になっていて、別に確保されたメモリが大きく増えたのは Q4_K_M だけだったので、その分が上乗せされたと考えられます(用途ごとの内訳までは測っていません)。ファイルを読み込んだ分は、メモリが足りなくなれば OS が手放せます。載るかどうかを見積もるときは、ファイルの大きさだけでなく、実行環境がどれだけ上乗せするかも確かめる必要があります。
正答は、量子化の段階よりモデルの大きさで変わった
同じ大きさのモデルの中では、量子化の段階による正答の差は最大1問でした。一方、0.5B は 6/11〜7/11 問で、「1週間は14日です」「120分は1時間40分です」のような誤りを、ためらわずに言い切りました。1.5B と 3B はどの段階でも 10/11 問です。ただし11問の簡単な問題での結果なので、量子化による細かな劣化までは見えていません。
結果2:スレッド数を変えると
スレッド数(使う CPU の数)を2・4・8と変えた結果です。各欄は「生成の速さ(トークン/秒)/最初の文字までの時間」です。
| モデルと量子化 | 2スレッド | 4スレッド | 8スレッド |
|---|---|---|---|
| 0.5B Q4_K_M | 21.6/1.7秒 | 35.5/0.9秒 | 34.6/0.6秒 |
| 1.5B Q4_K_M | 10.2/3.2秒 | 17.4/1.8秒 | 29.1/1.0秒 |
| 3B Q4_K_M | 5.3/6.8秒 | 9.7/3.6秒 | 15.8/2.2秒 |
| 3B FP16 | 2.4/8.1秒 | 4.3/4.5秒 | 7.5/2.4秒 |
スレッドを4倍にしても4倍速くはならず、Q4_K_M の生成の速さは 1.6〜3.0倍でした。小さいモデルほど伸びが小さく、0.5B は4スレッド(35.5 トークン/秒)から8スレッド(34.6 トークン/秒)に増やしても速くなりませんでした。生成はメモリの読み出しが効くため、スレッドを増やした分だけは伸びなかったと考えられます。最初の文字までの時間(約250トークンの入力)は、同じ 3B のモデルでも 2.23秒(Q4_K_M・8スレッド)から 12.69秒(Q8_0・2スレッド)まで、約6倍の幅がありました。使える CPU の数と量子化の段階で、待ち時間は大きく変わります。
計算資源の使い方の参考として、1回の応答に使った CPU の時間も比べました。3B の Q4_K_M では、8スレッドは 81 CPU 秒、2スレッドは 62 CPU 秒で、スレッドを減らすと遅くなる代わりに、使う CPU の時間は減りました。同じ2スレッドなら、FP16 の 122 CPU 秒に対して Q4_K_M は 62 CPU 秒です。CPU の時間と消費電力の関係は測っていないので、電池で動く機器では、実機の消費電力を測ってください。
結果3:モデルの大きさで、文章題の正答はどう変わるか
もう少し考える必要のある日本語の文章題30問(買い物の合計、到着時刻、割合、曜日、簡単な論理など)を、Q4_K_M の 0.5B〜7B に8スレッドで解かせました。考え方を短く書いたあと、最後の行に「答え:」に続けて答えを書かせ、その後ろを機械で採点しました(数を答える問題は最後に出てくる数、曜日や人名などは語が含まれるか)。この結果3と次の結果4は、同じ機械の別の CPU でほかの計算も動いていた時間帯に測ったため、CPU 時間は大きめに出ている可能性があり、その影響がモデルごとに同じとも限りません。倍率はおおまかな目安として見てください(正誤は毎回同じ答えが出る設定なので影響を受けません)。
| モデル | 正答(30問) | 1問あたりの出力トークン | 1問あたりの CPU 時間 | 正答1問あたりの CPU 時間 | メモリの最大値 |
|---|---|---|---|---|---|
| Qwen2.5 0.5B | 5/30 | 29 | 6.8秒 | 41秒 | 0.7GB |
| Qwen2.5 1.5B | 15/30 | 72 | 26.9秒 | 54秒 | 2.1GB |
| Qwen2.5 3B | 17/30 | 66 | 45.3秒 | 80秒 | 3.8GB |
| Qwen2.5 7B | 22/30 | 66 | 94.3秒 | 129秒 | 8.3GB |
大きくすると正答は増え、1.5B の 15問から 7B では 22問になりました。一方、1問あたりの CPU 時間は約3.5倍、メモリは 2.1GB から 8.3GB に増えます。0.5B は考え方を書かずに答えだけを出すことが多く、1問あたりの CPU 時間は最小でしたが、正答は 5問でした。
4つのモデルがすべて間違えた問題も3問(1ダースの鉛筆を3人で分ける、午後3時の4時間前、時計の長針が1周する間に短針が動く角度)あり、逆に 0.5B は正解し 7B は間違えた問題も2問ありました。どの仕事を小型モデルに任せられるかは、大きさだけでは決まりません。同じ結果を、費用の観点から推論コストの記事でも紹介しています。
結果4:答えのない質問に「分からない」と言えるか
存在しない作家の受賞作、存在しないダムの貯水量、存在しない Python のモジュールなど、筆者が作った架空の質問20問と、答えのある質問10問を、同じ 0.5B〜7B に答えさせました。質問だけを渡す場合(指示なし)と、「確かな情報を知らない場合や、質問の前提が誤っている可能性がある場合は、推測で答えずに『分かりません』と答えてください」という指示に置き換える場合(指示あり)の2通りです。回答はすべて目で読み、架空の質問では、「分からない」に加えて、存在しない・確認できない・前提が誤っていると述べて中身を断定しなかったものを「分からないと言えた」と数えました。答えのある質問の正答は、主な答えが合っていたものの数で、誤った補足が付いていても正答に数えています。
| モデル | 架空の質問:「分からない」と言えた(指示なし) | 同(指示あり) | 答えのある質問:正答(指示なし) | 同(指示あり) |
|---|---|---|---|---|
| Qwen2.5 0.5B | 1/20 | 1/20 | 6/10 | 8/10 |
| Qwen2.5 1.5B | 8/20 | 3/20 | 8/10 | 9/10 |
| Qwen2.5 3B | 10/20 | 14/20 | 9/10 | 9/10 |
| Qwen2.5 7B | 3/20 | 9/20 | 9/10 | 10/10 |
大きいモデルほど「分からない」と言えるわけではなく、指示なしでは 3B が10問だったのに対し、7B は3問でした。指示ありにすると 3B(14問)と 7B(9問)は増えましたが、1.5B はかえって減りました(8問→3問)。「確認できませんが、〜として知られています」のように、断りの言葉と作り話が同じ回答に並ぶ例も目立ちました。判定の基準と結果の読み方はハルシネーションの記事で詳しく紹介しています。
結果5:入力が長くなると、最初の文字までの時間はどう延びるか
長い資料を読ませたときの待ち時間も測りました。3B の Q4_K_M に、日本語の小説の本文を1,000〜32,000字読ませ、1つの質問に短く答えさせたときの時間です(答えは数トークンなので、ほとんどが入力の読み込みの時間です)。
| 資料の長さ | トークン数 | 答えが返るまでの時間 | 入力の読み込みの速さ(トークン/秒) |
|---|---|---|---|
| 1,000字 | 約860 | 約8秒 | 116 |
| 4,000字 | 約2,925 | 約29秒 | 105 |
| 8,000字 | 約5,783 | 約65秒 | 90 |
| 16,000字 | 約11,509 | 約2.7分 | 71 |
| 32,000字 | 約23,181 | 約8.1分 | 48 |
資料が32倍になると、待ち時間は約62倍になりました。長くなるほど1トークンを読み込む速さそのものが落ちる(116→48トークン/秒)ためです(ほかの計算が動いていない状態で測った値)。量子化しても入力の読み込みは生成ほどには速くならなかったので、長い資料を毎回読ませる使い方は、CPU だけの機械ではとくに重くなります。長い資料のどこで見落とすかは、長文脈の記事で紹介しています。
測って分かった、小型モデルを選ぶ順番
まずモデルの大きさを、業務の質問で決める
今回、答えの質をいちばん大きく動かしたのはモデルの大きさでした。業務で使う質問を数十件用意し、候補の大きさごとに正答と誤りの中身を確かめます。誤りを言い切るか、「分からない」と言えるかも、同じ質問で見ておきます。
量子化は、メモリと生成の速さで選ぶ
大きさが決まったら、量子化の段階は「機器のメモリに収まるか」と「生成が間に合うか」で選びます。メモリは、ファイルの大きさに実行環境の上乗せを足して見積もり、実際に動かして確かめます。
最初の文字までの時間は、入力の長さと CPU の数で別に測る
量子化しても、入力の読み込みは生成ほどには速くなりませんでした。長い指示や資料を毎回読ませる使い方なら、業務で使う長さの入力で、最初の文字までの時間を別に測ります。使える CPU の数も、本番の機器と同じにそろえます。
測った条件を書き残す
CPU の種類と数、スレッド数、実行環境の版、モデルと量子化のファイル、入力の長さが変われば、数字は変わります。比べるときは、同じ機械・同じスレッド数で、ほかの計算が動いていない状態の結果どうしだけを比べます。
CPU だけで小型 LLM を使う鍵は次の3点です
- 答えの質は、まずモデルの大きさで決める
今回の短い問題では、量子化の段階による差は小さく、大きさの差が大きく出ました。まず大きさを業務の質問で決め、量子化したあとももう一度確かめます。 - 量子化で速くなるのは主に生成
入力の読み込みは生成ほどには速くならず、メモリもファイルほどには減らないことがあります。段階ごとに測って選びます。 - 「分からない」と言えるかは、別に確かめる
大きいモデルほど言えるとは限らず、指示の効き方もモデルで違いました。答えのない質問をテストに混ぜます。
まとめ:小型 LLM は「載るか」から「何を任せられるか」で選ぶ!
GPU のない CPU でも、1.5B〜3B の Q4_K_M なら8スレッドで1秒に 15.8〜29.1 トークンを生成でき、簡単な問題には答えられました。ただ、量子化は生成ほどには入力の読み込みを速くせず、答えの質はモデルの大きさに左右され、作り話もモデルによって大きく違いました。
まずは手元の機械で、業務の質問を10件ほど、大きさと量子化の段階を変えて動かしてみてください。どの仕事を任せられるかと、どの設定なら間に合うかが見えてきます!
参考文献
- ggml-org「llama.cpp」(https://github.com/ggml-org/llama.cpp)2026-10-19 確認
- Qwen「Qwen2.5-0.5B-Instruct-GGUF」ほか 1.5B・3B・7B の公式 GGUF(https://huggingface.co/Qwen/Qwen2.5-3B-Instruct-GGUF など)2026-10-19 確認
- 青空文庫「坊っちゃん」夏目漱石(https://www.aozora.gr.jp/cards/000148/card752.html)2026-10-19 確認
計測日: 2026-10-19

