ここでは、皆さんのローカルで利用できる LLM を探すためのツールを紹介します。
uv や node がインストールされている PCであれば、インストールされている方で whichllm や LLM Checker を実行した方が面白い結果を得られると思います。
ブラウザから GPU を指定してさっと確認したい場合は Can I Run AI locally? を実行してみてください。
あくまで参考としていろいろ調べてみてください
初めてローカル LLM を触るような場合には、情報が多すぎて何を選べばいいかわからないと思います。 インターネットにある「使ってみた」モデルは、自分の PC に合わないものもあると思うので、まずこれらのツールで「ざっくり自分の PC はどのようなサイズのモデルが合うか？パラメータ数は 7B? 12B? 量子化レベルは Q4 が使える？」などをなんとなく頭に入れたうえで探すといいと思います。
Can I Run AI locally? (Web アプリ)
CanIRun.ai — Can your machine run AI models?
Web サイトにアクセスすることで利用できます。
以下は一例ですが、利用している GPU を選択するだけです。
VRAM 8GB なので、事実上 Llama 3.1 8B しかちゃんと動く (DECENT) ものは無さそうですね。
一応スクロールすると、もっと小さいモデル等も出てきて、その中には RUNT GREAT のものもあります。
新しいモデルが反映されていない場合があります
記事を書いた時点では、ローカルでよく利用される Qwen 3.6 シリーズや、Gemma 4 シリーズに対応していませんでした。
whichllm
Python 製のチェックツールです。uv がインストールされていれば、以下を調べたい PC で実行することで、その PC の結果を出してくれます。
uvx whichllm@latest以下は結果です。ここでは VRAM 10GB のデスクトップ PC で試しています。 このツールは VRAM だけではなく RAM 等のハードウェア構成を見たうえで判定しているようですね。
よって、Fit / VRAM の列で Partial (すべて VRAM に乗っているわけではない) のものでも Score が良好のものが確認できます。
また Quant 列があり、量子化レベルも選択されています。
╭─────────────────────────────── Hardware Info ────────────────────────────────╮
│ GPU 0: NVIDIA GeForce RTX 3080 — 10.0 GB (budget 9.5 GB) (CC 8.6, CUDA 13.1) │
│ — BW: 760 GB/s │
│ CPU: AMD Ryzen 9 5950X 16-Core Processor — 16 cores (AVX2) │
│ RAM: 63.9 GB │
│ Disk free: 492.1 GB │
│ OS: windows │
│ VRAM headroom: 512 MB reserved per GPU │
╰──────────────────────────────────────────────────────────────────────────────╯
Recommended Models
┏━━━━━┳━━━━━━━━━━━━━━━━┳━━━━━━━━┳━━━━━━━━━━┳━━━━━━━━━━━━━━┳━━━━━━━━━━━━┳━━━━━━━┓
┃ ┃ ┃ ┃ Fit / ┃ ┃ ┃ ┃
┃ # ┃ Model ┃ Quant ┃ VRAM ┃ Speed ┃ Published ┃ Score ┃
┡━━━━━╇━━━━━━━━━━━━━━━━╇━━━━━━━━╇━━━━━━━━━━╇━━━━━━━━━━━━━━╇━━━━━━━━━━━━╇━━━━━━━┩
│ 1 │ Qwen/Qwen3-14B │ Q3_K_M │ Full GPU │ 58.8 tok/s ~ │ 2025-04-27 │ 73.1 │
│ │ 14.8B │ │ 8.3 GB │ │ │ │
├─────┼────────────────┼────────┼──────────┼──────────────┼────────────┼───────┤
│ 2 │ microsoft/phi- │ Q3_K_M │ Full GPU │ 59.3 tok/s ~ │ 2024-12-11 │ 70.9 │
│ │ 4 │ │ 8.2 GB │ │ │ │
│ │ 14.7B │ │ │ │ │ │
├─────┼────────────────┼────────┼──────────┼──────────────┼────────────┼───────┤
│ 3 │ Qwen/Qwen3.6-2 │ Q3_K_M │ Partial │ 14.1 tok/s ? │ 2026-04-21 │ 70.5 │
│ │ 7B │ │ 14.7 GB │ │ │ │
│ │ 27.8B │ │ │ │ │ │
├─────┼────────────────┼────────┼──────────┼──────────────┼────────────┼───────┤
│ 4 │ google/gemma-4 │ Q3_K_M │ Partial │ 99.2 tok/s ? │ 2026-03-11 │ 70.1 │
│ │ -26B-A4B-it │ │ 12.3 GB │ │ │ │
│ │ 26.5B (3.8Ba) │ │ │ │ │ │
├─────┼────────────────┼────────┼──────────┼──────────────┼────────────┼───────┤
│ 5 │ openai/gpt-oss │ Q3_K_M │ Partial │ 108.6 tok/s │ 2025-08-04 │ 67.3 │
│ │ -20b │ │ 10.2 GB │ ? │ │ │
│ │ 21.5B (3.6Ba) │ │ │ │ │ │
├─────┼────────────────┼────────┼──────────┼──────────────┼────────────┼───────┤LLM Checker
Node.js 製のチェックツールです。node がインストールされていれば、以下を調べたい PC で実行することで、その PC の結果を出してくれます。
npx llm-checker recommend以下は結果です。ここでは VRAM 10GB のデスクトップ PC で試しています。
ゲーミングとしてはそれなりでも、LLM 用のハードウェアとしては MEDIUM LOW という判定になってしまいますね。
用途に応じた推奨モデルを出してくれています。
llm-checker | Recommendations
---------------------------------------
Recommendation mode: Canonical recommendations: deterministic hardware-aware selector by category.
SYSTEM INFORMATION
╭──────────────────────────────────────────────────
│ CPU: Ryzen 9 5950X 16-Core Processor (32 cores, 3.4GHz)
│ Architecture: x64
│ RAM: 64GB
│ GPU: NVIDIA GeForce RTX 3080
│ Backend: NVIDIA CUDA
│ VRAM: 10GB (Dedicated)
│ Dedicated GPUs: NVIDIA GeForce RTX 3080
│ Integrated GPUs: None
│ Hardware Tier: MEDIUM LOW
╰
INTELLIGENT RECOMMENDATIONS BY CATEGORY
╭─────────────────────────────────────────────────────────────────
│ Hardware Tier: MEDIUM LOW | Models Analyzed: 10799
│ Optimization: BALANCED | Runtime: AUTO
│ Source: Multi-source registry
│
│ BEST OVERALL: mistral
│ Command: ollama pull mistral:7b-instruct-v0.2-q5_0
│ Score: 92/100 | Category: general
│ Quantization: Q5_K_M
│ Runtime: ollama | Source: ollama
│ Fine-tuning: QLoRA
│
│ Coding (Coding):
│ qwen2.5-coder (7B)
│ Score: 83/100 | Pulls: 15,000,000
│ Quantization: Q6_K
│ Runtime: ollama | Source: ollama
│ Fine-tuning: QLoRA
│ Command: ollama pull qwen2.5-coder:7b-base-q6_K
│
│ Reasoning (Reasoning):
│ qwen2.5 (14B)
│ Score: 92/100 | Pulls: 29,000,000
│ Quantization: Q4_K_M
│ Runtime: ollama | Source: ollama
│ Fine-tuning: No FT
│ Command: ollama pull qwen2.5:14b
│
│ Multimodal (Multimodal):
│ llava (7B)
│ Score: 91/100 | Pulls: 14,000,000
│ Quantization: Q6_K
│ Runtime: ollama | Source: ollama
│ Fine-tuning: QLoRA
│ Command: ollama pull llava:7b-v1.6-mistral-q6_K
│
│ Creative (Creative):
│ deepseek-coder (6.7B)
│ Score: 91/100 | Pulls: 4,100,000
│ Quantization: Q6_K
│ Runtime: ollama | Source: ollama
│ Fine-tuning: QLoRA
│ Command: ollama pull deepseek-coder:6.7b-base-q6_K
│
│ Talking (Chat):
│ deepseek-coder (6.7B)
│ Score: 91/100 | Pulls: 4,100,000
│ Quantization: Q6_K
│ Runtime: ollama | Source: ollama
│ Fine-tuning: QLoRA
│ Command: ollama pull deepseek-coder:6.7b-base-q6_K
│
│ Reading (Reading):
│ yi (6B)
│ Score: 87/100 | Pulls: 1,200,000
│ Quantization: Q3_K
│ Runtime: ollama | Source: ollama
│ Fine-tuning: QLoRA
│ Command: ollama pull yi:6b-200k-q3_K_S
│
│ General (General):
│ mistral (7B)
│ Score: 92/100 | Pulls: 28,900,000
│ Quantization: Q5_K_M
│ Runtime: ollama | Source: ollama
│ Fine-tuning: QLoRA
│ Command: ollama pull mistral:7b-instruct-v0.2-q5_0
│
╰