1-bit LLM「Bonsai」活用ガイド — 1.15GB で動く 8B モデルをローカルで使い倒す

はじめに

2026年3月31日、Caltech 発のスタートアップ PrismML が 1-bit LLM ファミリー Bonsai を発表しました。8B クラスのモデルがわずか 1.15GB、必要メモリ約 1.5GB で動作し、GPU なしの普通の PC でも実用的な速度で推論できるとして大きな話題になっています。

Bonsai の注目ポイントは次の3つです。

真の 1-bit モデル — 量子化ではなく、最初から 1-bit（+1 / -1 のみ）で学習
圧倒的な省フットプリント — 8B モデルで 1.15GB。同クラスの 16-bit モデルの約 1/14
Apache 2.0 ライセンス — 商用利用も含め制限なし

この記事では、Bonsai の概要とセットアップ手順を押さえたうえで、ローカルチャット・OpenAI 互換 API でのアプリ組み込み・ツール呼び出し・コーディングエージェント連携といった活用法を、現時点での「向き・不向き」も含めてまとめます。

Bonsai の概要

「真の 1-bit」とは何が新しいのか

従来の軽量化は、16-bit や 32-bit で学習したモデルの重みを後から 4-bit などに丸める**学習後量子化（Post-Training Quantization）**が主流でした。これに対して Bonsai は、埋め込み層・アテンション層・MLP 層・LM ヘッドまでネットワーク全体を 1-bit のままスクラッチで学習しています。高精度のまま残す「逃げ道」のレイヤーが存在しないのが特徴です。

その結果、8B クラスでありながらファイルサイズ 1.15GB という極小サイズを実現しつつ、標準ベンチマークでは同クラスのフル精度モデルと競合する性能を出しています。

モデルラインナップ

モデル	パラメータ	ファイルサイズ	特徴
Bonsai 1.7B	1.7B	数百 MB	最軽量。組み込み・実験向け
Bonsai 4B	4B	~600MB	軽量とバランスの中間
Bonsai 8B	8.2B	1.15GB	日常用途のメインモデル
Bonsai 27B	27B	—	画像入力・ツール呼び出し対応、最大 262K コンテキスト

さらに 2026年4月16日には、サイズを少し犠牲にして品質を高めた 1.58-bit 版の「Ternary Bonsai」（重みが -1 / 0 / +1 の3値）ファミリーも発表されています。公式デモではこちらがデフォルトになっており、iPhone クラスのデバイスでも動作報告があります。

ベンチマーク

Bonsai 8B は MMLU-R で 65.7、主要ベンチマーク平均で 70.5 と、16GB 級の Mistral 8B や Olmo 7B とほぼ同等の位置につけています。「14倍小さくて同等精度」というのが PrismML の主張です。

現時点のベンチマークは PrismML 自身が公表した数値が中心で、独立した評価プラットフォームでの検証はまだ限定的です。導入前に自分のユースケースで品質を確認することをおすすめします。

## セットアップ — まず動かす

注意：通常の llama.cpp / Ollama / LM Studio では動かない

Bonsai は特殊な 1-bit フォーマットを使うため、専用の推論カーネルが必要です。2026年7月時点では、通常の llama.cpp・Ollama・LM Studio はまだ対応しておらず、PrismML の llama.cpp フォークか公式デモリポジトリを使う必要があります。ここが最初のつまずきポイントです。

公式デモリポジトリ（Bonsai-demo）を使う

いちばん簡単なのは、公式の Bonsai-demo リポジトリです。setup.sh が依存関係のインストール・モデルのダウンロード・バイナリの取得までまとめて行ってくれます。

# macOS / Linux
git clone https://github.com/PrismML-Eng/Bonsai-demo.git
cd Bonsai-demo
./setup.sh

# Windows (PowerShell)
git clone https://github.com/PrismML-Eng/Bonsai-demo.git
cd Bonsai-demo
Set-ExecutionPolicy -Scope Process -ExecutionPolicy Bypass
.\setup.ps1

モデルファミリーとサイズは環境変数で切り替えます。

環境変数	値	意味
`BONSAI_FAMILY`	`ternary`（デフォルト） / `bonsai`	1.58-bit 版か 1-bit 版か
`BONSAI_MODEL`	`27B`（デフォルト） / `8B` / `4B` / `1.7B`	モデルサイズ
`BONSAI_TOKEN`	Hugging Face のリードトークン	27B（非公開リポジトリ）に必要

プロンプトを投げてみる

# llama.cpp 経由で1回だけ推論（Mac / Linux）
./scripts/run_llama.sh -p "日本の首都はどこですか？"

# サイズを変えて実行
BONSAI_MODEL=8B ./scripts/run_llama.sh -p "1-bit LLM の利点を3つ挙げてください"

Apple Silicon の Mac なら MLX 版も使えます。

source .venv/bin/activate
./scripts/run_mlx.sh -p "こんにちは"

対応バックエンドは Mac（Metal）、Linux / Windows（CUDA・Vulkan・ROCm）、そして CPU です。実測では GPU なしの Windows PC（CPU のみ）で約 11〜12 トークン/秒、Vulkan 経由の内蔵 GPU で 14〜15 トークン/秒という報告があり、チャット用途なら十分な速度が出ます。

活用法 1 — ローカルチャット・要約・文書処理

Bonsai 8B の本命の用途は、「速いローカル応答が遅い API 呼び出しに勝つ」タイプの日常タスクです。PrismML 自身も、チャット・要約・文書検索であれば 8B が「デイリードライバーとして実用」と位置づけています。

チャットサーバーを立ち上げると、ブラウザから Web UI で使えます。

# http://localhost:8080 で Web チャット UI が起動
./scripts/start_llama_server.sh

# 軽くしたい場合は 4B に切り替え
BONSAI_MODEL=4B ./scripts/start_llama_server.sh

日本語もかなり自然で、「私は PrismML が開発した AI アシスタント Bonsai です」と自己認識する程度にはインストラクションチューニングが効いています。以下のような用途は 8B で実用ラインです。

議事録・記事の要約
メールや文章の下書き・リライト
機密文書をクラウドに出さずに扱うローカル RAG の生成部
ネットワークが使えないオフライン環境での相棒

活用法 2 — OpenAI 互換 API でアプリに組み込む

start_llama_server.sh が立ち上げるサーバーは OpenAI 互換 API を提供します。つまり、既存の OpenAI SDK のコードの向き先を変えるだけで、自作アプリの推論エンジンを Bonsai に差し替えられます。

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:8080/v1",
    api_key="dummy",  # ローカルサーバーなので任意の文字列で OK
)

response = client.chat.completions.create(
    model="bonsai-8b",
    messages=[
        {"role": "user", "content": "この文章を3行で要約してください。\n\n（本文）"},
    ],
)

print(response.choices[0].message.content)

API コストがゼロ・レイテンシが小さい・データが外に出ない、という3点がそろうので、次のような組み込みに向いています。

社内ツールの要約・分類・タグ付けなどの高頻度・低単価タスク
クラウド LLM の前段に置くルーター / 前処理（簡単な質問はローカルで完結させる）
SaaS のコスト削減のためのフォールバック先

活用法 3 — ツール呼び出し・MCP 連携

27B モデル（および Ternary-Bonsai 27B）は OpenAI スタイルの Function Calling をネイティブサポートしており、MCP サーバーとの連携や、Open WebUI + コードインタープリタを組み合わせたエージェントデモも公式に用意されています。

画像入力: 27B はチャット UI・API 経由で画像を受け付ける
ツール呼び出し: OpenAI 形式のツール定義がそのまま使える
推論モード: 会話ごとに reasoning effort を調整可能
最大 262,144 トークンのロングコンテキスト（27B）

27B でも推定ピークメモリは **約 5.2GiB（10K コンテキスト時）〜 14.4GiB（Ternary 27B・100K コンテキスト時）**と、一般的なノート PC のメモリに収まる範囲です。「ローカルで完結する小さなエージェント」を組む土台として現実的なラインに入ってきました。

活用法 4 — コーディングエージェントのバックエンド（現状は厳しい）

OpenAI 互換 API があるので、Claude Code や Aider のバックエンドに Bonsai を指定すること自体は可能です。ただし、実際に試した検証記事では現時点では実用的とは言い難いという結果が出ています。

Claude Code はトークン消費量が膨大で、Bonsai 8B の生成速度ではエージェントループが回りきらない
Aider は比較的軽量で「まだマシ」だが、直接 API を呼ぶ場合と比べて明確な優位はない

検証者の結論は「Bonsai はエージェントの頭脳ではなく、API を直接叩く用途の軽量エンジンとして使うのが正解」というものです。エージェント用途は 27B + ツール呼び出しの成熟や、今後のモデル強化を待つ段階と言えます。

現時点の制約と注意点

エコシステム未対応: LM Studio や通常の Ollama はまだ 1-bit フォーマット非対応。PrismML フォークのビルドが必要（Ollama にモデルを pull すること自体はできても実行できない）
ベンチマークは自社公表中心: 独立検証はこれから。特に日本語の込み入ったタスクは要事前確認
小さいサイズには注意: 1.7B は品質面で用途を選ぶという報告が多く、まず 8B から試すのが無難
ファインチューニング: 1-bit 形式ゆえに既存のチューニングツールチェーンがそのまま使えず、コミュニティで検証が進んでいる段階

Ternary Bonsai — 1.58-bit という現実解

4月16日に追加された Ternary Bonsai は、重みを -1 / 0 / +1 の3値（1.58-bit）にすることで、わずかなサイズ増と引き換えに 1-bit 版より品質を高めたファミリーです。公式デモのデフォルトがすでに Ternary になっており、「品質の Ternary、極小の 1-bit」という住み分けが進みそうです。メモリ 8GB クラスのマシンや iPhone での動作報告もあり、エッジデバイスへの本格展開はこちらが本命と見られます。

まとめ

Bonsai は PrismML が2026年3月末に公開した、スクラッチから 1-bit で学習された初の商用実用 LLM ファミリー（1.7B / 4B / 8B / 27B、Apache 2.0）
8B が 1.15GB・必要メモリ約 1.5GB。GPU なし CPU でも 11〜12 トークン/秒で動く
現時点のベストな使いどころは、ローカルチャット・要約・文書処理と、OpenAI 互換 API 経由でのアプリ組み込み
27B は画像入力・Function Calling・MCP 連携・262K コンテキストに対応し、ローカルエージェントの土台になりうる
Claude Code / Aider などコーディングエージェントの頭脳としては現状は力不足。「API を直接叩く軽量エンジン」として使うのが正解
通常の llama.cpp / Ollama / LM Studio は未対応のため、公式の Bonsai-demo か PrismML フォークを使う

「推論に GPU はほぼ不要になる」という評まで出ている Bonsai。まずは手元のノート PC で setup.sh を叩いて、1-bit LLM の速度を体感してみてください。