Nemotron 3.5 Bolt E4Bとは​──4GBモデルの​使い道と​導入条件

NVIDIAが2026年10月23日、端末内で動かす会話AI「Nemotron 3.5 Bolt E4B 4GB」を公開しました。^[1] 注目点は、会話しながらアプリの機能を呼び出すAIを、手元の機器に組み込めることです。 ただし、「4GB」は配布ファイルの容量でも、あらゆる条件でのメモリ上限でもありません。 2026-10-25時点の公式資料をもとに、使い道、機器ごとの実測、導入前に確かめたい条件を整理します。

Nemotron 3.5 Bolt E4Bは、GoogleのGemma 4 E4BをもとにNVIDIAが追加学習した言語モデルです。10月15日のシリーズ発表で予告され、10月23日にモデルの重み、つまりAIの学習結果を収めたファイルが提供されました。クラウドのチャットサービスに登録する方式とは違い、自分たちで実行環境を用意する選択肢です。^[2]

狙いは、端末の操作案内、対話するキャラクター、機器に組み込むアシスタントなど。質問に文章で答えるだけでなく、会話の途中でアプリの機能を呼ぶ「ツール利用」に対応します。たとえば在庫を尋ねられたら在庫検索を呼び、その結果に基づいて返答する、といった組み込み方です。在庫検索そのものや、実行を許可する仕組みは開発側が用意します。

仕様表の出典はNVIDIAのモデルカードです。トークンはAIが文章を扱う単位で、日本語の文字数と一対一には対応しません。上限までの文脈を確保した場合の速度やメモリが、短い会話と同じになるわけでもありません。^[3]

保存容量、実行時のメモリ、機器全体のメモリは分けて考える必要があります。2026-10-25時点の公式配布情報では、GGUF本体は6,180,446,208バイト、十進表記で約6.18GBです。名前を見て「4GBだけダウンロードすればよい」と考えると、準備する容量から食い違います。^[4]

NVIDIAは対象の処理で約4GBのメモリ使用を目指すモデルと説明しています。一方、公開された実測表では、会話の条件や機器によって4GBを超えています。下表はその一部です。最初の文字が出るまでの時間をTTFTと呼びます。

出典はNVIDIAの実測で、CAGの実測値ではありません。表の使用量は、公式が「VRAM usage」として掲載した値です。VRAMはGPUの処理に使うメモリを指し、ここではOSや併用アプリを含む端末全体の必要メモリを示しているわけではありません。いずれもQ4_K_M、同時処理数1、llama.cppのCUDA実装、AIPerfによる測定です。履歴キャッシュ・新たな入力・出力の長さを変えた条件であり、64K全体を使った結果ではありません。RTX 5070は12GB搭載機です。この表から「4GB搭載のGPUでも同じ結果になる」とは判断できません。^[1]

会話履歴を保持する領域は、モデル本体とは別に実行条件へ影響します。音声認識や読み上げ、検索処理、既存の業務アプリも一緒に動かすなら、それらの使用量を含めて見積もります。llama.cpp側にも文脈や同時処理数の設定があるため、モデル名だけで必要メモリを決めないことが大切です。^[5]

また、公式の品質比較にはBF16版と量子化版の区別があります。BF16はより高い精度で数値を持つ形式です。別形式での品質スコアを、そのまま4GB版の実行速度と並べて優劣を決めるのは避けたいところです。

公式紹介には音声アシスタントという用途が出てきますが、このモデル自体の入出力はテキストです。マイクの音声を文字にする処理、返答を声にする処理は、システムの別の部分として組み合わせます。画像を見て状況を把握させたい場合も、別の認識モデルなどが必要です。^[3]

この表はCAGが考える利用例で、導入実績ではありません。「会話が自然」と「操作が正しい」は別々に確認します。存在しない在庫を答えないか、曖昧な商品名なら聞き返すか、検索が失敗した時に成功したように話さないか。日常の会話が滑らかでも、ここが崩れると業務では使いづらくなります。

モデルカードには、推論を切り替える設定と、短く話す会話向けの設定が用意されています。複雑な判断と短い案内で設定を変える余地はありますが、日本語の敬語、商品名の読み違い、応答が終わるまでの時間は、実際の利用条件で比べる必要があります。^[3]

端末内で実行する利点は、モデルへの入力を外部の推論サービスへ送らずに処理する構成を選べることです。ただし、外部通信の範囲はシステム全体で決まります。モデルがローカルでも、音声認識がクラウドだったり、検索先が外部APIだったりすれば、その部分では通信が発生します。

NVIDIAが公開したメモリ・速度の測定環境は、NVIDIA機器とCUDAによるものです。モデルカードにはllama.cppでの起動例があり、補助モデルを使うDFlashの構成も分かれています。まず本体だけの構成で条件を揃え、補助モデルや別の認識モデルを加えた時は、必要量を測り直すのが分かりやすい進め方です。Macなど別の環境での速度を、NVIDIAの数値から推定することはできません。^[1][3]

業務で試すなら、最初は公開資料や架空の在庫データを使います。ネットワークを切っても必要な処理が完結するか、通信ログに意図しない送信先がないか、履歴やログがどこに残るかを確認します。これはCAGの試し方の提案であり、本記事でオフライン動作を検証したという意味ではありません。

NVIDIAのプライバシー資料は学習データに関する説明を含みますが、それだけで導入先のアプリによるログ保存や外部送信まで保証されるわけではありません。利用時のデータの流れは、自分たちの構成として確認する必要があります。^[6]

ローカルに移せば運用費がゼロになるわけでもありません。機器の購入、電力、更新、障害対応、品質確認は残ります。頻繁に使う定型処理なのか、まれに使う高度な分析なのかを分け、クラウド利用時の費用と管理の手間を含めて比較します。

導入の判断には、モデル全体のランキングよりも、自分たちの仕事で失敗する条件が役立ちます。たとえば「架空の商品在庫を調べ、根拠付きで短く回答する」という一つの仕事に絞り、次の観点を残します。

成功例だけで判断せず、わざと存在しない商品を尋ねたり、検索を失敗させたりして、止まる・聞き返す・失敗を伝える動作まで確かめます。NVIDIAも用途ごとのデータを用いた追加検証の必要性を示しており、公開モデルを置くだけで業務システムが完成するわけではありません。^[7]

利用条件はOpenMDW-1.1です。ライセンス原文は幅広い利用を認める一方、モデル素材を再配布する際のライセンスや由来表示の保持などを求めています。2026-10-25時点の原文を、組み込み・配布の形に合わせて確認してください。^[8]

Bolt E4Bは、短い会話と限定した操作を手元の端末で回したい時の候補です。まずは小さな仕事を一つ選び、機器・履歴の長さ・接続先を固定して比べる。「4GB」という名前より、その条件で正しく動くかを採用の基準にできます。

本記事は2026-10-25時点の公式情報の解説です。CAGではモデルの実行、日本語精度、応答速度、実際のメモリ使用量、オフライン動作を検証していません。