トークン
モデルが実際に読み書きするごく小さなテキスト単位で、通常は数文字または単語単位です。入力プロンプトはモデルが処理する前にトークンに分割され、返答もトークン単位で生成されます。詳細は 推論の仕組み をご覧ください。プリフィルとデコード
プリフィル とはモデルが何も出力せずに入力プロンプト全体を読み込む処理で、計算負荷が高く「最初のトークンまでの時間」の測定対象となります。デコード とはモデルがトークン単位で返答を生成する処理で、メモリ帯域幅がボトルネックとなり「トークン数/秒」の測定対象となります。詳細は 推論の仕組み をご覧ください。ディンシモデルとミックスド・オブ・エキスパーツ（MoE）モデル
A dense model runs every parameter on every token. A mixture-of-experts model — named like30B-A3B, 30B total parameters with 3B active — only runs a subset of “expert” parameters per token, so it decodes faster than a dense model of the same total size, but still needs memory for the full parameter set. See Read a model card.
精度
精度 とは実行時においてモデル内の各数値を保存または計算する際に用いられるビット数のことで、例えばbf16 ビットや FP16 ビット、FP8 ビット、あるいは 4 ビット形式などがあります。精度が低いほどメモリ使用量が減りデータ転送も速くなりますが、量子化が過度だと品質が低下する可能性もあります。詳細は 量子化 および 量子化形式と必要なハードウェア をご覧ください。
推論フレームワーク
An inference framework is the serving engine that loads the model, runs the math, manages batching and the KV cache, and exposes an API. Ollama and LM Studio optimize for easy local use; vLLM, SGLang, llama.cpp, TensorRT-LLM, and MLX expose lower-level controls for throughput, parallelism, and hardware-specific kernels. See Serving and scaling.カーネル
A kernel is the low-level GPU or CPU routine that performs a hot operation such as matrix multiplication, attention, quantized dequantization, or sampling. Quantization formats are only useful when your runtime has kernels that understand them; for example,NVFP4 needs Blackwell Tensor Core support, while GGUF works broadly through llama.cpp backends. See Quantization formats and the hardware they need.
テンサー並列処理（TP）
Tensor parallelism splits one model layer’s weights and computation across multiple GPUs. Use it when the model is too large for one GPU or when one GPU cannot serve enough traffic. It reduces per-GPU memory pressure, but the GPUs must synchronize during each forward pass, so fast interconnects matter. vLLM exposes this as--tensor-parallel-size; TensorRT-LLM documents the same strategy as TP. See Serving and scaling.
データ並列処理（DP）
データ並列処理とは、複数のGPUやインスタンス上でモデルのコピーをそれぞれ実行し、異なるリクエストを処理する手法です。モデルが各インスタンスのメモリ容量内に収まる場合にリクエスト処理のスループット向上が見込めます。vLLMのデータ並列デプロイメントの説明では、複数のインスタンスやGPU間でモデル重みを複製し、独立したバッチ処理を行う仕組みとして紹介されています。詳細はサービングとスケーリングをご覧ください。エキスパート並列処理（EP）
エキスパート並列処理はミックスドエキスパートモデル向けの手法です。すべてのGPUに各エキスパートの完全なコピーを用意する代わりに、異なるエキスパートを別々のGPUに配置し、選択されたエキスパートを担当するGPUへトークンを送信します。これにより大規模なMoEモデルにおける局所性やスループットの向上が期待できますが、ルーティングや同期処理のオーバーヘッドも増加します。詳細はサービングとスケーリングをご覧ください。マルチトークン予測（MTP）
マルチトークン予測とは、複数の将来のトークンを予測するための補助的なヘッドを訓練または追加する仕組みです。推論時には、ランタイムがこれらの予測結果を利用して投機的デコーディングを行うことが可能です。つまり、複数のトークンを一度に生成し、ターゲットモデルで検証した上で受け入れ可能なトークンのみを採用するのです。現在のDeepSeek-V4-Flash-0731 チェックポイントには、DSparkによる投機的デコーディングモジュールが同梱されており、vLLMでは method: dspark を通じて、SGLangでは DSPARK を通じてこの機能が利用可能です。詳細は サービングとスケーリング をご覧ください。
ツール呼び出し機能
モデルが単なるテキストではなく、外部関数やツールを呼び出すための構造化されたリクエストを返せる機能であり、これによりエージェント型クライアントが実際のアクションを実行できる。信頼性の高いツール呼び出し機能は、コーディングエージェントやその他の自動化クライアントを選定する際の重要な基準となる。詳細は どのローカルモデルがどのタスクに適しているか？ を参照してください。温度パラメータとトップパーセント値
モデルの出力が予測可能か多様かを制御するサンプリング設定である。温度値を低くすると出力はより決定論的かつ単調になり、高くすると多様性が増すが時折一貫性を欠くこともある。トップパーセント値はニュークリアスサンプリング手法として、合計確率がp に達する最小限のトークンのみを選択肢として残す。これらはすべてクライアントがプロンプトと共に送信するリクエストレベルのパラメータである。
埋め込み表現
テキストを数値ベクトルとして表現したもので、会話応答の生成ではなく検索や類似性比較に用いられる。埋め込みモデルはチャットモデルとは別種のツールであり、モデル選定における役割については どのローカルモデルがどのタスクに適しているか？ をご覧ください。コンテキストウィンドウ
モデルが一度の対話で保持できるトークン数の上限であり、プロンプトと返答の両方を含む。コンテキストウィンドウが広いほど一度に多くのテキストを送信可能だが、KVキャッシュの分だけメモリ消費も増加する。詳細は KVキャッシュとコンテキスト を参照してください。量子化処理
モデルの重み情報をより低い数値精度で保存することでファイルサイズを縮小し、推論速度も向上させる手法ですが、その代償として出力品質が若干低下する場合があります。GGUFの量子化形式名であるQ4_K_M には使用されたビット幅や量子化方式が記載されています。詳細は 量子化 をご覧ください。
KVキャッシュ
モデルが対話処理中に生成するキーと値の情報を蓄積した記録であり、新たなトークン生成の際に過去のトークンを再処理する手間を省く。コンテキスト長やバッチサイズに応じて増大し、モデル重みと共にメモリ上に存在する。詳細は KVキャッシュとコンテキスト を参照ください。GGUF
Short for GGML Universal File — the file format used byllama.cpp-based backends (including Ollama and LM Studio) to store model weights, typically distributed as several quantized variants of the same model. It succeeds the project’s older GGML/GGJT weight formats, which is why you’ll still see “GGML” in older repos and tooling. See Read a model card and the GGUF format spec.
これで語彙に関する説明は完了です
ローカル環境でモデルを実行し始めるとこれらの用語が頻繁に登場します。このページをブックマークして何度も参照してください。モデルがlocalhost上で正常に動作しリクエストに応答するようになったら、次に行うべきはそのマシン以外の場所からモデルにアクセスすることです。
安定したエンドポイントを用意しましょう
Tokiosはモデルの選定やホスティング、微調整は行いません。ローカル環境でモデルが稼働した後、Tokiosはそれをどこからでも呼び出せる安定した認証付きエンドポイントへと変換します。