令牌
令牌即文本中的小片段，每个大致相当于几个字符或一个词元；模型正是通过这些令牌进行读取与生成操作。用户输入的内容在送入模型前会被拆分成多个令牌，而模型的回复也是逐个令牌生成的。详情请参阅推理机制说明。预填充与解码
预填充阶段即模型一次性读取整个输入内容，随后才开始生成回复；该阶段受计算能力限制，也是”首个令牌生成耗时”这一指标的衡量对象。解码阶段则是模型逐个生成回复中的令牌；该阶段受内存带宽限制，也是”每秒生成令牌数”这一指标的衡量对象。详情请参阅推理机制说明。密集式模型与混合专家模型
所谓密集式模型，会对每个令牌运行全部参数。而混合专家模型——命名形如30B-A3B，即 30B 总参数、其中 3B 处于激活状态——每个令牌只运行一部分”专家”参数，因此其解码速度快于同等总规模的密集式模型，但仍需为完整参数集预留内存。详情请参阅阅读模型说明文档。
精度
精度指运行时存储或处理模型数值时所使用的比特数，常见的格式包括bf16、FP16、FP8 以及 4 比特格式。精度越低，所需内存越少且数据传输速度越快，但若量化程度过大则可能导致模型质量下降。详情请参阅量化机制说明以及各类量化格式与对应硬件要求。
推理框架
所谓推理框架，是负责加载模型、执行数学运算、管理批处理与 KV 缓存并对外暴露 API 的服务引擎。Ollama 和 LM Studio 侧重于便捷的本地使用体验；vLLM、SGLang、llama.cpp、TensorRT-LLM 和 MLX 则提供面向吞吐量、并行能力和硬件专用内核的底层控制。详情请参阅服务与扩展。内核
所谓内核，是执行热点运算的底层 GPU 或 CPU 例程，例如矩阵乘法、注意力计算、量化解压或采样。只有当运行环境具备能理解某种量化格式的内核时，该格式才有用武之地；例如NVFP4 需要 Blackwell Tensor Core 支持，而 GGUF 则通过 llama.cpp 后端获得广泛支持。详情请参阅各类量化格式与对应硬件要求。
张量并行（TP）
张量并行机制将单个模型层的权重与运算任务拆分至多块 GPU 上执行。当模型规模超出单块 GPU 的承载极限或单块 GPU 难以满足流量需求时，该机制尤为适用。它能有效降低单块 GPU 的内存压力，但各 GPU 必须在每次前向传播时保持同步，因此高速互联技术至关重要。vLLM 通过--tensor-parallel-size 实现该功能；TensorRT-LLM 亦将类似策略称为 TP。详情请参阅 服务与扩展。
数据并行（DP）
数据并行指在不同 GPU 或计算实例上分别运行模型副本，各副本独立处理不同请求。当单个模型副本即可满足负载需求时，该机制可显著提升整体请求吞吐量。vLLM 的文档指出，数据并行部署即是将模型权重复制到多个实例或 GPU 上以并行处理不同批次数据。详情请参阅 服务与扩展。专家并行（EP）
专家并行机制专用于混合专家型模型。该机制并非为每块 GPU 配置完整版专家模块，而是将不同专家模块分配至不同 GPU，并依据令牌所属专家模块将其路由至对应 GPU。该机制有助于提升大型 MoE 模型的运算效率与局部性，但也会带来额外的路由与同步开销。详情请参阅 服务与扩展。多令牌预测（MTP）
多令牌预测指通过训练或增设辅助模块来预测多个后续令牌。推理阶段，运行环境可借助这些预测结果执行推测性解码：先生成若干候选令牌，再交由目标模型验证并保留通过验证的令牌。当前DeepSeek-V4-Flash-0731 版本已集成 DSpark 推测性解码模块，vLLM 可通过 method: dspark 调用该模块，SGLang 亦可借助 DSPARK 实现类似功能。详情请参阅 服务与扩展。
工具调用功能
指模型能够返回结构化的请求信息来调用外部函数或连接器，而非仅输出纯文本，从而协助智能体客户端执行相应操作。可靠的工具调用能力是编程智能体及其他自动化客户端选择模型时的关键指标。详情请参阅何种本地模型适用于何种任务？。温度参数与Top-P采样值
这些采样参数可调控模型输出结果的确定性程度与多样性。较低的温度值会使输出内容更为固定且重复；较高的温度值则能提升输出多样性，但偶尔会导致连贯性下降。Top-p（核心采样法）会筛选出累计概率值达到p的最小令牌集合，从而排除可能性较低的选项。这两项参数均属于客户端在发送提示词时需同步传递的请求级参数。
嵌入向量
文本的数值向量化表达形式，主要用于搜索、信息检索及相似度比对，而非生成对话式回复。嵌入模型与对话模型属于两类不同工具——关于如何依据具体任务挑选合适模型，请参阅何种本地模型适用于何种任务？。上下文窗口容量
模型在单次对话中能够同时处理的令牌总量上限，该数值涵盖提示词与回复内容。更大的上下文窗口允许单次传输更多文本，但也会因KV缓存机制导致内存占用上升。详情请参阅KV缓存与上下文机制。量化处理技术
通过降低模型权重的数值精度来缩减模型体积并提升推理速度，不过此举可能略微影响输出质量。诸如Q4_K_M之类的GGUF量化标识即用于说明所用比特宽度及量化类型。详情请参阅量化处理技术。
KV缓存机制
模型在对话处理过程中持续记录的键值映射信息，借此避免每次生成新令牌时均需重新解析早期令牌内容。该缓存容量随上下文长度与批处理规模增加而扩大，并与模型权重共同占用内存空间。详情请参阅KV缓存与上下文机制。GGUF
这是 GGML Universal File 的缩写，即llama.cpp 后端程序（包括 Ollama 与 LM Studio）用来存储模型权重的文件格式。此类文件通常包含同一模型的不同量化版本。该格式取代了原先使用的 GGML/GGJT 格式，因此在部分旧版代码库与工具中仍能见到“GGML”这一名称。详情请参阅 阅读模型说明文档 以及 GGUF 格式规范。
现在词汇相关的内容已经介绍完毕
当你开始在本地运行模型时，这些术语会频繁出现——建议收藏此页面以便日后查阅。当模型在localhost 上顺利运行并响应请求后，下一步自然就是从其他设备访问该模型。
为其设置一个稳定的访问端点
Tokios 并不会挑选、托管或微调模型；一旦模型在本地运行起来，Tokios 便会将其转化为一个稳定且经过身份验证的访问端点，供任意位置调用。