如何阅读模型卡片

模型卡片是 Hugging Face 模型仓库中的 README.md 文件，在下载任何内容之前，你应该首先查看它。大多数卡片篇幅较长——本页将告诉你哪些字段对于在本地运行模型至关重要，哪些可以快速浏览。 Hugging Face 关于卡片应包含内容的官方指南位于 Hub 模型卡片文档 中。实际上，在决定模型是否适合你的硬件时，只有少数几个字段起着决定性作用。

​

参数量

通常直接体现在模型名称中（7B、30B）或陈述在卡片顶部附近。这是内存需求最大的驱动因素——请参阅 内存与卸载，了解参数量如何转化为 VRAM 数值。

​

架构：稠密与混合专家

检查卡片是否将模型描述为 稠密 (dense) 或 混合专家 (mixture-of-experts, MoE)。稠密模型会为每个令牌运行所有参数。MoE 模型——名称如 30B-A3B，表示总参数 30B，活跃参数 3B——每个令牌仅运行一部分“专家”参数，因此其解码速度比同等总规模的稠密模型更快。但需要注意：你仍然需要足够的内存来存储 所有 参数，而不仅仅是活跃参数，因为任何令牌都可能路由到不同的专家。 在卡片上查找这两个数字：总参数量（你需要存储的大小）和活跃参数量（决定每个令牌处理速度的因素）。

​

上下文长度

模型在单次对话中能够容纳的最大令牌数量，通常列为“128K 上下文”或配置中的 max_position_embeddings。这一点至关重要：它限制了你可以一次性发送给模型的令牌数量，并直接决定了你的 KV 缓存内存上限。请参阅 KV 缓存与上下文，了解为什么更长的上下文需要更多 VRAM。

​

许可证

在基于模型构建任何内容之前，请检查许可证字段——它决定了你是否可以商业使用输出、重新分发微调模型，或者是否可以在产品中运行它。不同模型家族的许可证差异很大：有些是完全宽松的（Apache 2.0、MIT），其他则带有使用限制或要求署名。这是 Hugging Face 根据其 模型卡片文档 直接在卡片上展示的元数据。

​

文件与仓库：safetensors 与 GGUF

单个模型通常发布在多个仓库或文件格式中：

• safetensors 文件是原始（或转换后）的权重，通常为全精度（FP16/BF16）或伴随其他量化格式。这些是 vLLM 等后端通常加载的格式。
• GGUF 文件是 llama.cpp 基于的后端（包括 Ollama 和 LM Studio）加载的格式。GGUF 仓库通常提供同一模型的几种量化变体作为单独的文件。

类似 …Q4_K_M.gguf 的文件名一眼就能告诉你三件事：它是 Q4（4 位）量化，属于 K 量化家族，在该家族中处于 M（中等）大小/质量点。请参阅 量化，了解如何解读其余命名方案并选择合适的变体。

​

聊天模板

大多数指令微调模型期望提示词包裹在特定的聊天模板中（标记系统/用户/助手轮次的特殊令牌）。提供模型服务的后端——Ollama、llama.cpp、vLLM——通常会根据与模型捆绑的元数据自动应用正确的模板，但如果你自己构建原始提示词，请检查卡片以了解预期格式。使用错误的模板会悄无声息地降低输出质量，而不会抛出错误。

​

预期用途

卡片通常会说明模型是为哪些任务微调的——通用聊天、编码、推理、遵循指令——有时也会说明它已知较弱的方面。在将硬件投入到一个最终发现不适合你任务的模型之前，值得快速浏览一下；请参阅 哪种任务适合哪种本地模型？，以更系统地将模型与任务匹配。

​

通过 Tokios 提供服务后需要注意的事项

当你将本地模型注册为 Tokios 部署时，模型卡片中的两个字段直接转化为设置决策：

• 上游模型 ID 与部署名称。 你的后端提供的 ID（例如，Ollama 标签或启动 llama.cpp 服务器时使用的路径）与你在 Tokios 中为其指定的公共部署名称不同——卡片告诉你前者，你选择后者。
• 上下文长度和许可证 作为约束条件延续下来，限制你可以如何使用该部署，无论哪个客户端调用它。

​

深入阅读

​

选定并运行之后

阅读卡片可以告诉你模型能做什么。一旦你下载了模型，并且它在 localhost 上响应请求，下一步就是使其可被访问。