跳转到主要内容
最后验证：2026-10-14
Llama 4 是 Meta 最新的 Llama 发布（2025 年四月）：原生多模态（文本 + 图像输入）混合专家模型，支持超长上下文。两个开放权重版本 — Scout（109B 总计 / 17B 激活）和 Maverick（400B 总计 / 17B 激活）— 每个 token 仅激活 17B 参数，但所有专家权重必须驻留在内存中。这使它们成为大统一内存或多 GPU 模型，而非单消费级 GPU 可拉取的模型：Scout 的 Q4 级下载约 67 GB，Maverick 约 245 GB。运行适合您硬件的版本，然后配对 Tokios 连接器，从任何 OpenAI 或 Anthropic 兼容客户端以 https://api.tokios.com 访问它。
Meta 的模型开发已转向 Muse 系列 — 闭源权重的 Muse Spark 和开放权重的 Muse Glimmer 30B。Meta 尚未正式弃用 Llama，权重仍可下载，但尚未宣布 Llama 5。
想要一个能装进单张 24 GB GPU 的 Llama？ollama run llama3.1:8b 或 ollama run llama3.3:70b — 3.x 系列仍然是实用的单 GPU 选择。Llama 4 是您在 96 GB+ 统一内存或多 GPU 服务器上升级的目标。

​
变体与标签

以下所有值均来自 Ollama 库和 Meta 的 Hugging Face 模型卡片。标签和大小会随新量化版本发布而变化 — 在确定选用之前，请对照 ollama.com/library/llama4 进行确认。 来源：ollama.com/library/llama4/tags、Meta 的 Llama 4 公告、meta-llama/Llama-4-Scout-17B-16E-Instruct。
第三款模型 Llama 4 Behemoth（约 2T 参数）曾作为该系列的教师模型预览，但尚未公开发布。只有 Scout 和 Maverick 可下载。

​
为何”17B 激活”仍需 67 GB

MoE 路由每个 token 激活 17B 参数，但路由器为每个 token 选择不同的专家子集 — 因此所有专家权重必须保持加载。内存计算取决于总参数，而非活跃参数：
  • Scout：109B × Q4 级约 0.5 字节 ≈ 55 GB 权重，含开销约 67 GB
  • Maverick：400B × 约 0.5 字节 ≈ 200 GB 权重，含开销约 245 GB
活跃参数数量带来的是速度，而非适配性：每个 token 的计算量相当于 17B 模型，因此在内存充足的硬件上，Llama 4 的生成速度比总参数量相近的稠密模型更快。有关运行时如何处理接近内存上限的模型，请参阅内存与卸载。

​
硬件适配

在约 Q4 和适中上下文长度下的舒适度。请将每项数据视为估算值 — 实际情况是您的上下文所需的实际下载大小加上 KV 缓存，而长上下文的标称数字（Scout 为 10M）会将 KV 缓存内存放大到远超大多数机器所能承载的范围。有关容量计算，请参阅什么大小的模型适合您的 GPU？。

运行后通过一个端点提供服务

将您的 Llama 4 部署注册到 Tokios，并使用 sk-tok-… 密钥从任何机器调用它 — 承载 GPU 的机器无需开放入站端口。

​
运行它 — 从入门到高级

让 Ollama 在默认 http://127.0.0.1:11434 上监听。将 num_ctx 提升到 Ollama 较小的默认值之上以使用长上下文 — 但请根据可用内存而非 10M 标称值来设置大小。

​
功能特性

  • 多模态输入： Scout 和 Maverick 原生接受文本和图像输入；输出仅为文本。
  • 上下文： Scout 标称 10M token 窗口，Maverick 为 1M。在接近这些长度提供服务本身就是 KV 缓存内存问题 — 在围绕它们规划之前，请参阅 KV 缓存与上下文。
  • 语言： Meta 的模型卡片列出了 12 种支持的语言，包括英语、德语、法语、西班牙语、葡萄牙语、印地语和越南语。
  • 推理： 通用指令微调模型 — 没有单独的思考模式。如需逐步推理输出，请参阅 DeepSeek 或 gpt-oss。

​
通过 Tokios 连接

1

保持本地运行时运行

在 Ollama、vLLM 或其他 OpenAI 兼容运行时中启动 Llama 4，并保持其绑定到回环地址。
2

配对 Tokios 连接器

在 tokios.com/console 登录，打开 Setup 选项卡，点击 Start pairing 获取一次性配对码（TKS-XXXX-XXXX）。在运行模型的机器上运行安装程序：
Windows
macOS
Linux
然后approve 该设备（在 Setup 或 Connectors 选项卡上）。
3

注册部署

在 Models 选项卡中，将上游模型 ID（例如 llama4:scout）注册到公共部署名称如 llama4-tunnel 下。客户端在 model 字段中发送部署名称，而非本地 ID。
4

创建 API 密钥并调用

在 Keys 选项卡中，点击 Create key，然后：

​
注意事项

  • 没有消费级 GPU 路径。 与 3.x 系列不同，Llama 4 两款模型均无法装入 24–48 GB 显卡的 VRAM。基于 llama.cpp 的运行时可以将专家卸载到系统内存，但一旦权重离开 GPU，吞吐量会急剧下降 — 在确定采用 Llama 4 之前，请先为统一内存或服务器做好预算。
  • 许可证： Llama 4 使用 Meta 的 Llama 4 Community License — 不是 Apache 或 MIT。它附带可接受使用政策，且月活跃用户超过 700 百万的产品需要单独的 Meta 许可证。商业使用前请查阅。
  • 长上下文是内存预算，而非免费功能。 满负载下的 10M token 窗口所需的 KV 缓存远超权重占用。请将 num_ctx / --max-model-len 设置为您的内存实际能容纳的大小。
  • Tokios 将图像内容和工具调用字段透传至您的上游运行时 — 它不会添加运行时或量化不支持的功能。

​
常见问题

Scout 的 Q4 级下载约 67 GB（109B 总参数 × 约 0.5 字节 at Q4 ≈ 55 GB 权重，加上开销）。Maverick 约 245 GB（400B × 约 0.5 字节 ≈ 200 GB 权重，加上开销）。两者均无法装入单张消费级 GPU 的 VRAM — Scout 需要 96–128 GB 统一内存（Apple Silicon、DGX Spark）或多 GPU 服务器；Maverick 需要 8× 80 GB 级别 GPU 的多 GPU 服务器。
无法装入 VRAM — 两款模型均不适合 24–48 GB 显卡。基于 llama.cpp 的运行时可以将专家卸载到系统内存，但一旦权重离开 GPU，吞吐量会急剧下降。对于单张消费级 GPU，请使用 Llama 3.x 系列（llama3.1:8b 或 llama3.3:70b），或 Meta 的 Muse Glimmer 30B，它在 24 GB 单卡上 at 4-bit 可运行。
Llama 4 使用 Meta 的 Llama 4 Community License — 不是 Apache 或 MIT。它附带可接受使用政策，且月活跃用户超过 700 百万的产品需要单独的 Meta 许可证。商业使用前请查阅许可证条款。
两者均每个 token 激活 17B 参数，但 Scout 有 109B 总参数、16 个专家、10M token 上下文（约 67 GB at Q4），而 Maverick 有 400B 总参数、128 个专家、1M token 上下文（约 245 GB at Q4）。Scout 适合 96–128 GB 统一内存；Maverick 需要多 GPU 服务器。如果 Scout 适合您的硬件就选它 — 仅在您需要更大专家池且能托管时才选 Maverick。
Meta 的模型开发已转向 Muse 系列 — 闭源权重的 Muse Spark 和开放权重的 Muse Glimmer 30B。Meta 尚未正式弃用 Llama，权重仍可下载，但尚未宣布 Llama 5。

Muse Glimmer

Meta 当前的开放权重系列 — Apache 2.0、支持智能体，适合单张 24 GB 显卡。

什么适合您的 GPU？

在下载前根据您的 VRAM 或统一内存选择模型大小。

量化与硬件

哪些权重格式可在您的 GPU、Mac 或统一内存设备上运行。

快速入门

配对连接器并端到端注册您的第一个模型。