System One 模型：无需文本生成的快速决策

所谓 System One 模型，它以校准后的概率分布回答结构化问题，而非生成文本。像 Qwen3.6 或 DeepSeek-V4.1-Flash 这样的 LLM 逐个生成令牌（Kahneman 的 System 2——缓慢、审慎的推理），而 System One 模型审视输入后在单次前向传播中返回决策（System 1——快速、直觉式的判断）。 TypeSafe AI 于 2026 年九月发布了首个 System One 模型 Jev。开放权重版本 Bongard 于同月晚些时候发布。本页介绍其架构、这些模型与 LLM 的区别，以及通过掩码技术从现有权重创建专用衍生模型的方法。

最后验证：2026-10-20

System 1 与 System 2 思维

Daniel Kahneman 的双过程理论描述了两种认知模式：

	System 1	System 2
速度	快速、自动	缓慢、费力
过程	模式匹配、直觉	逐步推理
输出	判断或决策	思维链
LLM 类比	判别式分类器、System One 模型	自回归 LLM（Qwen、DeepSeek、Llama）

你能在本地运行的每个 LLM——Qwen3.6、DeepSeek-V4.1-Flash、Gemma 4、Llama 4——都是 System 2 模型。它逐个生成令牌，在生成过程中逐步推理。这灵活且强大，但速度慢：每个令牌都需要一次完整的前向传播。 System One 模型完全跳过了生成步骤。你提供结构化的情境描述和类型化问题，它在单次前向传播中返回答案的概率分布——没有令牌，没有思维链。

Jev 是什么

Jev 是 TypeSafe AI 的首个公开 System One 模型，于九月15日（2026 年）发布。它是一个判别式 Transformer，使用 RLCD（Reinforcement Learning for Calibrated Decisions）在合成数据上训练而成。

Jev 的工作原理

你提供一个 state——情境的结构化描述（不是自然语言文本）。
你使用 3 种原语之一提出类型化问题：
- Choice——从一组选项中选择
- Score——在数值量表上评分
- Noul——二元是/否判断
Jev 返回答案空间上的校准概率分布。

与 LLM 的关键区别：Jev 不生成文本。它在单次前向传播中生成概率向量。TypeSafe 报告在相同决策任务上，推理速度比同等 LLM 快 200 倍，成本低 400 倍。

Jev 的可用性

Jev 是专有的。TypeSafe AI 未公开架构细节、模型权重或技术论文。你可以通过 TypeSafe 的 API 访问它。目前无法自行托管或通过 Tokios 运行。来源：TypeSafe AI — Introducing System One Models & Jev

Bongard 是什么

Bongard 是首个开放权重的 System One 模型，于九月30日（2026 年）发布。它使用与 Jev 不同的架构执行概率判断任务，但遵循相同的 System One 理念：结构化输入、决策输出、不生成文本。

架构

属性	值
总参数量	7.09B
主干网络	T5Gemma 2 4B-4B（编码器-解码器）
头部	在主干网络之上训练的双线性头
训练	3 个阶段：监督学习 → JEPA → 沙盒 RL

双线性头使 Bongard 成为判别式模型而非生成式模型。编码器处理结构化输入，头部在答案空间上生成校准概率分布。

JEPA 训练

Bongard 使用联合嵌入预测架构（JEPA）作为第二训练阶段。JEPA 训练模型在嵌入空间中预测输入缺失部分的表示——不是逐像素或逐令牌，而是在抽象特征空间中。这赋予模型一个世界模型，使其无需生成观测即可进行判断。

Bongard 的可用性

Bongard 是开放权重的。论文（arxiv 2609.39111）描述了完整的架构和训练流程。你可以自行托管 Bongard 并像 LLM 一样连接到 Tokios——在 OpenAI 兼容端点后运行它，注册部署，然后通过 https://api.tokios.com 调用。来源：Bongard 论文（arxiv 2609.39111）

Decision-2.0-Vega-27B

Decision-2.0-Vega-27B 是目前性能最高的 System One 模型：73.0% 准确率（System1-Arena，2026 年十月），超过 Jev 的 72.6%。它是一个 27B 参数的判别式模型，专为快速结构化决策设计。

Laya——实用的本地 System One 模型

Laya 是 Convai Innovations 推出的 System One 模型，Unsloth 在 Unsloth Desktop 中以”Decision-Laya”名称提供。它是一个非自回归双向 Transformer（ModernBERT / mmBERT 主干网络），使用 RLCD（Reinforcement Learning for Calibrated Decisions）训练。

属性	值
HuggingFace	convaiinnovations/laya
参数量	322M–421M（3 个变体）
大小	449–844 MB（GGUF）
延迟	GPU 上每次决策约 33ms
硬件	4–5 GB RAM，CPU 或 GPU
许可证	Apache 2.0

3 个检查点

变体	主干网络	上下文	使用场景
`laya-multilingual`	mmBERT-base（322M）	1024 个令牌	100+ 种语言
`laya-english`	ModernBERT-large（421M）	512 个令牌	仅英语，最高准确率
`laya-typed-decisions`	ModernBERT-large（421M）	1024 个令牌	结构化工作流

Unsloth 如何提供 Laya 服务

Unsloth Desktop 内置 Decision API 支持：

启用 Settings > API > Decision API
服务地址为 POST http://localhost:8888/v1/systemone——兼容 TypeSafe Jev
支持的模型 ID：laya、laya-multilingual、laya-english、laya-typed-decisions

{
  "model": "laya",
  "state": "Customer says the parcel arrived damaged and wants their money back.",
  "questions": {
    "refund": {"type": "noul", "instructions": "Is the customer asking for a refund?"},
    "department": {"type": "choice", "instructions": "Route to which dept?", "criteria": {"billing": "invoices", "tech": "bugs"}}
  }
}

训练你自己的决策模型

Unsloth 支持将任何受支持的 LLM 微调为 System 1 决策模型：

支持的基座模型： Qwen3.5（0.8B、4B）、Qwen3.8、Gemma 4、Llama 3.2
方法： LoRA（rank 16）+ 替换 LM head 的决策头
效果： Qwen3.5 0.8B 在 typed-decisions、BANKING77 和 CLINC150 上从 20.7% 提升至 74.3% 准确率
硬件： 4 GB VRAM 即可运行
文档： Train your own Decision Model

Laya 与 JEV-27B 对比

	Laya	JEV-27B
大小	449 MB	53.8 GB
主干网络	ModernBERT（421M）	Qwen3.8-27B（25.6B）
准确率	路由/标记任务表现良好	更高（达到 TypeSafe Jev 教师的 96%）
服务方式	Unsloth Desktop（内置）	仅 vLLM
端点	`/v1/systemone`	`/v1/decide`
硬件	4 GB RAM，CPU 即可	53.8 GB VRAM，H100/B200
训练	Unsloth 可微调	仅自定义方案
回退到文本生成	否	是（同权重上的 System 2）

Laya 是 Tokios 用户当前最实用的 System 1——它几乎可以在任何硬件上运行，随 Unsloth Desktop 提供，并使用 Jev API 协议。JEV-27B 则是工作站硬件上的高准确率选择。

将 LLM 转换为 System 1 行为：Qwen2.5-RLCD

无需专门构建的判别式架构即可获得 System 1 风格的行为。Qwen2.5-RLCD 展示了如何使用并行约束解码——一种推理时词汇掩码技术——将自回归 LLM 转换为快速决策引擎。

工作原理

预填充上下文

将 prompt 和 schema 描述加载到 KV 缓存中，与任何 LLM 推理一样。

广播 KV 缓存

将 KV 缓存复制到你需评估的 M 个 schema 字段。每个字段拥有独立的注意力上下文。

掩码词汇表

对每个字段，将输出词汇限制为仅有效的选择令牌。有效集之外的所有内容在 softmax 之前被掩码为 -∞。

单次前向传播读取概率

在掩码切片上计算归一化概率：P(cᵢ) = exp(zᵢ/T) / Σ exp(zⱼ/T)。所有字段在单次前向传播中并行评估。

结果

指标	值
基座模型	Qwen2.5-1.5B
延迟降低	相比标准自回归解码快 5.6–7.0 倍
Schema 有效性	100%（每个输出都是有效选择）
硬件	Apple Silicon M4

模型在每次决策时返回校准置信度分数——与专用 System One 模型相同的输出格式，但运行在你可下载并自行托管的权重上。来源：Qwen2.5-1B-RLCD 模型卡

System1-Arena：模型对比

2026 年十月的 System1-Arena 基准测试评估了 30 个模型——10 个 System 1、7 个闭源 LLM、13 个开源 LLM——在结构化决策任务上的表现。

模型	类型	准确率	备注
Decision-2.0-Vega-27B	System 1	73.0%	综合最佳
Jev	System 1	72.6%	延迟 70–500ms
GPT-6 Luna	闭源 LLM	71.2%	比 Jev 慢 4 倍
Bongard	System 1（开放）	—	开放权重，7.09B

System 1 模型在分类和路由任务上可与快速 LLM 媲美，且校准更好（更低的 Brier 分数）。它们在预测任务（48.3% vs LLM 的 61.6%）和闭环智能体任务（17.4% 成功率）上落后。 System1-Arena 的实用建议：混合路由——对高吞吐量、低延迟分类使用 System 1 模型；对预测、规划和开放式任务使用推理 LLM。来源：System1-Arena 论文（arxiv 2610.21244）

System One 与 LLM：何时使用哪个

任务	System One（Jev、Bongard）	LLM（Qwen、DeepSeek、Llama）
结构化分类	快速、校准概率	可行但更慢——生成需要解析的文本
数值评分	直接输出	生成文本，需提取数字
开放式推理	无法执行	核心优势
自然语言对话	无法执行	核心优势
代码生成	无法执行	核心优势
实时决策管道	快 200 倍，成本低 400 倍	对高吞吐量来说太慢
少样本灵活性	需要类型化输入格式	接受自然语言 prompt

System One 模型不是 LLM 的替代品。它们是互补的：对高吞吐量结构化决策使用 System One，对需要语言理解或生成的任务使用 LLM。

通过掩码创建衍生模型

System One 模型和更轻量的 LLM 变体背后的更广泛技术是在现有权重上应用掩码来创建专用衍生模型，无需完全重新训练。存在多种方法，都遵循相同的模式：

W_derivative = W_base ⊙ M      (element-wise mask)
W_derivative = W_base + ΔW     (additive delta)

掩码微调（MFT）

学习二值掩码 M ∈ ，应用于冻结的模型权重。有效权重变为 W ⊙ M——你将选定权重置零而不改变其余部分。使用直通估计器通过梯度下降训练掩码。

不更新模型权重——只学习保留哪些、置零哪些
LLaMA3.1-8B：在 IFEval 上平均提升 +4.15
在某些基准测试上优于全量微调

反直觉的结果：精心移除权重可以在特定任务上提升模型性能，而不仅仅是压缩它。来源：arxiv 2503.22764

稀疏剪枝（SparseGPT、Wanda）

训练后掩码将不重要的权重置零。Wanda 按 |weight| × 激活值幅度进行剪枝。在无需任何微调的情况下实现 50–60% 稀疏度。

For each weight matrix W:
  Compute importance scores (magnitude or weight × activation)
  Create mask M where top-k% weights = 1, rest = 0
  Apply: W_effective = W ⊙ M

来源：SparseGPT（arxiv 2301.00774）、Wanda（arxiv 2306.11695）

Task Arithmetic

创建任务向量，表示权重空间中特定能力方向：

τ = W_finetuned - W_pretrained
W_edited = W_pretrained + α · τ

任务向量可组合——你可以通过向量相加来增加能力，相减来移除能力，或组合多个任务：

W_multi = W_pretrained + Σ αᵢ · τᵢ

来源：arxiv 2212.04089（1,956 次引用）

TIES-Merging（Trim、Elect、Integrate、Sparse）

从多个微调变体创建衍生模型：

Trim——移除小的增量权重，仅保留 top-k% 最重要的变化
Elect——当多个微调模型方向冲突时解决符号冲突
Integrate——将剩余增量权重平均为单个稀疏掩码

来源：NeurIPS 2023

DARE（Drop And REscale）

在合并前随机丢弃多达 99% 的任务向量权重，然后重新缩放剩余权重以保持期望值。创建极度稀疏的增量掩码。尽管稀疏化程度很高，效果却出奇地好。来源：arxiv 2311.03099

LoRA（Low-Rank Adaptation）

最广泛使用的掩码技术。冻结基座模型权重 W 并添加低秩分解：

W_effective = W + B · A
where B ∈ R^(d×r), A ∈ R^(r×d), r ≪ d

仅训练 A 和 B（通常 r = 8–64，而 d = 4096+）。增量权重 ΔW = BA 形成基座模型变化的结构化掩码。LoRA 适配器可以独立于基座模型进行堆叠、交换和共享。来源：arxiv 2106.09685

共同模式

每种掩码技术都遵循相同的流程：

加载基座权重

加载预训练模型 W_base。这是你的基础——权重保持冻结或近乎冻结。

计算或学习掩码/增量

取决于技术：二值掩码（MFT）、剪枝掩码（SparseGPT/Wanda）、任务向量（Task Arithmetic）、稀疏合并（TIES/DARE）或低秩增量（LoRA）。

逐元素应用

W_derivative = W_base ⊙ M 用于乘法掩码，W_derivative = W_base + ΔW 用于加性增量。

结果：专用变体

你获得一个针对特定任务、硬件层级或能力优化的模型——无需从头训练。

这就是像 Bonsai 2 27B（Qwen3.8-27B 的三值压缩衍生模型，5.9 GB）这样的模型能从基座模型保持 98.2% 基准性能的原因。掩码保留了重要的部分，其余被丢弃。

与 Tokios 的关系

System One 模型和基于掩码的衍生模型都适合 Tokios 模式：你在本地运行权重，Tokios 在 https://api.tokios.com 上提供稳定、经过认证的端点。

决策模型端点

每个提供 System One 模型的后端都会暴露决策端点。Tokios 通过隧道传输 HTTP——不限制路径——因此以下所有端点都可通过 https://api.tokios.com 使用：

后端	决策端点	模型	备注
Unsloth Desktop	`POST /v1/systemone`	Laya（内置）	在 Settings > API > Decision API 中启用。兼容 Jev 格式。
Ollama（0.35+）	`POST /v1/systemone`	Jev 风格模型	原生支持 System 1 决策模型。
LM Studio	`POST /v1/decisions`	决策模型	参见 LM Studio 优化。
SGLang（0.5.21+）	原生决策 API	决策模型	参见 SGLang 优化。
vLLM + serve_decide.py	`POST /v1/decide`	JEV-27B	AutoTrust 的自定义封装。

其中 /v1/systemone 端点遵循 TypeSafe Jev API 格式——与 TypeSafe 专有 Jev 使用相同的 schema。Laya、Unsloth Desktop 和 Ollama 都使用此协议，因此为 TypeSafe Jev 编写的客户端只需更改 base URL 即可通过 Tokios 使用 Laya。

实用路径

通过 Unsloth Desktop 使用 Laya——最简单的路径

Laya 仅 449 MB，在 4 GB RAM 的 CPU 上即可运行，Unsloth Desktop 开箱即在 localhost:8888/v1/systemone 提供服务。将 Tokios 连接器指向 Unsloth Desktop，然后从任何地方调用 https://api.tokios.com/v1/systemone。Apache 2.0，无许可证限制。

通过 vLLM 使用 JEV-27B——最高准确率

JEV-27B（25.6B 参数，53.8 GB VRAM）在 vLLM 上运行 AutoTrust 的 serve_decide.py。它继承了 Qwen3.8-27B 的推理能力作为 System 2 回退。需要 H100 80GB 或 B200。/v1/decide 端点可通过 Tokios 隧道传输。

训练你自己的决策模型

Unsloth 的决策模型训练支持将 Qwen3.5（0.8B、4B）、Qwen3.8、Gemma 4 或 Llama 3.2 微调为 System 1 模型，使用 LoRA + 决策头。4 GB VRAM 即可运行。通过 Unsloth Desktop 或 vLLM 提供服务。

Bonsai 2 27B——压缩 LLM，非 System One

Bonsai 2 是 Qwen3.8-27B 的三值压缩版本（5.9 GB），仍然生成文本。它不是判别式决策模型，但可以在消费级硬件上运行，并通过 Ollama 或 llama.cpp 的标准 /v1/chat/completions 提供服务。

快速入门

配对连接器、注册部署，并端到端创建你的第一个密钥。

你的 GPU 能运行多大的模型？

将任何模型——包括 System One 衍生模型——匹配到你的可用 VRAM。

入门

模型

概念

参考

System One 模型：无需文本生成的快速决策

System 1 与 System 2 思维

Jev 是什么

Jev 的工作原理

Jev 的可用性

Bongard 是什么

架构

JEPA 训练

Bongard 的可用性

Decision-2.0-Vega-27B

Laya——实用的本地 System One 模型

3 个检查点

Unsloth 如何提供 Laya 服务

训练你自己的决策模型

Laya 与 JEV-27B 对比

将 LLM 转换为 System 1 行为：Qwen2.5-RLCD

工作原理

结果

System1-Arena：模型对比

System One 与 LLM：何时使用哪个

通过掩码创建衍生模型

掩码微调（MFT）

稀疏剪枝（SparseGPT、Wanda）

Task Arithmetic

TIES-Merging（Trim、Elect、Integrate、Sparse）

DARE（Drop And REscale）

LoRA（Low-Rank Adaptation）

共同模式

与 Tokios 的关系

决策模型端点

实用路径

快速入门

你的 GPU 能运行多大的模型？

​System 1 与 System 2 思维

​Jev 是什么

​Jev 的工作原理

​Jev 的可用性

​Bongard 是什么

​架构

​JEPA 训练

​Bongard 的可用性

​Decision-2.0-Vega-27B

​Laya——实用的本地 System One 模型

​3 个检查点

​Unsloth 如何提供 Laya 服务

​训练你自己的决策模型

​Laya 与 JEV-27B 对比

​将 LLM 转换为 System 1 行为：Qwen2.5-RLCD

​工作原理

​结果

​System1-Arena：模型对比

​System One 与 LLM：何时使用哪个

​通过掩码创建衍生模型

​掩码微调（MFT）

​稀疏剪枝（SparseGPT、Wanda）

​Task Arithmetic

​TIES-Merging（Trim、Elect、Integrate、Sparse）

​DARE（Drop And REscale）

​LoRA（Low-Rank Adaptation）

​共同模式

​与 Tokios 的关系

​决策模型端点

​实用路径

快速入门

你的 GPU 能运行多大的模型？

System 1 与 System 2 思维

Jev 是什么

Jev 的工作原理

Jev 的可用性

Bongard 是什么

架构

JEPA 训练

Bongard 的可用性

Decision-2.0-Vega-27B

Laya——实用的本地 System One 模型

3 个检查点

Unsloth 如何提供 Laya 服务

训练你自己的决策模型

Laya 与 JEV-27B 对比

将 LLM 转换为 System 1 行为：Qwen2.5-RLCD

工作原理

结果

System1-Arena：模型对比

System One 与 LLM：何时使用哪个

通过掩码创建衍生模型

掩码微调（MFT）

稀疏剪枝（SparseGPT、Wanda）

Task Arithmetic

TIES-Merging（Trim、Elect、Integrate、Sparse）

DARE（Drop And REscale）

LoRA（Low-Rank Adaptation）

共同模式

与 Tokios 的关系

决策模型端点

实用路径