> ## Documentation Index
> Fetch the complete documentation index at: https://docs.tokios.com/llms.txt
> Use this file to discover all available pages before exploring further.

> ## Agent Instructions
> Tokios exposes private local models through https://api.tokios.com using an outbound-only connector tunnel.
> Use 'connector' for the local tokios-connector process.
> Use 'deployment' for the public model name in the API model field.
> Use 'upstream model id' for the model served by Ollama, llama.cpp, vLLM, LM Studio, or another local backend.
> API keys use the prefix sk-tok-. Connector tokens use the prefix ct-tok-.

# System One 模型：无需文本生成的快速决策

> System One 模型以概率分布回答结构化问题——不生成令牌，比自回归 LLM 快 200 倍。涵盖 Jev（TypeSafe AI）、Bongard（开放权重）以及通过掩码技术从现有权重创建衍生模型的方法。

所谓 **System One 模型**，它以校准后的概率分布回答结构化问题，而非生成文本。像 Qwen3.6 或 DeepSeek-V4.1-Flash 这样的 LLM 逐个生成令牌（Kahneman 的 **System 2**——缓慢、审慎的推理），而 System One 模型审视输入后在单次前向传播中返回决策（**System 1**——快速、直觉式的判断）。

TypeSafe AI 于 2026 年九月发布了首个 System One 模型 **Jev**。开放权重版本 **Bongard** 于同月晚些时候发布。本页介绍其架构、这些模型与 LLM 的区别，以及通过掩码技术从现有权重创建专用衍生模型的方法。

> [!NOTE]
>
> 最后验证：2026-10-20

## System 1 与 System 2 思维

Daniel Kahneman 的双过程理论描述了两种认知模式：

| | System 1 | System 2 |
| - | - | - |
| **速度** | 快速、自动 | 缓慢、费力 |
| **过程** | 模式匹配、直觉 | 逐步推理 |
| **输出** | 判断或决策 | 思维链 |
| **LLM 类比** | 判别式分类器、System One 模型 | 自回归 LLM（Qwen、DeepSeek、Llama） |

你能在本地运行的每个 LLM——Qwen3.6、DeepSeek-V4.1-Flash、Gemma 4、Llama 4——都是 System 2 模型。它逐个生成令牌，在生成过程中逐步推理。这灵活且强大，但速度慢：每个令牌都需要一次完整的前向传播。

System One 模型完全跳过了生成步骤。你提供结构化的情境描述和类型化问题，它在单次前向传播中返回答案的概率分布——没有令牌，没有思维链。

## Jev 是什么

**Jev** 是 TypeSafe AI 的首个公开 System One 模型，于九月15日（2026 年）发布。它是一个判别式 Transformer，使用 **RLCD**（Reinforcement Learning for Calibrated Decisions）在合成数据上训练而成。

### Jev 的工作原理

1. 你提供一个 **state**——情境的结构化描述（不是自然语言文本）。
2. 你使用 3 种原语之一提出**类型化问题**：
   * **Choice**——从一组选项中选择
   * **Score**——在数值量表上评分
   * **Noul**——二元是/否判断
3. Jev 返回答案空间上的**校准概率分布**。

与 LLM 的关键区别：Jev 不生成文本。它在单次前向传播中生成概率向量。TypeSafe 报告在相同决策任务上，推理速度比同等 LLM **快 200 倍**，成本**低 400 倍**。

### Jev 的可用性

Jev 是**专有**的。TypeSafe AI 未公开架构细节、模型权重或技术论文。你可以通过 TypeSafe 的 API 访问它。目前无法自行托管或通过 Tokios 运行。

来源：[TypeSafe AI — Introducing System One Models & Jev](https://typesafe.ai/blog/introducing-system-one-models-and-jev)

## Bongard 是什么

**Bongard** 是首个开放权重的 System One 模型，于九月30日（2026 年）发布。它使用与 Jev 不同的架构执行概率判断任务，但遵循相同的 System One 理念：结构化输入、决策输出、不生成文本。

### 架构

| 属性 | 值 |
| - | - |
| 总参数量 | 7.09B |
| 主干网络 | T5Gemma 2 4B-4B（编码器-解码器） |
| 头部 | 在主干网络之上训练的双线性头 |
| 训练 | 3 个阶段：监督学习 → JEPA → 沙盒 RL |

双线性头使 Bongard 成为判别式模型而非生成式模型。编码器处理结构化输入，头部在答案空间上生成校准概率分布。

### JEPA 训练

Bongard 使用**联合嵌入预测架构**（JEPA）作为第二训练阶段。JEPA 训练模型在嵌入空间中预测输入缺失部分的表示——不是逐像素或逐令牌，而是在抽象特征空间中。这赋予模型一个世界模型，使其无需生成观测即可进行判断。

### Bongard 的可用性

Bongard 是**开放权重**的。论文（arxiv 2609.39111）描述了完整的架构和训练流程。你可以自行托管 Bongard 并像 LLM 一样连接到 Tokios——在 OpenAI 兼容端点后运行它，注册部署，然后通过 `https://api.tokios.com` 调用。

来源：[Bongard 论文（arxiv 2609.39111）](https://arxiv.org/html/2609.39111v1)

## Decision-2.0-Vega-27B

**Decision-2.0-Vega-27B** 是目前性能最高的 System One 模型：**73.0% 准确率**（System1-Arena，2026 年十月），超过 Jev 的 72.6%。它是一个 27B 参数的判别式模型，专为快速结构化决策设计。

## Laya——实用的本地 System One 模型

**Laya** 是 Convai Innovations 推出的 System One 模型，Unsloth 在 Unsloth Desktop 中以"Decision-Laya"名称提供。它是一个非自回归双向 Transformer（ModernBERT / mmBERT 主干网络），使用 RLCD（Reinforcement Learning for Calibrated Decisions）训练。

| 属性 | 值 |
| - | - |
| **HuggingFace** | [convaiinnovations/laya](https://huggingface.co/convaiinnovations/laya) |
| **参数量** | 322M–421M（3 个变体） |
| **大小** | 449–844 MB（GGUF） |
| **延迟** | GPU 上每次决策约 33ms |
| **硬件** | 4–5 GB RAM，CPU 或 GPU |
| **许可证** | Apache 2.0 |

### 3 个检查点

| 变体 | 主干网络 | 上下文 | 使用场景 |
| - | - | - | - |
| `laya-multilingual` | mmBERT-base（322M） | 1024 个令牌 | 100+ 种语言 |
| `laya-english` | ModernBERT-large（421M） | 512 个令牌 | 仅英语，最高准确率 |
| `laya-typed-decisions` | ModernBERT-large（421M） | 1024 个令牌 | 结构化工作流 |

### Unsloth 如何提供 Laya 服务

Unsloth Desktop 内置 Decision API 支持：

1. 启用 **Settings > API > Decision API**
2. 服务地址为 `POST http://localhost:8888/v1/systemone`——兼容 TypeSafe Jev
3. 支持的模型 ID：`laya`、`laya-multilingual`、`laya-english`、`laya-typed-decisions`

```json theme={"theme":{"light":"github-light","dark":"css-variables"}}
{
  "model": "laya",
  "state": "Customer says the parcel arrived damaged and wants their money back.",
  "questions": {
    "refund": {"type": "noul", "instructions": "Is the customer asking for a refund?"},
    "department": {"type": "choice", "instructions": "Route to which dept?", "criteria": {"billing": "invoices", "tech": "bugs"}}
  }
}
```

### 训练你自己的决策模型

Unsloth 支持将任何受支持的 LLM 微调为 System 1 决策模型：

* **支持的基座模型：** Qwen3.5（0.8B、4B）、Qwen3.8、Gemma 4、Llama 3.2
* **方法：** LoRA（rank 16）+ 替换 LM head 的决策头
* **效果：** Qwen3.5 0.8B 在 typed-decisions、BANKING77 和 CLINC150 上从 20.7% 提升至 74.3% 准确率
* **硬件：** 4 GB VRAM 即可运行
* **文档：** [Train your own Decision Model](https://unsloth.ai/docs/basics/train-your-own-decision-model-with-unsloth)

### Laya 与 JEV-27B 对比

| | Laya | JEV-27B |
| - | - | - |
| 大小 | 449 MB | 53.8 GB |
| 主干网络 | ModernBERT（421M） | Qwen3.8-27B（25.6B） |
| 准确率 | 路由/标记任务表现良好 | 更高（达到 TypeSafe Jev 教师的 96%） |
| 服务方式 | Unsloth Desktop（内置） | 仅 vLLM |
| 端点 | `/v1/systemone` | `/v1/decide` |
| 硬件 | 4 GB RAM，CPU 即可 | 53.8 GB VRAM，H100/B200 |
| 训练 | Unsloth 可微调 | 仅自定义方案 |
| 回退到文本生成 | 否 | 是（同权重上的 System 2） |

Laya 是 Tokios 用户当前最实用的 System 1——它几乎可以在任何硬件上运行，随 Unsloth Desktop 提供，并使用 Jev API 协议。JEV-27B 则是工作站硬件上的高准确率选择。

## 将 LLM 转换为 System 1 行为：Qwen2.5-RLCD

无需专门构建的判别式架构即可获得 System 1 风格的行为。**Qwen2.5-RLCD** 展示了如何使用**并行约束解码**——一种推理时词汇掩码技术——将自回归 LLM 转换为快速决策引擎。

### 工作原理

**1. 预填充上下文**

将 prompt 和 schema 描述加载到 KV 缓存中，与任何 LLM 推理一样。

**2. 广播 KV 缓存**

将 KV 缓存复制到你需评估的 M 个 schema 字段。每个字段拥有独立的注意力上下文。

**3. 掩码词汇表**

对每个字段，将输出词汇限制为仅有效的选择令牌。有效集之外的所有内容在 softmax 之前被掩码为 -∞。

**4. 单次前向传播读取概率**

在掩码切片上计算归一化概率：`P(cᵢ) = exp(zᵢ/T) / Σ exp(zⱼ/T)`。所有字段在单次前向传播中并行评估。

### 结果

| 指标 | 值 |
| - | - |
| 基座模型 | Qwen2.5-1.5B |
| 延迟降低 | 相比标准自回归解码快 5.6–7.0 倍 |
| Schema 有效性 | 100%（每个输出都是有效选择） |
| 硬件 | Apple Silicon M4 |

模型在每次决策时返回校准置信度分数——与专用 System One 模型相同的输出格式，但运行在你可下载并自行托管的权重上。

来源：[Qwen2.5-1B-RLCD 模型卡](https://huggingface.co/harshatheg/Qwen-2.5-1B-RLCD)

## System1-Arena：模型对比

2026 年十月的 **System1-Arena** 基准测试评估了 30 个模型——10 个 System 1、7 个闭源 LLM、13 个开源 LLM——在结构化决策任务上的表现。

| 模型 | 类型 | 准确率 | 备注 |
| - | - | -: | - |
| Decision-2.0-Vega-27B | System 1 | 73.0% | 综合最佳 |
| Jev | System 1 | 72.6% | 延迟 70–500ms |
| GPT-6 Luna | 闭源 LLM | 71.2% | 比 Jev 慢 4 倍 |
| Bongard | System 1（开放） | — | 开放权重，7.09B |

System 1 模型在分类和路由任务上可与快速 LLM 媲美，且**校准更好**（更低的 Brier 分数）。它们在预测任务（48.3% vs LLM 的 61.6%）和闭环智能体任务（17.4% 成功率）上落后。

System1-Arena 的实用建议：**混合路由**——对高吞吐量、低延迟分类使用 System 1 模型；对预测、规划和开放式任务使用推理 LLM。

来源：[System1-Arena 论文（arxiv 2610.21244）](https://arxiv.org/html/2610.21244)

## System One 与 LLM：何时使用哪个

| 任务 | System One（Jev、Bongard） | LLM（Qwen、DeepSeek、Llama） |
| - | - | - |
| 结构化分类 | 快速、校准概率 | 可行但更慢——生成需要解析的文本 |
| 数值评分 | 直接输出 | 生成文本，需提取数字 |
| 开放式推理 | 无法执行 | 核心优势 |
| 自然语言对话 | 无法执行 | 核心优势 |
| 代码生成 | 无法执行 | 核心优势 |
| 实时决策管道 | 快 200 倍，成本低 400 倍 | 对高吞吐量来说太慢 |
| 少样本灵活性 | 需要类型化输入格式 | 接受自然语言 prompt |

System One 模型不是 LLM 的替代品。它们是互补的：对高吞吐量结构化决策使用 System One，对需要语言理解或生成的任务使用 LLM。

## 通过掩码创建衍生模型

System One 模型和更轻量的 LLM 变体背后的更广泛技术是**在现有权重上应用掩码**来创建专用衍生模型，无需完全重新训练。存在多种方法，都遵循相同的模式：

```text theme={"theme":{"light":"github-light","dark":"css-variables"}}
W_derivative = W_base ⊙ M      (element-wise mask)
W_derivative = W_base + ΔW     (additive delta)
```

### 掩码微调（MFT）

学习二值掩码 M ∈ {0,1}，应用于**冻结**的模型权重。有效权重变为 W ⊙ M——你将选定权重置零而不改变其余部分。使用直通估计器通过梯度下降训练掩码。

* 不更新模型权重——只学习保留哪些、置零哪些
* LLaMA3.1-8B：在 IFEval 上平均提升 +4.15
* 在某些基准测试上优于全量微调

反直觉的结果：精心移除权重可以在特定任务上**提升**模型性能，而不仅仅是压缩它。

来源：[arxiv 2503.22764](https://arxiv.org/abs/2503.22764)

### 稀疏剪枝（SparseGPT、Wanda）

训练后掩码将不重要的权重置零。Wanda 按 |weight| × 激活值幅度进行剪枝。在无需任何微调的情况下实现 50–60% 稀疏度。

```text theme={"theme":{"light":"github-light","dark":"css-variables"}}
For each weight matrix W:
  Compute importance scores (magnitude or weight × activation)
  Create mask M where top-k% weights = 1, rest = 0
  Apply: W_effective = W ⊙ M
```

来源：[SparseGPT（arxiv 2301.00774）](https://arxiv.org/abs/2301.00774)、[Wanda（arxiv 2306.11695）](https://arxiv.org/abs/2306.11695)

### Task Arithmetic

创建**任务向量**，表示权重空间中特定能力方向：

```text theme={"theme":{"light":"github-light","dark":"css-variables"}}
τ = W_finetuned - W_pretrained
W_edited = W_pretrained + α · τ
```

任务向量可组合——你可以通过向量相加来增加能力，相减来移除能力，或组合多个任务：

```text theme={"theme":{"light":"github-light","dark":"css-variables"}}
W_multi = W_pretrained + Σ αᵢ · τᵢ
```

来源：[arxiv 2212.04089](https://arxiv.org/abs/2212.04089)（1,956 次引用）

### TIES-Merging（Trim、Elect、Integrate、Sparse）

从多个微调变体创建衍生模型：

1. **Trim**——移除小的增量权重，仅保留 top-k% 最重要的变化
2. **Elect**——当多个微调模型方向冲突时解决符号冲突
3. **Integrate**——将剩余增量权重平均为单个稀疏掩码

来源：[NeurIPS 2023](https://arxiv.org/abs/2306.01708)

### DARE（Drop And REscale）

在合并前随机丢弃多达 99% 的任务向量权重，然后重新缩放剩余权重以保持期望值。创建极度稀疏的增量掩码。尽管稀疏化程度很高，效果却出奇地好。

来源：[arxiv 2311.03099](https://arxiv.org/abs/2311.03099)

### LoRA（Low-Rank Adaptation）

最广泛使用的掩码技术。冻结基座模型权重 W 并添加低秩分解：

```text theme={"theme":{"light":"github-light","dark":"css-variables"}}
W_effective = W + B · A
where B ∈ R^(d×r), A ∈ R^(r×d), r ≪ d
```

仅训练 A 和 B（通常 r = 8–64，而 d = 4096+）。增量权重 ΔW = BA 形成基座模型变化的结构化掩码。LoRA 适配器可以独立于基座模型进行堆叠、交换和共享。

来源：[arxiv 2106.09685](https://arxiv.org/abs/2106.09685)

### 共同模式

每种掩码技术都遵循相同的流程：

**1. 加载基座权重**

加载预训练模型 W\_base。这是你的基础——权重保持冻结或近乎冻结。

**2. 计算或学习掩码/增量**

取决于技术：二值掩码（MFT）、剪枝掩码（SparseGPT/Wanda）、任务向量（Task Arithmetic）、稀疏合并（TIES/DARE）或低秩增量（LoRA）。

**3. 逐元素应用**

`W_derivative = W_base ⊙ M` 用于乘法掩码，`W_derivative = W_base + ΔW` 用于加性增量。

**4. 结果：专用变体**

你获得一个针对特定任务、硬件层级或能力优化的模型——无需从头训练。

这就是像 **Bonsai 2 27B**（Qwen3.8-27B 的三值压缩衍生模型，5.9 GB）这样的模型能从基座模型保持 98.2% 基准性能的原因。掩码保留了重要的部分，其余被丢弃。

## 与 Tokios 的关系

System One 模型和基于掩码的衍生模型都适合 Tokios 模式：你在本地运行权重，Tokios 在 `https://api.tokios.com` 上提供稳定、经过认证的端点。

### 决策模型端点

每个提供 System One 模型的后端都会暴露决策端点。Tokios 通过隧道传输 HTTP——不限制路径——因此以下所有端点都可通过 `https://api.tokios.com` 使用：

| 后端 | 决策端点 | 模型 | 备注 |
| - | - | - | - |
| **Unsloth Desktop** | `POST /v1/systemone` | Laya（内置） | 在 Settings > API > Decision API 中启用。兼容 Jev 格式。 |
| **Ollama**（0.35+） | `POST /v1/systemone` | Jev 风格模型 | 原生支持 System 1 决策模型。 |
| **LM Studio** | `POST /v1/decisions` | 决策模型 | 参见 [LM Studio 优化](https://docs.tokios.com/guides/lm-studio-optimization.md)。 |
| **SGLang**（0.5.21+） | 原生决策 API | 决策模型 | 参见 [SGLang 优化](https://docs.tokios.com/guides/sglang-optimization.md)。 |
| **vLLM** + serve\_decide.py | `POST /v1/decide` | JEV-27B | AutoTrust 的自定义封装。 |

其中 `/v1/systemone` 端点遵循 **TypeSafe Jev API 格式**——与 TypeSafe 专有 Jev 使用相同的 schema。Laya、Unsloth Desktop 和 Ollama 都使用此协议，因此为 TypeSafe Jev 编写的客户端只需更改 base URL 即可通过 Tokios 使用 Laya。

### 实用路径

**1. 通过 Unsloth Desktop 使用 Laya——最简单的路径**

Laya 仅 449 MB，在 4 GB RAM 的 CPU 上即可运行，Unsloth Desktop 开箱即在 `localhost:8888/v1/systemone` 提供服务。将 Tokios 连接器指向 Unsloth Desktop，然后从任何地方调用 `https://api.tokios.com/v1/systemone`。Apache 2.0，无许可证限制。

**2. 通过 vLLM 使用 JEV-27B——最高准确率**

JEV-27B（25.6B 参数，53.8 GB VRAM）在 vLLM 上运行 AutoTrust 的 `serve_decide.py`。它继承了 Qwen3.8-27B 的推理能力作为 System 2 回退。需要 H100 80GB 或 B200。`/v1/decide` 端点可通过 Tokios 隧道传输。

**3. 训练你自己的决策模型**

Unsloth 的[决策模型训练](https://unsloth.ai/docs/basics/train-your-own-decision-model-with-unsloth)支持将 Qwen3.5（0.8B、4B）、Qwen3.8、Gemma 4 或 Llama 3.2 微调为 System 1 模型，使用 LoRA + 决策头。4 GB VRAM 即可运行。通过 Unsloth Desktop 或 vLLM 提供服务。

**4. Bonsai 2 27B——压缩 LLM，非 System One**

Bonsai 2 是 Qwen3.8-27B 的三值压缩版本（5.9 GB），仍然生成文本。它不是判别式决策模型，但可以在消费级硬件上运行，并通过 Ollama 或 llama.cpp 的标准 `/v1/chat/completions` 提供服务。

> **[快速入门](https://docs.tokios.com/quickstart.md)**
>
> 配对连接器、注册部署，并端到端创建你的第一个密钥。

> **[你的 GPU 能运行多大的模型？](https://docs.tokios.com/guides/model-fit.md)**
>
> 将任何模型——包括 System One 衍生模型——匹配到你的可用 VRAM。


This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.