> ## Documentation Index
> Fetch the complete documentation index at: https://docs.tokios.com/llms.txt
> Use this file to discover all available pages before exploring further.

> ## Agent Instructions
> Tokios exposes private local models through https://api.tokios.com using an outbound-only connector tunnel.
> Use 'connector' for the local tokios-connector process.
> Use 'deployment' for the public model name in the API model field.
> Use 'upstream model id' for the model served by Ollama, llama.cpp, vLLM, LM Studio, or another local backend.
> API keys use the prefix sk-tok-. Connector tokens use the prefix ct-tok-.

# RecursiveSI Flint：在笔记本电脑上运行 40B 编码智能体

> Flint 是一个 40B MoE 模型，活跃参数仅 2.5B——可在 24 GB GPU 上以 Q4 量化运行，同时在编码基准测试中与更大的模型竞争。Apache 2.0 许可。

Flint 是 Recursive Superintelligence, Inc.（RecursiveSI）推出的 39.8B 参数混合专家模型，该公司由 Richard Socher 创立。每个 token 仅激活 **2.5B 参数**，这意味着它可以在单张 24 GB 消费级 GPU 上以 Q4 量化运行，同时提供媲美更大模型的编码智能体性能。

> [!NOTE]
>
> Last verified: 2026-10-24

## 为什么 Flint 值得关注

Flint 专为**智能体编码**而构建——研究代码库、修复 bug、实现功能、编写测试。它支持多轮工具调用和结构化工具调用语法。2.5B 活跃参数意味着它可以在其他同性能级别模型无法运行的硬件上运行。

值得注意的是，Flint 主要由**其自身的 AI 研究系统构建**——这是自我改进 AI（autoresearch）的早期示范。

## 规格

| 属性 | 值 |
| - | - |
| HuggingFace | [`RecursiveSI/flint`](https://huggingface.co/RecursiveSI/flint) |
| GGUF | [`unsloth/flint-GGUF`](https://huggingface.co/unsloth/flint-GGUF) |
| Ollama | `ollama run flint` |
| 参数 | 39.8B 总参数 / \~2.5B 活跃参数（256 个路由专家，6/token + 1 个共享） |
| 架构 | Decoder-only MoE，49 层（2 个密集层 + 47 个 MoE 层） |
| 上下文 | 262,144 tokens（262K） |
| 词表 | 150,144 tokens |
| 许可 | Apache 2.0 |
| 知识截止日期 | June 2026 |

### 注意力架构

Flint 使用混合注意力模式：

* **35 个滑动窗口层**（窗口大小 513 tokens）用于高效的局部上下文
* **14 个全注意力层**使用 RoPE 处理长距离依赖

这种混合设计在保持 262K 上下文能力的同时，使 KV 缓存保持较小。

## 硬件适配

所有 39.8B 参数必须常驻内存——2.5B 活跃参数减少的是每个 token 的计算量，而非内存占用。Unsloth 提供的 GGUF 尺寸：

| 量化 | 文件大小 | 所需 VRAM | 硬件 |
| - | - | - | - |
| BF16 | \~80 GB | \~82-85 GB | 2x RTX 5090 或 1x RTX PRO 6000 |
| Q8\_0 | 42.3 GB | \~44-46 GB | RTX PRO 5000（48 GB）或 DGX Spark |
| Q5\_K\_XL | 29.9 GB | \~31-33 GB | RTX 5090（32 GB，较紧张） |
| **Q4\_K\_XL** | **25.1 GB** | **\~26-28 GB** | **RTX 5090（32 GB，舒适运行）** |
| Q3\_K\_XL | 18.5 GB | \~20-21 GB | RTX 4090/3090（24 GB） |
| Q2\_K\_XL | 13.6 GB | \~15-16 GB | RTX 4070/5070（12 GB，较紧张） |
| IQ1\_M（1-bit） | 11.4 GB | \~12-13 GB | 16 GB 内存的笔记本电脑 |

> [!TIP]
>
> **最佳选择：Q4\_K\_XL 在 RTX 5090 上。** 25.1 GB 文件大小，在 32 GB 显存中舒适运行，并为中等上下文长度留出 KV 缓存空间。Q3\_K\_XL 在二手 RTX 3090（24 GB，约 \$800）上是最佳性价比方案。

## 基准测试

| 基准测试 | 得分 | 说明 |
| - | - | - |
| Terminal-Bench 2.1 | 54.9% | 智能体编码 |
| SWE-bench Pro v2 | 89.7% | 软件工程 |
| SWE-bench Verified | 74.2% | 真实 GitHub issue |

在 \~5B 活跃参数以下的 MoE 模型中表现最佳。

## 运行方式

**Ollama（最简单）**

```bash theme={"theme":{"light":"github-light","dark":"css-variables"}}
ollama run flint
```

查看 [Ollama 库](https://ollama.com/library/flint)获取当前标签。

**SGLang（推荐用于服务部署）**

```bash theme={"theme":{"light":"github-light","dark":"css-variables"}}
python -m sglang.launch_server \
  --model-path "RecursiveSI/flint" \
  --port 30000
```

SGLang 是生产环境服务部署的推荐后端。RecursiveSI 发布了包含 Docker 的官方服务套件。

**vLLM**

```bash theme={"theme":{"light":"github-light","dark":"css-variables"}}
vllm serve "RecursiveSI/flint"
```

vLLM 通过 `FlintForCausalLM` 架构支持 Flint（PR 已合并）。

**llama.cpp / LM Studio**

从 [`unsloth/flint-GGUF`](https://huggingface.co/unsloth/flint-GGUF) 下载 GGUF 构建版本。在 LM Studio 中加载或通过 `llama-server` 运行。

### 推荐生成设置

* Temperature: `1.0`
* Top-p: `0.95`
* Top-k: `20`
* Min output tokens: `32,768`

## 通过 Tokios 连接

一旦 Flint 通过上述任一后端在你的硬件上运行，配对 [Tokios 连接器](https://docs.tokios.com/quickstart.md)即可从 Claude Code、Cline 或任何兼容客户端通过 `https://api.tokios.com` 访问它。

**1. 配对 Tokios 连接器**

在 [tokios.com/console](https://tokios.com/console) 登录，打开 **Setup** 标签页，点击 **Start pairing** 获取一次性认领码（`TKS-XXXX-XXXX`）。在托管 Flint 的机器上运行安装程序：

```bash Linux theme={"theme":{"light":"github-light","dark":"css-variables"}}
curl -fsSL https://tokios.com/downloads/install/linux | sh -s -- --code TKS-XXXX-XXXX
```

然后 **approve** 该设备，在 **Setup** 或 **Connectors** 标签页上操作。

**2. 注册部署**

在 [Models](https://tokios.com/console/models) 标签页中，注册 `flint` 作为上游模型 ID，并选择一个公开部署名称。

**3. 创建 API 密钥**

在 [Keys](https://tokios.com/console/keys) 标签页中，点击 **Create key**。复制 `sk-tok-...` 密钥——它仅显示一次。

## 注意事项

* **所有 39.8B 参数常驻内存。** 2.5B 活跃参数减少的是每个 token 的计算量，而非内存占用。请预留 25+ GB（Q4 下）。
* **知识截止日期为 June 2026。** Flint 不了解该日期之后的事件。
* **Apache 2.0 许可非常宽松。** 允许商业使用，无任何限制。
* **提供 NVFP4 变体。** NVIDIA 发布了面向 Blackwell GPU 的 FP4 量化版本。
* **由 AI 构建。** Flint 主要由 RecursiveSI 自己的 AI 研究系统创建。这是 autoresearch 的早期示范。

> **[模型适配](https://docs.tokios.com/guides/model-fit.md)**
>
> 计算哪种量化适配你的 GPU。

> **[按任务选择模型](https://docs.tokios.com/guides/model-by-task.md)**
>
> 将 Flint 与其他编码模型进行比较。

> **[RTX 50 系列指南](https://docs.tokios.com/guides/rtx-50-series-consumer.md)**
>
> 运行 Flint 的最佳消费级 GPU。

> **[快速开始](https://docs.tokios.com/quickstart.md)**
>
> 将 Flint 连接到 Tokios 进行远程访问。


This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.