https://api.tokios.com 的稳定且经过身份验证的访问端点,任何兼容 OpenAI 或 Anthropic 协议的客户端均可直接调用,全程无需开放入站端口或配置 VPN。
三步挑选法
1
明确使用场景
您是需要编程助手、常规对话、逻辑推理、图像处理,还是面向边缘设备或 CPU 的运算呢?使用场景能迅速缩小可选模型范围。详情请参阅各类任务对应的本地模型推荐,其中还包含了针对各类智能体任务的筛选标准。
2
匹配硬件条件
只有当模型所需显存或统一内存容量符合您硬件的实际承载能力时,它才能真正发挥效用。关于模型尺寸与硬件的匹配计算方式,请查阅何种尺寸的模型适合您的显卡?;若想了解尺寸与模型质量之间的权衡关系,可参考量化技术相关内容。
3
核查许可协议
各类模型的许可协议差异显著:Apache-2.0与 MIT 协议较为宽松;而 Llama Community、Gemma、NVIDIA Open Model License 等协议则设有特定使用限制。在着手基于某模型开发前,请务必查阅如何解读模型说明文档以明确相关条款。
各模型系列及其当前版本情况
下方的每个系列均有专属页面,其中包含标签、尺寸信息、硬件兼容性表格以及部署指南。由于模型版本更新频繁,此表格仅作参考;请查阅各系列页面以获取最新发布信息。“当前版本”指的是最新发布的、可供用户自行下载并运行的开放权重模型。部分当前版本模型仍需要多显卡硬件支持,例如
DeepSeek-V4-Flash-0731、GLM-5.2 以及规模庞大的 Kimi 和 MiniMax MoE 模型。各模型系列页面会分别说明当前可下载的版本、需要服务器环境才能运行的版本以及尚未发布的版本。请根据自身需求进行选择
常规对话与智能体应用
Qwen3.6、Llama、Gemma 以及 gpt-oss 均为综合性能出色的模型。Qwen3.8-27B则是最新的 Qwen 版本(目前仅支持 vLLM/SGLang 框架);Qwen3.6 是经过验证且最易部署的方案,而 Muse Glimmer则是专为智能体设计的选择,可顺利运行在 24 GB 显存的显卡上。
编程相关应用
Qwen3-Coder、Mistral 的 Devstral 以及 GLM 均适用于需要跨多个代码库协同工作的编程场景。
逻辑推理与智能体应用
若需使用当前版本的 DeepSeek 逻辑推理、编程智能体及工具调用功能,可先选用 DeepSeek-V4-Flash-0731;若硬件条件有限,也可选择 R1 distills 版本。
视觉与多模态应用
Qwen3-VL 与 Gemma 4 均可处理文本、图片及视频内容,建议优先选用 Qwen3-VL 版本。
小型设备、边缘计算及 CPU 部署方案
Gemma的E2B、Phi-4-mini、Granite以及Mistral的Ministral均可在笔记本电脑和边缘计算设备上运行。
格式与硬件
哪种权重格式——GGUF、MLX、NVFP4还是AWQ——能在您的GPU或Mac设备上运行呢?
选定格式之后
Tokios不会替您挑选模型;它仅为您当前运行的模型提供一个稳定且经过身份验证的端点,供您从任意位置调用。快速入门
依次配置连接器、完成部署注册并生成首个令牌即可。
选择模型与后端
依据您的工作流程、后端环境以及部署命名规则来挑选合适的模型。