OpenAI 前首席技术官 Mira Murati 创立的 AI 初创公司 Thinking Machines Lab 近日正式发布了其自研的 AI 模型 Inkling。与 OpenAI、Anthropic 或 Google 的闭源旗舰模型不同，Inkling 是一款开放权重的模型，外部开发者和企业可以直接下载，并根据自身需求进行修改。正如官方介绍的那样，Inkling 能够高效地对文本、图像和音频进行跨模态推理，并且完整模型权重也将开放。
Inkling 采用混合专家 Transformer 架构，总参数量为 9750 亿，激活参数量为 410 亿，支持最高 100 万 token 的上下文窗口。它使用了 45 万亿 token 的文本、图像、音频和视频数据完成了预训练。它是 Thinking Machines Lab 发布的模型家族中的首款产品。与此同时，Thinking Machines Lab 还发布了 Inkling-Small 预览版。这是一款更轻量的模型，激活参数量为 120 亿，采用与 Inkling 相似的训练方法，能够以更低的成本和延迟实现出色性能。Inkling 能够原生处理并推理文本、图像和音频，并通过高效、可控的推理强度，在成本与性能之间取得平衡。Inkling 在多个领域都有较强表现，同时具备足够的灵活性，能够适配不同需求。官方表示，Inkling 并不是目前综合能力最强的模型，无论与开源模型还是闭源模型相比都是如此。它的价值在于多项特性的结合，使其成为适合定制的开放权重基础模型，包括多模态能力、高效推理，以及可以通过 Tinker 进行微调。显然，该公司追求的是均衡全面的性能。
Inkling 仅是 Thinking Machines Lab 发布的模型家族中的第一款产品，未来还会在此基础上持续迭代。为了让模型定制覆盖更多应用场景，Thinking Machines Lab 已在 Tinker 平台开放 Inkling 的微调能力。在该公司看来，选择适合微调的基础模型，既需要参考可量化的基准测试，也离不开开发者在实际使用中对模型风格与表现的判断。为此，Tinker 控制台新增了 Inkling Playground，开发者可以直接与模型交互，更直观地了解其能力特点。为了进一步展示模型定制的实际效果，Thinking Machines Lab 还进行了一次颇具实验性的尝试，让 Inkling 参与自身的微调过程。Inkling 通过 Tinker 编写微调任务、运行训练流程，并对最终结果进行评估。
Inkling 能力展示
以下是 Inkling 能够完成哪些任务，以及它在可信度、安全性等重要维度上的表现。
通用模型
Inkling 的设计目标是覆盖广泛的任务类型。训练过程中，它同时面向智能体、推理、编程、指令遵循、事实准确性、视觉和音频等任务展开，而没有针对某一个领域进行狭窄优化。这种能力广度对于模型定制和实际应用十分重要。不同用户需要模型适应差异很大的工作流程，而不只是擅长在基准测试中取得高分。
智能体编程与工具调用
一个适合微调的强大基础模型，需要能够灵活调用智能体工具，解决多种不同类型的任务。在大多数智能体基准测试中，Inkling 在开放权重模型中都取得了较好的成绩。训练过程中，Inkling 被置于多种编程与智能体框架中运行。团队还随机调整了训练时使用的工具集和工具定义，以降低模型对某一种特定框架的依赖。下面展示几个 Inkling 进行智能体编程和工具调用的案例，以及它在过程中生成的成果。
一次生成带有内嵌浏览器操作能力的 Web 应用：Inkling 通过一次生成就构建出了一个可正常运行的 Web 应用。随后，它还为该应用提供了一个内嵌 AI 助手，用户可以通过自然语言指令，让助手直接操作 Web 应用界面。
Design Arena：Inkling 参加了 Design Arena 的智能体 Web 开发排行榜评测。在该评测中，匿名的人类评审会对模型生成的 Web 应用进行两两对比。评测结果显示，Inkling 跻身能力最强的开放权重模型之列。
风格统一的多页面成果：Inkling 能够创建多页面的完整成果，准确遵循指令、呈现可靠的信息，并在不同页面之间保持统一连贯的视觉风格与设计。
多人游戏：在 GPT Codex 担任评审的情况下，Inkling 根据其反馈进行了 40 轮迭代，逐步完善了一款在线多人贪吃蛇游戏。能够持续完成长周期的优化，并根据反馈不断改进，是产出高质量协作成果的关键能力。
可控的推理强度
推理时扩展能力和问题解决能力，是衡量模型的核心指标，但很难用一个数字完整概括。对于希望针对特定任务进行模型微调的开发者来说，效率与模型在公开基准测试中以最高推理强度取得的成绩同样重要。现实应用通常受到成本和延迟的严格限制，其中，低延迟对于通过持续迭代实现协作与改进尤为关键。Inkling 支持对推理强度进行调节，让开发者可以在性能与 token 效率之间灵活权衡。上图展示了 Inkling 及其他开放权重模型在多项基准测试中的推理强度与性能曲线，包括用于评估智能体编程能力的 Terminal Bench 2.1、用于评估高级推理能力的 HLE，以及用于评估指令遵循能力的 IFBench。在 Terminal Bench 上，Inkling 只需使用 Nemotron 3 Ultra 三分之一的 token，就能达到相同的性能水平。对于需要运行数百万次，或被嵌入长流程工作流中的模型来说，成本与延迟至关重要。通过观察完整的成本与性能曲线，开发者可以为不同应用场景选择更合适的模型。
多模态能力
Inkling 的一项重要设计目标，是作为 Thinking Machines Lab 近期发布的交互模型系统中的后台推理模型。交互模型支持用户通过语音和视觉进行实时、自然的协作，因此需要一个经过原生训练、具备广泛多模态能力的模型作为基础。Inkling 的多模态组件使用通用领域数据从零开始训练。团队采用了与交互模型设计一致的无编码器架构，处理音频和视觉输入。音频信号以 dMel 频谱图的形式输入，图像则被划分为 40×40 像素的图像块，并通过一个四层 hMLP 进行编码。随后，两类输入都经过轻量级嵌入层转换，并与文本 token 一同进行处理。在音频方面，Inkling 能够完成语音转写、遵循语音指令、回答与录音内容相关的问题，并对较长的音频进行推理。在 VoiceBench、MMAU 和 AudioMC 等基准测试中，Inkling 跻身能力最强的开放权重音频模型之列。在视觉方面，Inkling 支持图像输入，可以描述视觉内容、回答相关问题，并基于给定的视觉信息展开深入推理。它在图表、示意图和数学视觉推理任务上表现突出。推理过程中，Inkling 还可以调用 Python 工具，通过放大、裁剪等操作辅助理解图像，并将视觉推理与基于代码的推理无缝结合。作为该系列的首个模型，Inkling 为后续研究建立了一个较为稳固的多模态基础。Thinking Machines Lab 表示，随着模型规模和训练流程在后续版本中继续扩展，Inkling 的多模态能力还将进一步提升。在 FORTRESS 基准测试中，Inkling 展现出了较强的内置安全防护能力。Inkling 拒绝了更多有害请求，对无害对应问题的误拒率也更低。
Inkling 基准测试团队从多个能力维度对 Inkling 进行了基准评测。所有评测均将推理强度设置为 0.99，温度设置为 1.0。所有编程类评测的单条轨迹最大 token 上限均为 25.6 万。为了提高结果的一致性，在条件允许的情况下，团队对自家模型和外部模型都采用第三方公开评测结果。具体而言，Humanity’s Last Exam、GPQA Diamond、GDPVal、Tau 3 Banking、AA Omniscience 和 MMMU Pro 等评测均采用 Artificial Analysis 公布的分数。
Inkling 的训练过程架构
Inkling 是一款混合专家 Transformer 模型，在常见架构方案的基础上做了几项调整，主要用于提升效率和长上下文性能。其 MoE 设计整体沿用了 DeepSeek-V3 的思路。每个 MoE 层包含 256 个路由专家和 2 个共享专家，每个 token 会激活 6 个路由专家。Inkling 采用基于 sigmoid 的路由机制，并通过无辅助损失的负载均衡偏置来平衡专家负载。被选中的路由专家与共享专家的得分会进行联合归一化，再用于加权组合各自的输出。在注意力机制方面，Inkling 以 5:1 的比例交替设置滑动窗口注意力层和全局注意力层，并采用 8 个 KV 头。团队发现，与更常见的旋转位置编码 RoPE 相比，相对位置嵌入在位置编码上表现更好，也能更有效地外推到更长的序列。此外，团队还在两个位置引入了短卷积。一个位置位于每个注意力层的 Key 和 Value 投影之后，另一个位置位于注意力分支和 MLP 残差分支的输出处，在它们重新汇入主残差流之前进行处理。
训练
Inkling 使用 45 万亿 token 完成预训练，数据涵盖文本、图像、音频和视频等多种内容类型。训练采用混合优化策略。大规模矩阵权重使用 Muon 优化器，其他参数使用 Adam 优化器。超参数调度方案则借鉴了团队此前关于模块化流形的研究。团队还将权重衰减强度与学习率的平方绑定。实验表明，这种方法能够在不同训练周期下保持模型权重整体规模的稳定。在后训练阶段，Inkling 覆盖了数学、智能体编程与工具调用、音频、图像、对话和安全等多个领域。为了启动后训练，团队首先使用合成数据进行了一轮监督微调。这些数据由包括 Kimi K2.5 在内的开放权重模型生成。该启动阶段只占用了较少的计算资源，绝大部分算力都投入到大规模强化学习中，训练环境同时包括合成环境和人工构建环境。Inkling 是 Thinking Machines Lab 首次开展的大规模模型训练，使用 NVIDIA GB300 NVL72 系统完成。未来的模型将在预训练、后训练和强化学习等阶段进一步扩大计算规模。
大规模强化学习
团队通过大规模异步强化学习塑造模型行为，并提升其推理能力和整体性能。下图展示了模型在一组留出推理评测集合上的得分，其中包括 AIME、HLE、GPQA 等测试。强化学习最终扩展到超过 3000 万次 rollout，并在两次持续时间较长的连续训练中保持稳定。在整个训练过程中，模型的推理性能持续呈现对数线性增长，最终实现了显著提升。团队通过修改系统消息，并调整每个 token 的成本，为不同样本设定不同的推理强度。这使模型在不同 rollout 中使用不同数量的 token，并逐步学会控制自身的推理强度。团队还观察到，随着强化学习训练推进，模型的推理风格出现了一种自然形成的变化。思维链逐渐变得更加简洁，减少了不必要的语法性表达，同时仍然保持可理解性，也没有影响最终答案。这种变化并非奖励机制刻意引导的结果，单纯追求效率就推动了思维链的压缩。Cognition 团队近期在训练 SWE-1.7 时，也观察到了类似现象。下面展示了 Inkling 在回答同一道数学题时，其思维链如何随着强化学习训练逐步演变。
Inkling-Small
在发布 Inkling 的同时，Thinking Machines Lab 还带来了 Inkling-Small 的预览版。它是一款总参数量为 2760 亿的混合专家模型，激活参数量为 120 亿，低于 Inkling 的 410 亿，在性能与延迟之间提供了不同的权衡。在多项基准测试中，Inkling-Small 的表现与更大规模的 Inkling 持平，甚至有所超越。这主要得益于团队针对小模型改进了预训练数据和训练方案。两款模型采用相同的可扩展后训练技术栈。早期测试结果显示，Inkling-Small 在推理和智能体任务上的表现已经接近 Inkling。凭借 120 亿激活参数和可控的推理强度，它尤其适合对成本和延迟较为敏感的工作负载，例如编程、使用大模型进行评测打分，以及为其他模型生成合成数据。目前，Thinking Machines Lab 正在完成 Inkling-Small 的最后测试，相关工作结束后将发布完整模型权重。
定制 Inkling
许多现实问题，即使是能力最强的通用模型也难以妥善解决。通过微调引入企业或组织的专业知识，可以进一步弥补这一差距。Tinker 客户的实际使用经验也印证了这一点。Inkling 的后训练结果以及大规模强化学习表现表明，它能够通过微调快速学习和掌握新的能力。
Inkling 的开放与使用方式
Inkling 目前已经上线 Tinker，提供 6.4 万和 25.6 万 token 两种上下文长度。限时期间，Inkling 的使用价格享受五折优惠，完整定价信息可在官方文档中查看。为了帮助 Tinker 用户更方便地微调 Inkling，团队更新了 Cookbook，使其原生支持 Inkling，并新增了三套示例方案，用于展示 Inkling 独特的音频能力。团队还发布了 tml-renderer，支持在包含工具调用、推理内容和多模态输入的场景下，更可靠地进行采样和后训练。在正式启动训练任务之前，用户可以先进入 Tinker 控制台中的 Inkling Playground 体验模型。该功能提供聊天界面，并集成了智能体式网络搜索能力，限时免费开放。Thinking Machines Lab 还与多家生态合作伙伴展开合作，帮助客户部署在 Tinker 上微调得到的模型检查点。Inkling 已经可以通过 Together AI、Fireworks、Modal、Databricks 和 Baseten 的 API 使用。在开源推理和强化学习支持方面，团队与 RadixArk 合作，为 SGLang 和 Miles 提供支持；与 Inferact 合作适配 vLLM；与 Lightseek 合作支持 TokenSpeed 推理；与 Unsloth 合作支持 llama.cpp；同时还与 Hugging Face 合作，完成了对 Transformers 的集成。Inkling 的完整模型权重已经发布在 Hugging Face 上，包括原始模型检查点，以及面向 NVIDIA Blackwell 系统高效推理的 NVFP4 检查点。