DeepSeek开源生产级推理框架DeepInfer 单卡吞吐2200 tokens/s【AI 早报 2026-10-21】
今日AI圈迎来密集开源潮：DeepSeek开源生产级推理框架DeepInfer，VAST开源实时世界模型EdenLive，蚂蚁、B站、中国电信等纷纷放出模型权重；融资市场同样活跃，端侧AI、AI助手、具身智能赛道均获大额资本注入。
今日概览
要闻
- DeepSeek开源生产级推理框架DeepInfer 单卡吞吐2200 tokens/s
模型发布
- VAST开源实时世界模型EdenLive 支持720P 24FPS生成
- 蚂蚁开源Ming-3.0语音系列 0.5B模型拿下英文发音鲁棒性第一
- B站开源Index-Translate翻译模型 覆盖150种语言
- 中国电信开源Xing4.0-29B-Intent意图理解模型
- MiniMax发布M3.1 Flash正式版 支持百万上下文
- Inception发布Mercury 3扩散文本生成模型 每秒1068 token
- 南京大学发布VideoJev视频理解模型
开发生态
- AWS发布TorchNeuron 单行配置迁移PyTorch应用至Trainium
- Google为vLLM和SGLang推出TPU原生后端
- Nvidia扩展开源Nemotron模型 发布120B参数Super VL
技术与洞察
- 何恺明团队发布VISTA视觉记忆框架 通关ARC-AGI-3
- CMU与英伟达开源PointZero 无需机器人数据预训练
- LoopWAM登顶RoboChallenge Table30 成功率提升19.7个百分点
行业动态
- AI陪伴应用Tolan融资3000万美元 估值超2.68亿美元
- 会议记录AI公司Otter.ai融资3.2亿美元 用户达4000万
- AI助手初创Town融资1.08亿美元 上线4个月即独角兽
- 端侧AI初创Conway Research获a16z领投 主打本地推理
- 具身智能公司YITA伊塔动力融资超亿元 关节模组效率83%
要闻
1. DeepSeek开源生产级推理框架DeepInfer 单卡吞吐2200 tokens/s
DeepSeek官方博客宣布全面开源内部推理框架DeepInfer，并同步开源生产级Token编解码组件deepseek-recipe。DeepInfer集成了FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect及自定义TileLang算子，内置注意力数据并行（Attention DP）、上下文并行（CP）和MoE专家并行（EP）及负载均衡。该框架支持DSpark与基于置信度调度的推测解码（默认最多一次猜5个候选词），同时用SWA Bounded Replay截断长上文冗余计算。在兼容性方面，DeepInfer适配英伟达SM100架构GPU，也原生支持华为昇腾950 NPU。根据官方放出的DeepSeek-V4.1-Flash实测数据（基于单Scale-up域内的4张SM100跑Prefill、64张SM100跑Decode），在128K长上下文场景下，Prefill吞吐最高可冲上约29K tokens/s/GPU；Decode阶段在每用户每秒吐字80 tokens的交互速度下，单卡输出吞吐也能达到约2200 tokens/s/GPU。此外，DeepInfer还支持与批次组合无关的一致性推理（Batch-invariant inference）和确定性采样，可直接用正则表达式、JSON Schema或EBNF语法框住模型输出格式。DeepSeek表示，希望通过分享内部部署经验，帮助开发者与企业组织优化大规模推理的吞吐与延迟，降低算力成本。
来源：https://mp.weixin.qq.com/s/_92qxY50yrITYDkhnKVv5w
模型发布
2. VAST开源实时世界模型EdenLive 支持720P 24FPS生成
VAST开源了实时世界模型EdenLive，它是Project Eden系列中的实时生成式渲染器。游戏、动画预览等可交互内容的规则和状态仍由上游交互系统维护，白模、2D/3D场景或真实录像都能作为生成画面的参考。EdenLive的三类输入分工明确：参考视频决定场景布局、镜头运动、物体轨迹和事件发生的时间；目标首帧确定主体、材质、配色和画风；文本提示词补充风格和细节。基于Gemini-3.8-Flash对45个长时案例的两两盲评，在参考遵循、首帧一致性、物理合理性、画质和避免外观泄漏五个维度上，EdenLive 14B和5B全部排在第一和第二，其中14B在参考遵循维度得分1704，比AgentGarten高出约200分。性能方面，EdenLive 5B在单张消费级显卡RTX 5090上能以超过24 FPS生成720P画面，并支持分钟级连续生成。VAST还同步开源了EdenGolem（v0.1），这是一款给编程智能体使用的skill，输入一段玩法描述后，智能体便会分四个阶段完成玩法设计、场景搭建、交互逻辑实现与界面完善，生成可独立运行的3D灰盒游戏，目前已支持解谜、射击、驾驶、冒险、竞技场、格斗等多种游戏类型。
来源：https://www.ifanr.com/1685059?utm_source=rss&utm_medium=rss&utm_campaign=
3. 蚂蚁开源Ming-3.0语音系列 0.5B模型拿下英文发音鲁棒性第一
蚂蚁百灵开源Ming-3.0语音系列模型，共包含五款模型，覆盖语音合成、音频理解与对话、语音识别三大方向。语音合成系列包含Ming-3.0-tts-0.5B和Ming-3.0-tts-tiny，其中tiny版本支持长篇多角色播客生成；音频理解与对话系列包含Ming-3.0-audio-flash和Ming-3.0-audio-tiny；语音识别模型为Ming-3.0-asr-tiny。0.5B参数的TTS模型支持根据文字指令调整声音表演，用户可以要求台词表现出克制的愤怒，指定哪些词重读、哪里停顿，还能在句中加入笑声和叹息。在Artificial Analysis的英文发音鲁棒性测试中，Ming-3.0-tts-0.5B以93.2%的成绩与Fish Audio Drama 3 Preview并列第一，高于Eleven v4和Gemini 3.8 Flash TTS；在统一参考音色的Controlled Voice榜单中位列开放权重模型第一。音频理解方面，Ming-3.0-audio-flash以99.40分的语音推理成绩领先字节Seed 2.0 Lite、小米MiMo-V2.6-Pro、阿里Qwen3.8-Omni-Flash和谷歌Gemini 3.8 Flash。实测中，该模型能分析22分钟的长对话，约6.6秒即可定位背景声音出现的时间。语音识别方面，Ming-3.0-asr-tiny在领域、方言及中英文四类评测中的平均错误率为4.41%。五款模型的权重现已在Hugging Face和ModelScope开放。
4. B站开源Index-Translate翻译模型 覆盖150种语言
哔哩哔哩Index LLM团队推出Index-Translate系列，文本翻译覆盖150种语言，提供2B、9B和35B-A3B（preview）三种规模，同时支持图文翻译。该系列基于Qwen3.5 base构建，中训练同时使用通用文本回放（G）、独立采样的单语文本（M）和平行翻译数据（P），进入训练后期再增加中转组织数据（V）。研究采用WSD（Warmup–Stable–Decay）学习率调度，Constant阶段保持固定学习率，decay阶段逐步降低学习率并以中转数据为主。系列还包含三款衍生模型：Index-Echo支持语音到文本、语音到语音翻译，并利用源音频提供音色条件；Index-Homura根据指定音节数调整译文，用于字幕和配音等时间受限场景；Index-NativeLong完整输入长文档，一次生成完整译文。值得注意的是，Index-Translate的中训练与后训练均未使用图片数据，但借助继承自Qwen3.5的视觉通路，模型可以直接根据图片生成译文。开源不到半个月，GitHub Star已超过1,600，Hugging Face系列模型总下载次数突破10万次。
5. 中国电信开源Xing4.0-29B-Intent意图理解模型
中国电信星辰团队发布Xing4.0-29B-Intent，将意图识别与参数抽取放进同一个模型。开发者先定义候选类别和字段，模型便能把"查询明天北京到上海的航班"解析成查询意图、出发地、目的地和日期，并以category与args组成的JSON返回。模型基于Xing4.0-29B-A4B训练，覆盖意图与槽位、实体、关系和事件抽取，支持多意图、多轮对话及中英文输入。官方提供BF16、FP8和GGUF版本，权重、代码与配套数据采用Apache 2.0许可。SDK可连接自行部署的模型服务，适合工单路由、设备指令解析和业务信息提取等场景。
6. MiniMax发布M3.1 Flash正式版 支持百万上下文
MiniMax于10月19日发布M3.1 Flash正式版，并确认此前的Space Bunny是其早期版本。模型面向编程、电脑操作和连续工具调用，支持100万token上下文以及图像、视频输入，开发者可以调节思考深度，在任务质量与响应时间之间做选择。API定价为每百万输入token 0.15美元，输出为0.60美元，缓存输入为0.015美元。TechRepublic报道指出，该模型在定价策略、性能基准测试及系统可靠性方面均针对企业需求进行了优化，公司称可将AI Agent成本降低70%。正式版已通过API、M Plan和MiniMax Code开放，兼容OpenAI API，模型权重计划稍后开放。
7. Inception发布Mercury 3扩散文本生成模型 每秒1068 token
Inception于10月19日发布Mercury 3，继续采用扩散式文本生成路线，并提供100万token上下文窗口。官方测试报告了每秒1068 token的生成速度，但这是特定测试条件下的结果。Mercury 3已通过Inception平台及OpenRouter等渠道提供API，兼容OpenAI接口，可接入已有的助手与Agent工作流。标准价格为每百万输入token 0.20美元、输出0.70美元，当前通过托管服务使用，适合对生成速度敏感、同时需要处理较长材料的应用。
8. 南京大学发布VideoJev视频理解模型
南京大学MCG的VideoJev基于Qwen构建，把视频理解任务转为对候选结果直接评分，而不是先生成一段文字答案。在视频时间片段定位中，模型返回以秒表示的区间；在选择式问答中，则输出候选答案的概率，让结果形式直接对应任务所需。项目已发布4B和35B-A3B两档模型权重及代码，采用Apache 2.0许可。部署除语言模型外还需加载视觉组件，长视频的帧数会影响显存占用，应结合输入长度控制采样规模。
开发生态
9. AWS发布TorchNeuron 单行配置迁移PyTorch应用至Trainium
Amazon Web Services发布了TorchNeuron，这是一款让AI初创公司将应用迁移到Trainium芯片的工具，直接挑战Nvidia凭借CUDA软件生态建立的优势。TorchNeuron与PyTorch配合工作，Amazon称它允许PyTorch应用通过修改单行配置即可在Trainium上运行，无需重写代码。Amazon估计约85%的AI应用使用PyTorch编写，而Nvidia的CUDA软件长期以来深度嵌入其中。AWS Annapurna Labs技术软件副总裁Colin Brace表示，Trainium的价值来自其性价比以及在一个平台上同时处理训练和推理的能力，他举例称AI语音提供商Deepgram在迁移到Trainium后，每美元处理的音频量增加了70%。Amazon同时向PyTorch上游贡献代码，旨在消除框架与特定芯片的绑定，使其对所有开发者更加硬件无关。
10. Google为vLLM和SGLang推出TPU原生后端
Google Developers Blog宣布为vLLM和SGLang推出基于TorchTPU的原生PyTorch后端，使开发者能够使用熟悉的PyTorch工具运行和优化推理服务负载。该引擎与开源项目维护者合作构建，包含针对TPU优化的内核实现，以及KV cache management with TPU Sync和disaggregated serving等生产就绪功能。公开基准测试显示，这些引擎在Ironwood TPU上针对长上下文和agentic工作负载实现了state-of-the-art性能和行业领先的成本效率，为大规模AI推理部署提供新的基础设施选择。
来源：https://developers.googleblog.com/announcing-new-vllm-and-sglang-inference-engines-on-tpu/
11. Nvidia扩展开源Nemotron模型 发布120B参数Super VL
Nvidia发布了新的开源权重模型，面向always-on agents和边缘计算场景。Nemotron 3.5 Super VL是一款1200亿参数模型，Nvidia称其在指令遵循和工具使用上匹配更大的Nemotron 3 Ultra。公司声称，当在文档智能、财务会计和医疗保险理赔等agentic任务上进行后训练时，Super VL完成任务的速度快于Anthropic和OpenAI的竞争模型。该模型已被Skydance、EY、Ramp、CrowdStrike、Perplexity和Salesforce等公司使用。Nvidia开放模型与软件副总裁Kari Briski表示，与封闭的前沿模型不同，Super VL可以基于企业自有数据进行后训练，并部署在自有基础设施上。
技术与洞察
12. 何恺明团队发布VISTA视觉记忆框架 通关ARC-AGI-3
何恺明团队在论文《VISTA: A Visual Harness for Reasoning in an Interactive World》中提出了视觉原生的Harness框架VISTA，让现有的多模态模型无需从头训练即可观察环境、保存原始画面，并在推理时随时回看、放大和检查细节。VISTA设计了三个核心组件：视觉观测负责将环境画面提供给模型，在ARC-AGI-3实验中会将官方提供的64×64画面放大为512×512的PNG图像；无损视觉记忆负责保存模型看到的画面，每次执行动作后完整保存环境返回的所有画面，包括动作过程中的动画中间帧，并按照回合号和帧号建立索引；主动视觉检查负责让模型按需回看历史画面，通过inspect工具指定某个历史回合调出对应画面，也可以裁剪、放大局部区域，甚至一次调出多帧画面对比动作前后的变化。评测方面，搭配VISTA，Claude Opus 5.0完成了ARC-AGI-3全部25个公开游戏，相对人类动作效率得分达到满分100，所用游戏动作数比首次游玩的人类基线少57.4%；换成GPT-5.6 Sol，同样全部通关，得分达到99。
13. CMU与英伟达开源PointZero 无需机器人数据预训练
卡内基梅隆大学与英伟达在NeurIPS 2026上开源PointZero，针对3D动态预训练中"要学动作先得有机器人"的死锁提出了反直觉方案：如果动作本身可以被表示为3D空间中点的运动，那么预训练阶段完全不需要机器人，只需要RGB-D观测和点轨迹。PointZero的架构将点云几何、动作轨迹和视觉特征统一编码到一个扩散Transformer中，从噪声中预测目标状态。点token方面，观测点云中每个点的初始位置在多个未来帧上重复；部分点轨迹token方面，将3D坐标嵌入后加上时间嵌入和轨迹索引嵌入；视觉token方面，使用DINOv2提取稠密图像特征，再通过Perceiver-IO模块压缩。研究探索了回归、流匹配（v-prediction）和JiT-style（x-prediction）三种训练目标。团队贡献了一个包含290万帧的大规模合成数据集，覆盖可变形物体（约42.67%）、铰接物体（约43%）和刚体，运动由随机交互驱动，每一帧中每个点的未来轨迹都有真值标注。
来源：https://mp.weixin.qq.com/s/mYyJefWrQYrdFo8OTtpeFA
14. LoopWAM登顶RoboChallenge Table30 成功率提升19.7个百分点
由清华大学、原力灵机与极寰时代联合研发的世界动作模型LoopWAM登顶真机评测榜单RoboChallenge Table30 V2，成功率与过程分双双位列榜首，成绩超过VLA-DM0.5等同期方案。LoopWAM在所有榜单评测中使用的模型均由国产卡阿里云PPU-810E训练。该模型关注真实部署中积累的经验如何被用好，提出把成功、次优与失败经验纳入统一训练，用更广泛的真实交互增强世界建模，再通过质量引导和动作监督加权，让策略吸收经验的同时保持对高质量行为的偏向。从仅使用专家演示训练的初始模型出发，经过三轮部署与训练，LoopWAM的整体成功率提高了约19.7个百分点，相对提升约83%，过程分也从36.10提升至56.80。在本次评测中，LoopWAM在11项任务上的成功率达到60%及以上，9项任务过程分达到80分及以上，其中整理水果、物品分类、取出绿色积木的成功率均为100%，用小勺舀取物体的成功率为90%、过程分92。
来源：https://mp.weixin.qq.com/s/rsGZK9cA0CiEuYwDTmTHpA
行业动态
15. AI陪伴应用Tolan融资3000万美元 估值超2.68亿美元
AI陪伴应用Tolan获得Union Square Ventures、Khosla Ventures和Homebrew等投资者的3000万美元融资，本轮融资使其总融资额翻倍，估值超过此前的1.2亿美元，PitchBook估计其估值超过2.68亿美元。Tolan通过一个卡通角色为用户提供支持，帮助管理日常生活、处理人际关系和情绪，并完成待办事项，采用分级会员制。该公司声称拥有超过25万活跃用户，过去一年进行了超过7000万次对话，约70%的用户是女性，40%是父母，年度经常性收入（ARR）已达到数千万美元级别。在Character.AI申请破产、Friend的硬件产品受到广泛批评的背景下，Tolan在拥挤的赛道中获得了增长，但未来可能面临Meta的Muse等AI agents的竞争。
16. 会议记录AI公司Otter.ai融资3.2亿美元 用户达4000万
AI会议记录公司Otter.ai获得General Catalyst旗下Customer Value Fund（CVF）的3.2亿美元投资，该基金提供非稀释性资本，回报基于营销支出效果。Otter表示这笔资金将支持企业增长、市场进入战略、国际扩张和产品创新。这家成立近十年的公司此前累计融资5000万美元，去年年度经常性收入（ARR）突破1亿美元，产品用户数从2500万增长至4000万。Otter面临Fireflies.ai、Granola、Read AI以及Calendly和Superhuman等新进入者的竞争，新任CMO Alex Gay表示公司看到了帮助会议繁重角色将转录内容转化为可执行计划的重大机会，目前正在测试AI驱动的会前简报和能在会议中回答问题的Live Assist功能。
17. AI助手初创Town融资1.08亿美元 上线4个月即独角兽
AI助手初创公司Town宣布完成由Forerunner Ventures和Menlo Ventures共同领投的1.08亿美元B轮融资，估值达到独角兽级别。该公司在四个月前才正式公开上线，并称其年度经常性收入（ARR）在短短数周内便达到数百万美元。此前，该公司已于6月宣布完成5500万美元A轮融资，迄今累计融资至少1.6亿美元。Andreessen Horowitz、Serena Ventures和First Round Capital也参与了本轮融资。Town由前Plaid首席技术官Jean-Denis Greze创立，面向企业用户，为每位员工配备一个名为Townie的AI助手，通过连接电子邮件、日历等工具以及其他核心工作系统来协助完成各项任务。员工的Townie之间可以相互交流并共享经批准的信息，现在还可以与客户及公司外部的其他人员协作。在宣布融资的同时，Town还推出了一项共享工作流，可自动将新的业务信息更新到员工的Townie中。
18. 端侧AI初创Conway Research获a16z领投 主打本地推理
端侧AI初创公司Conway Research获得硅谷风投a16z领投，Khosla Ventures、Hummingbird Ventures、SV Angel等机构跟投，Stripe联合创始人Patrick Collison、Vercel创始人Guillermo Rauch以及OpenAI研究员Noam Brown等人也出现在投资者阵容中，不过具体金额和估值尚未披露。Conway想把AI尽可能放到用户自己的电脑上运行，其首款产品Underdog主打本地推理和隐私保护，目前处于邀请制测试阶段，支持在用户自己的电脑上运行模型，当前版本主要支持Mac和Windows，Linux、iOS和Android版本则在推进中。Underdog计划初期免费，不投广告，创始人Sigil Wen的设想是既然模型主要运行在用户自己的设备上，就不必像传统云端AI那样通过订阅来覆盖持续发生的模型推理费用，公司希望进一步通过AI代用户完成交易，借助Stripe的支付基础设施在用户通过AI助理完成购物等交易时收取一小部分费用。Sigil Wen 17岁时独自来到硅谷，2025年获得彼得·蒂尔支持的Thiel Fellowship。
19. 具身智能公司YITA伊塔动力融资超亿元 关节模组效率83%
具身智能操作平台与动力系统公司YITA Dynamics伊塔动力宣布完成超亿元种子和种子+轮融资，由经纬创投、商汤国香资本、建银国际、L2F光源创业者基金、银河通用、傅利叶智能联合投资，光源资本担任孵化方和独家财务顾问。YITA面向具身模型验证、机器人数据采集、末端执行器集成等提供操作平台，自研复合行星力控方案，通过精密传动设计、参数优化与误差控制，在紧凑结构中兼顾承载能力、节拍、传动效率和中空走线。其关节模组传动系统效率约为83%，成本较所对比的传统谐波方案降低约50%，硬齿面传动使用寿命超2万小时，约为传统方案的2-3倍。创始人钟雪岗拥有哈尔滨工业大学机械电子工程背景，2019年创办广州傅利叶，三年内主导7款康复机器人产品定义、研发与量产上市，此后主导三代20余款执行器/关节模组研发，相关产品累计量产近5万台。据悉，YITA已与部分具身大脑龙头、人形本体企业及海内外顶尖科研实验室达成战略合作意向，意向金额达数千万元。
暂无评论。