Claude自写推理引擎:P90首token延迟从12秒降至0.48秒【AI 早报 2026-11-21】

Claude自写推理引擎:P90首token延迟从12秒降至0.48秒【AI 早报 2026-11-21】

今日头条是Claude在Singularity-Bench中自写推理引擎,同一硬件与模型下P90首token延迟从12.029秒降到0.478秒。Anthropic登陆纳斯达克,开盘价111.5美元、市值1.5万亿美元;腾讯混元与上海AI Lab分别开源770B、320B级模型。

今日概览

要闻

  1. Claude自写推理引擎:P90首token延迟从12秒降至0.48秒
  2. Anthropic上市:开盘111.5美元,市值1.5万亿美元

模型发布

  1. 腾讯混元Hy4正式版开源:770B总参、49B激活,首次加入视觉
  2. 上海AI Lab开源Sage S2.1 Flash:320B MoE,四项智能体基准SOTA
  3. ACE Music v1以1160 Elo登顶AA音乐榜,超Suno v6

技术与洞察

  1. GPT-6.2 Astra用94分钟、1794行Lean代码完成20年定理首个形式化证明
  2. OpenAI推出MedChemBench:99道药物化学题,GPT-6.2 Astra得分84.5%
  3. RoboScience发布WorldFlow:原生3D动力学预测世界模型
  4. OpenAI披露对抗蒸馏防御:攻击成功率从54.0%降至0.2%
  5. METR更新“时间地平线”图:能力仍指数增长,判断类任务落后编程
  6. 快手提出Decode-in-the-Loop:免训练让生成音乐踩准画面节奏
  7. NeurIPS 2026:仅前向传播即可让LLM在推理中自适应

产品应用

  1. OpenAI“性能工厂”:Codex三个月跟进1700多次故障,找出600多个根因
  2. 豆包工作上线三个月DAU 800万,企业ARR 20亿元
  3. AWS Amazon Textract Insights正式可用:自然语言定义字段,输出带置信度
  4. Google搜索首页加AI Mode侧边栏,全球上线临时线程
  5. SageMaker HyperPod增强可观测性:30秒采集GPU指标定位训练故障

开发生态

  1. Meta发布Triton TLX:为GPU内核提供底层执行控制
  2. 清华THUNLP发布AutoRLBench:34个诊断+17个修复任务,最高通过率37.3%
  3. alphaXiv上线Agent专属预印本服务器:936个Agent12周产出936项成果

要闻

Claude自写推理引擎:P90首token延迟从12秒降至0.48秒

卡内基梅隆大学、NVIDIA等机构11月12日提交的《Singularity-Bench: Can Agents Build Agents?》设置了一道题:给Claude Opus 5.5一份基础服务器代码、4张GB300显卡和12小时,在禁止联网查资料的开发环境里用Claude Code写一套推理引擎,负责接收用户请求、调度显卡运行模型并返回回复。引擎完成后,研究者用同一批16路并发真实编程会话回放测试,对比成熟引擎SGLang v0.5.20。结果Claude自研引擎的P90首token延迟为0.478秒,SGLang为12.029秒;两者生成速度接近,中位数分别为124.2和125.0 token/s,前缀缓存命中率均约96%。Claude引擎按“剩余计算量少者优先”调度请求,并把GPU操作打包合并,每GPU每秒多处理19%的未缓存token。同样回放时限内,SGLang完成705个请求,Claude引擎完成983个,多近四成;按预设单价折算,每GPU小时模拟收入从8.18美元升至11.52美元,增长40.8%。11套AI自研引擎中只有5套同时通过“完整生成规定长度”和“隐藏测试准确率”两道门槛。 来源:https://mp.weixin.qq.com/s?__biz=MzI3MTA0MTk1MA==&mid=2652744186&idx=2&sn=e971240579573375d9d13105f1750d6f

Anthropic上市:开盘111.5美元,市值1.5万亿美元

Anthropic 11月20日正式在纳斯达克挂牌,代码ANT,发行价83美元,开盘价111.5美元,较发行价上涨34.3%,市值升至1.5万亿美元。按公开监管文件和投资机构测算,员工人均身价可能超过4000万美元,折合人民币接近3亿元。CEO Dario Amodei在上市现场讲述创立公司的起因:父亲因疾病去世,而相关疗法在几年后出现;从DNA重复序列被发现到首款CRISPR疗法获批跨越数十年。他给出的判断是,足够强大的AI与人类协同,可把过去需要一个世纪的医疗科研成果压缩到十年内完成,并称客户已把Claude用于蛋白质折叠、药物设计、癌症基因研究和临床试验管理,研发耗时降至两年前的几分之一。安全方面,他称公司从成立起就投入高危能力防护、对齐训练和安全评估,若无法百分之百确信系统安全可控,会放慢模型训练和上线节奏。 来源:https://mp.weixin.qq.com/s?__biz=Mzg3MTkxMjYzOA==&mid=2247520379&idx=1&sn=7760ab197e712cba945a7f5a580204e5

模型发布

腾讯混元Hy4正式版开源:770B总参、49B激活,首次加入视觉

腾讯混元开源Hy4正式版,这是一个支持视觉理解与电脑操作的多模态大模型,同步提供Hy4对话/任务模型、Hy4-base预训练基座和Hy4-FP8量化版三个版本。模型总参数770B、激活49B,相比Hy4 preview扩大了预训练和后训练规模,并首次引入视觉能力。在游戏开发评测中,Hy4的GameDev和GameLogic分别比preview提升19.1%和9.8%,适配UE、Unity、Godot等引擎。金融场景联合腾讯FiT开展213位专家众测(153位来自外部机构,约七成有五年以上经验),在579个真实任务上Hy4综合得分3.04/4,高于DeepSeek-V4.1-Flash-1017的2.97、Kimi K3.1 Pro的2.68和GLM-5.3的2.68。其幻觉率从preview的15.76%降至5.45%,猜测导致的错误率从23.1%降至5.6%。在覆盖7大学科、123项任务的TenureTrail评测中,Hy4在参评开源模型中排名第一;团队还用Hyra 2.0脚手架自动完成Jev模型训练,所得Hyra-Jev在8项基准中6项优于官方Jev。 来源:https://mp.weixin.qq.com/s?__biz=Mzk3NTc1NTU0Mw==&mid=2247515963&idx=1&sn=d82e7d4f23e0719fbd137e2072eec688

上海AI Lab开源Sage S2.1 Flash:320B MoE,四项智能体基准SOTA

上海人工智能实验室联合复旦大学、中科院软件所、中国人民大学、中科院自动化所、华东师范大学、哈尔滨工业大学、北京大学等发布Sage S2.1 Flash技术报告,模型总参数320B,采用混合专家架构,通过动态专家路由控制推理计算量,并结合稀疏注意力与线性注意力处理长上下文。其Sage Sci-Perception模块用MoleculeSTM、ESM-2、DNABERT-2、RNA-FM、DiffSpectra分别编码分子、蛋白质、DNA、RNA和光谱数据,再经可训练投影器映射进语言模型统一表示空间。工具调用训练框架ToolSpace覆盖2042种工具、77760个调用模式节点和804个环境,生成的监督微调轨迹平均包含18.86次工具调用,最长209次,平均跨越2.29个环境。ML Coding流水线整合4936条Kaggle数据来源和2960篇研究论文,把预测建模、算法实现、论文复现等任务封装为可复现环境。模型在四项智能体基准上取得SOTA,演示任务包括从12487张CT图像中筛选目标切片并操作3D Slicer重建三维骨骼模型。 来源:https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2651075493&idx=3&sn=63643451e794a6d8ac3dbb423d7f460d

ACE Music v1以1160 Elo登顶AA音乐榜,超Suno v6

独立评测机构Artificial Analysis的音乐人声榜完成易主:ACE自研的ACE Music v1以1160 Elo升至第一,超过Suno一个多月前发布的Suno v6(1144分)16分,Suno v6-mini以1132分排第三,Mureka V9.5以1101分排第四。该榜采用人类盲测偏好评估,音频统一响度和格式,评测者每次至少听两首作品各10秒,公开用户投票不计入正式榜单。ACE从2025年3月启动音乐基座模型研发,到2026年11月登顶约用18个月。作为对照,截至2026年2月Suno用户超过1亿、付费用户突破200万、年收入约3亿美元、同比增长超400%,每天生成歌曲超过700万首。ACE Music还支持跨模态输入,上传一张《花样年华》剧照后可生成对应风格的港乐。 来源:https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2651075493&idx=1&sn=f8ab8aea34e7c653723fdeab5ae401bd

技术与洞察

GPT-6.2 Astra用94分钟、1794行Lean代码完成20年定理首个形式化证明

第三方评测机构Vals AI公布高难数学基准Autoform-Hard最新榜单,56道博士与科研级数学题此前由10个前沿模型测试,一道都没做出来。本轮Claude Fable 5.2和GPT-6.2 Sol各做对48道,GPT-6.2 Astra多做对第49道,拿下第一。第49题是2006年发表于《Inventiones Mathematicae》的Smoktunowicz间隙定理,研究分次整环的Gelfand-Kirillov维数不能落在2到3之间。Astra在零人工干预下用94分钟写下1794行Lean代码,完成该定理的全球首个形式化证明。原论文后半程依赖Bergman间隙定理、Small-Warfield定理和黎曼-罗赫定理,这三个定理都不在Lean公共数学库中;Astra在原路不通后自行定义了一个名为“capacity”的数学工具,绕开三个大定理走出新证明路线。Vals AI复核后称,这是对Smoktunowicz定理本身的形式化证明,而非对原作者证明过程的翻译。 来源:https://mp.weixin.qq.com/s/4HsTRWxXyfDbX3_qN_G4gQ

OpenAI推出MedChemBench:99道药物化学题,GPT-6.2 Astra得分84.5%

OpenAI发布MedChemBench,用来评估AI模型在药物化学研究中的推理能力,题目来自117篇论文和专利,包含761个不同分子结构,共99道问题。基准要求模型把分子结构与实验证据连起来解释结果、比较化合物并预测性质,而不是只做文本问答。在xhigh推理设置下,GPT-6.2 Astra获得84.5%的可用分数,GPT-6 Astra为83.3%,GPT-6.1 Sol为82.0%,GPT-5.6 Sol为58.2%。OpenAI指出,GPT-6 Astra最擅长重建分子结构和解释实验证据,但在选择下一批待测化合物和预测数值性质上更弱。药物化学的核心难点是性质取舍:一个化合物可能对靶点作用强,却吸收差或降解过快,模型需要理解这种权衡。 来源:https://openai.com/index/introducing-medchembench

RoboScience发布WorldFlow:原生3D动力学预测世界模型

RoboScience机器科学团队发布WorldFlow,称其为全球首个原生3D动力学预测世界模型。给定观测画面、一句语言指令和目标物体,模型能在同一生成过程中联合预测未来视频与目标物体的三维运动轨迹,而不必先生成视频再提取轨迹。模型采用三维点几何编码理解物体位置与几何关系,用时空位置编码把运动轨迹和视频像素对应起来,并在Mixture of Transformer架构中让视频与运动通过双向注意力交换信息、共同去噪。论文示例中,面对“拿起黑色拖鞋,放到鞋架第三层”的指令,WorldFlow既预演拖鞋被拿起、移动、放上鞋架的画面,也直接输出拖鞋上各点的三维移动路径与最终落点。相关论文为arXiv 2610.39278。 来源:https://mp.weixin.qq.com/s/nxr34ClHbxqVW3aULfyYVQ

OpenAI披露对抗蒸馏防御:攻击成功率从54.0%降至0.2%

OpenAI发文说明如何应对对抗性蒸馏:攻击者用前沿模型的输出训练另一个能力相近的模型,再在没有同等保护的情况下部署。OpenAI称其防御组合包括对抗测试、模型训练、分类器和API级保护,并重点防止攻击者提取模型的“受保护推理”——即模型得出答案前生成的思维链中间步骤。在内部自适应评估中,用强自动化红队测试攻击者能否恢复模型先前回答时生成的受保护推理,对GPT-6 Astra原防护的平均攻击成功率为54.0%,对更新防护后的GPT-6.2 Astra降至0.2%。OpenAI称这套更新的防护措施与其在高危能力领域使用的防护更接近,目的是让未经授权蒸馏出的模型无法轻易绕过原模型会拒绝的高危请求。 来源:https://openai.com/index/combatting-adversarial-distillation

METR更新“时间地平线”图:能力仍指数增长,判断类任务落后编程

AI评估非营利机构METR更新了其“时间地平线”图,增加了耗时更长和更开放的任务。原图显示,前沿模型能成功完成的任务长度每四个月翻一倍。新报告称,部分能力仍沿指数轨迹提升,但模型在需要判断力的任务上不如编程类任务表现好。原因在于编程和数学可以自动判定对错,适合用强化学习反复试错;而选择研究方向等任务成功标准模糊、反馈周期长,既难训练也难评估。METR本月早些时候另一份大量删节的报告曾称,AI可能让Anthropic内部的AI进展速度提高到2倍。 来源:https://www.technologyreview.com/2026/11/20/1149399/the-most-misunderstood-graph-in-ai-just-got-a-major-update/

快手提出Decode-in-the-Loop:免训练让生成音乐踩准画面节奏

快手技术团队的论文《Decode-in-the-Loop Guidance for Motion-Reactive Music Generation》被APSIPA ASC 2026接收,面向品牌广告配乐提出一种无需额外训练的音画对齐方法。主流音频扩散模型在压缩latent空间去噪,但本实验配置中latent时间压缩达8倍、时间分辨率约12.5fps,一次鼓点起音可能不超过一帧,直接在latent上加对齐损失难以踩准。方法在每个选中的DDIM去噪步骤把预测的clean latent依次送过mel-VAE解码器和HiFi-GAN声码器,得到可微的临时波形,再从波形计算谱通量起音包络和0–500Hz低频能量,用连续Pearson相关性与视频运动能量对齐,低频项权重α=0.3。梯度只回传到当前latent,VAE、声码器和扩散U-Net参数保持冻结。团队在200条短视频上比较latent、mel和waveform三种引导位置,只有波形域引导取得显著提升。 来源:https://mp.weixin.qq.com/s?__biz=Mzg2NzU4MDM0MQ==&mid=2247501702&idx=1&sn=fec668b604a06a155b30c95690664623

NeurIPS 2026:仅前向传播即可让LLM在推理中自适应

隆德大学与Google DeepMind的论文《Efficient LLM Adaptation with Forward-Only Passes》被NeurIPS 2026接收,目标是让LLM在推理服务过程中仅靠前向传播完成下游任务自适应,不进行反向传播。方法对权重矩阵做奇异值分解,利用各SVD分量引起的激活与隐藏状态之间的角度集中度,判断哪些rank对输出贡献大,再裁剪贡献低的rank。由于只需前向计算,它比基于梯度的LASER-Grad峰值内存更低、加速比更高;与穷举搜索的LASER相比,加速比更高且精度相当。评估覆盖GPT-J在知识推理、知识干预、多跳推理、事实验证、公平性与偏见、幻觉检测和信息检索等任务。 来源:https://mp.weixin.qq.com/s/WgJNWHiUImUiQmKu-mYevQ

产品应用

OpenAI“性能工厂”:Codex三个月跟进1700多次故障,找出600多个根因

OpenAI公开内部系统“性能工厂”:ChatGPT变慢或报错时,监控告警自动建单,由Codex锁定哪些指标变化、从何时开始,再翻代码、查日志、顺请求链路核对CPU和内存,随后写出修复方案交工程师审核,上线后由AI验证是否恢复。三个多月里该系统跟进1700多次故障调查,平均每天17次,其中600多起被定位到真正根因。OpenAI称2026年2月每周ChatGPT用户已超过9亿,而2025年10月披露使用Codex的工程师每周合并的PR增加了70%,改动速度本身成为卡顿来源之一。团队早期曾出现10次诊断错3次的情况,原因是智能体抓到第一个看似合理的解释就收工。 来源:https://mp.weixin.qq.com/s/6ITn2rrJwwcKpyeXexruIQ

豆包工作上线三个月DAU 800万,企业ARR 20亿元

豆包工作公布上线三个月数据:DAU突破800万,企业客户ARR突破20亿元。平台陆续接入DeepSeek V4.1 Flash、Kimi K3.1 Pro、GLM 5.3等第三方模型,其中DeepSeek V4.1 Flash和豆包2.1 Lite的限时优惠额度消耗倍率降至0.01x,部分简单对话和低消耗任务不再扣额度。实测中,豆包工作调用DeepSeek V4.1 Flash调研2026年1月至11月美国AI公司的66笔融资(7月后45笔),整理成15页咨询风格PPT,随后改成英文版并调用图片生成API配图,两轮积分消耗均为0。另一个3D露营地任务切换到Kimi K3.1 Pro,读取Sand3D开源模型索引、转换3D文件、处理贴图并编写网页代码,搜索下载素材约消耗100积分。 来源:https://mp.weixin.qq.com/s?__biz=MzAxMDMxOTI2NA==&mid=2649113313&idx=1&sn=0db77de07f9d8d8b33102506b025958a

AWS Amazon Textract Insights正式可用:自然语言定义字段,输出带置信度

AWS宣布Amazon Textract Insights正式可用,这是Amazon Textract的新生成式AI功能,通过新API提供。用户在blueprint(JSON Schema)中用自然语言描述要提取的字段,提交单份文档或混合多文档包,即可得到结构化结果,每个值带置信度和页码级grounding,无需训练模型。AWS称高价值文档负载常是混合包,例如一份抵押贷款文件同时包含W-2、工资单、银行流水和手写笔记,每页版式不同且顺序不固定。自建流水线要整合OCR、拆分、分类、基础模型提示和复核,通用大模型则难以稳定引用来源页和给出校准置信度。Textract Insights把这些步骤收敛为一次异步请求。 来源:https://aws.amazon.com/blogs/machine-learning/announcing-amazon-textract-insights-verifiable-generative-ai-for-documents/

Google搜索首页加AI Mode侧边栏,全球上线临时线程

Google在全球桌面搜索首页推出可折叠侧边栏,位于AI Mode界面左侧,可新建对话线程、搜索已有线程、创建notebook,并打开最近查询和设置。Google搜索副总裁Robby Stein在X上宣布该功能,称用户越来越多地提出单次查询无法回答的问题,测试中侧边栏帮助用户从上次中断处继续研究。Google同时在全球上线AI Mode的临时线程:这类搜索不使用先前上下文、不保存到历史、不影响未来推荐,关闭后即消失。两项更新把搜索首页进一步推向AI答案引擎形态。 来源:https://the-decoder.com/googles-latest-homepage-update-pushes-its-search-engine-further-toward-an-ai-answer-engine/

SageMaker HyperPod增强可观测性:30秒采集GPU指标定位训练故障

AWS为Amazon SageMaker HyperPod增加增强可观测性,用于诊断GPU训练问题,同时支持Amazon EKS和Slurm两种编排器。Diagnostic summary调用CloudWatch的DetectGroupOutliers API,按利用率、内存、温度、功耗和SM时钟逐块比较GPU,标记偏离同组水平的卡;静态诊断规则识别XID错误、ECC内存错误、EFA吞吐下降、热节流和过热等常见故障。默认指标自动开启,每30秒采集一次,覆盖集群健康、CPU/磁盘/OS使用率、GPU利用率和温度及单任务资源使用,CPU开销约1–2%、内存250–300MB。高级指标需手动开启,提供更完整的主机级观测数据。AWS称单块不健康加速器就能拖住整个分布式训练任务。 来源:https://aws.amazon.com/blogs/machine-learning/introducing-enhanced-observability-in-amazon-sagemaker-hyperpod-to-diagnose-gpu-training-issues/

开发生态

Meta发布Triton TLX:为GPU内核提供底层执行控制

Meta发布Triton Low-Level Extensions(TLX),用于填补Triton高层GPU编程抽象与底层执行控制之间的空隙。现代GPU的warp specialization、异步内存搬运、tensor memory和集群级执行等特性偏离Triton原有编程模型,例如一个FlashAttention内核可能让一个warp group发TMA传输、另一个跑tensor core计算,Blackwell GEMM内核则要同时协调多个warp group、TMEM分配和集群资源。TLX引入Multiple Instructions, Multiple Warps执行模型,桥接CUDA的线程级控制与Triton的块级抽象,并在warp-group编排、同步、内存编排、集群执行和可选layout五个方面扩展Triton。开发者仍可使用Python、自动调优和分块张量编程。 来源:https://www.infoq.com/news/2026/11/meta-triton-tlx-gpu-compiler/?utm_campaign=infoq_content&utm_source=infoq&utm_medium=feed&utm_term=global

清华THUNLP发布AutoRLBench:34个诊断+17个修复任务,最高通过率37.3%

清华大学THUNLP发布AutoRLBench,把真实RL训练事故整理成智能体基准,考察Agent能否发现训练失败、定位根因并完成修复。当前版本包含34个诊断任务和17个修复任务,覆盖configuration、reward、data、environment、algorithm、infrastructure六类故障;修复任务要求修改workspace后在干净环境重跑训练,按最终指标判定是否有效。初步评测覆盖10个前沿模型、340条诊断轨迹和170条修复轨迹,最高整体通过率37.3%。其中83.6%的轨迹能正确判断训练状态不健康,但只有27.5%找到正确根因;部分补丁早期改善明显,完整训练结束后指标再次下降。 来源:https://mp.weixin.qq.com/s?__biz=MzU3NjE4NjQ4MA==&mid=2247557792&idx=1&sn=0bbfe05f18ffd1a7d19e795d8b1f907b

alphaXiv上线Agent专属预印本服务器:936个Agent12周产出936项成果

alphaXiv推出面向AI Agent的预印本服务器,允许不同实验室的Agent在同一平台自主开展研究、发布成果并互相评审。2026年8月19日至11月12日的12周实验中,来自22家机构、35个人类运营实验室的936个AI Agent累计产出936项研究成果,交换约9500条消息,建立229个讨论群组。这些Agent使用的模型、算力和研究方向各不相同,有的跑在只有CPU的笔记本上,有的调用NVIDIA B200集群;人类研究者只负责提供算力、设置预算和确定大致主题。平台要求每项研究提交可运行代码、原始数据和能把论文数字追溯到实验输出的记录。审稿测试中,仅阅读论文文本的评审者能从16篇有缺陷初稿中找出11篇问题,但面对已修正版本仍在16篇中指出10篇有问题;让Agent直接检查代码和原始数据,区分真实缺陷与已披露局限的效果更好。 来源:https://mp.weixin.qq.com/s/TZdcXjnuTyieM_S_XfFGPg

评论

暂无评论。

登录后可发表评论。