你的修图 App 里藏着一个黑盒——vivo 用 0.5B 参数把它拆成了手术刀

你的修图 App 里藏着一个黑盒——vivo 用 0.5B 参数把它拆成了手术刀

打开手机修图 App,点"自动优化",3 秒出图。你满意吗?大概 70% 的时候还行。

剩下 30% 呢?肤色偏黄、暗部发灰、高光溢出——你不知道它调了什么,也不知道怎么改。一键滤镜更像一锤子买卖:要么全盘接受,要么推倒重来。

问题出在哪?修图工具是个黑盒。它不告诉你"这张图曝光欠 0.3 档、色温偏暖 200K",它直接把像素改了。你看到的只是结果,看不到过程。

VeraRetouch 就是来拆这个黑盒的。0.5B 参数的视觉语言模型做"修图大脑",全可微分的 RetouchRenderer 做"修图手术刀"——每一步调整都有名字、有方向、有数值。论文被 SIGGRAPH 2026 接收,iOS 和 macOS 部署已发布。

架构:大脑 + 手术刀,不是大脑 + 黑盒

现有推理式修图方法的路线是:多模态大模型分析照片→生成修图指令→调用 Lightroom/Photoshop 执行。听起来合理,但有个致命问题——外部软件不可微分

不可微分意味着什么?模型说"色温调暖 200K",Lightroom 执行了,但结果好不好看,梯度传不回来。模型无法从像素结果中学习"这样调真的好看吗",只能靠人工标注的指令-参数对来训练。训练和推理之间存在断裂。

VeraRetouch 的核心创新:把修图执行器做进可微分框架里

输入图像 + 指令(可选)
        │
        ▼
0.5B VLM(修图大脑)
  分析图像缺陷 → 生成修图推理链 → 输出控制 latent
        │
        ▼
RetouchRenderer(修图手术刀)
  Lighting latent  → 曝光/阴影/高光
  Global Color latent → 色温/色调/整体色彩
  Specific Color latent → 红/橙/蓝等特定通道
        │
        ▼
修图结果(像素级,可回传梯度)

三个控制维度对应专业修图师的工作逻辑:先调光(Lighting),再定调(Global Color),最后精修(Specific Color)。每一步都有明确的物理含义,不是黑盒里的魔法。

三维向量。

三种模式:从"帮我修"到"按我说的修"

模式 输入 输出 场景
Auto-Retouch 仅图像 自动修图方案 一键优化
Style-Retouch 图像 + 自然语言 风格化修图 "温暖秋日感""冷调日系"
Param-Retouch 图像 + 参数指令 精确参数调整 "曝光+0.3, 色温-200K"

Auto 模式解决"我不知道该调什么";Style 模式解决"我知道想要什么感觉但不会调";Param 模式解决"我知道精确参数但不想手动操作"。

三种模式共享同一个 VLM 和 Renderer——不是三个模型拼在一起,而是一个框架三种输入。这意味着模型参数量不会随任务数线性增长。

百万级数据集:逆退化,不是正退化

训练修图模型最大的瓶颈是数据。你需要"修图前-修图后"配对数据,但专业修图师不会把修图过程录下来给你。

VeraRetouch 的解法:逆退化。不是从好图修出坏图(正退化),而是从好图反推"这张好图修了什么"。

具体流程:收集百万级专业修图作品→用逆退化工作流推断原始图像和修图参数→构建 AetherRetouch-1M+ 数据集。Style-Retouch 用了 5,000+ 风格预设,Param-Retouch 直接映射参数到像素。

这个数据集目前未公开发布(Issue #1 仍在 Open 状态)。

竞品横评:两条路线的分歧

项目 会议 路线 模型规模 可微分 移动端
VeraRetouch SIGGRAPH 2026 VLM + 可微分Renderer 0.5B ✅ 全链路 ✅ iOS/macOS
PerTouch AAAI 2026 VLM + 扩散模型 SD 级别 ❌ 扩散采样
PhotoArtAgent 2025 MLLM + Lightroom 7B+ ❌ 外部工具
JarvisArt 2025 MLLM + Photoshop 7B+ ❌ 外部工具

路线分歧的核心:修图到底需不需要生成?

PerTouch 用扩散模型做修图——本质上是在"重新画"一张风格化的图。优势是风格表现力强,劣势是可能改变原图内容(扩散模型的通病:创意有余,忠实不足)。

VeraRetouch 走的是"调整"路线——不生成新像素,只调整现有像素的色调和色彩。优势是严格保持原图结构和细节,劣势是风格表现力受限于调色空间。

对于手机摄影修图这个场景,"调整"路线更合理——用户要的是"我的照片变好看",不是"AI 帮我画了一张新图"。

部署:3D LUT 加速,Live Photo 支持

2026 年 6 月 16 日,VeraRetouch 发布了 macOS 和 iOS 部署版本,同时支持 Live Photo 修图——选择参考帧,修图效果自动应用到整个时序序列。

关键加速技术:3D LUT(Look-Up Table)。将 RetouchRenderer 的调色映射预计算为 3D 查找表,推理时直接查表替代前向计算,高分辨率图像推理速度显著提升,质量损失极小。

这是从"论文"到"产品"的关键一步。0.5B 参数 + 3D LUT 加速,让端侧部署成为可能。

代价清醒

源文章是项目方技术博客。vivo BlueImage Lab 是 VeraRetouch 的核心开发团队,浙大和中科院是合作方。源文章的实验数据来自项目方自测,不是第三方独立评测。

训练代码未开源。Issue #3 仍在问"when will release the training code",目前只有推理代码和预训练权重。无法复现训练过程,也无法在自己的数据上微调。

数据集未发布。AetherRetouch-1M+ 是论文的核心贡献之一,但 Issue #1 显示 HuggingFace 发布仍在待办。百万级专业修图数据集的构建方法(逆退化工作流)值得独立验证,但目前无法做到。

调色仍有偏差。Issue #4 标题就是"The color grading result isn't perfect, mainly in terms of brightness"——亮度调整不够精确。这是可微分 Renderer 的固有限制:调色空间的三维分解(Lighting/Global Color/Specific Color)无法覆盖所有修图操作,局部调整(如 dodge & burn)不在当前框架内。

0.5B VLM 的推理能力有限。源文章提到使用了 DAPO-AE(强化学习后训练策略)来增强自主审美认知,但 0.5B 参数的 VLM 在复杂场景下的推理质量仍有天花板——它可能无法像 7B 模型那样理解"这张图的构图问题导致视觉重心偏移"。

巴士因子 = 1。Apollo-Yi 贡献 39 次,是唯一的核心开发者。

判断

VeraRetouch 的核心贡献不是"又一个修图模型",而是证明了修图可以全链路可微分。0.5B VLM + 可微分 Renderer 的架构,让"推理→调整→评估"形成闭环,不再依赖外部黑盒。

对于手机厂商和修图 App 开发者,这条路线值得跟进:参数量小、可部署、可解释。但前提是训练代码和数据集必须开源——否则只是 vivo 的内部工具,不是社区的可复现研究。

对于普通用户,VeraRetouch 意味着未来的修图 App 可能不再是一键滤镜的黑盒,而是能告诉你"这张图我调了什么、为什么这样调"的透明工具。

手术刀比黑盒好,但前提是你能拿到手术刀。

GitHub 地址:https://github.com/OpenVeraTeam/VeraRetouch 论文:https://arxiv.org/abs/2604.27375

评论

暂无评论。

登录后可发表评论。