跳转至

视觉 AI 的下一前沿是代码：a16z 关于视觉生成范式转移的论述

📊 Level ⭐⭐⭐⭐ | 14.3KB

→ 原文存档

摘要

a16z 的署名文章（2026 年 6 月 2 日）提出一个核心论点：视觉 AI 正在从"像素生成"转向"代码生成"。过去几年视觉 AI 主要由像素评判——扩散模型生成更美的图像、视频、3D 场景即代表更好的模型。但对许多视觉相关任务（图形设计、UI 设计、3D 建模），用户真正需要的是可迭代、可编辑、可交接的产物——图层、组件、关键帧、几何结构。当前最有意思的视觉 AI 工具已经停止直接生成最终输出，转而生成背后的源代码。这一转变释放了像素原生模型无法企及的可编辑性、迭代性与反馈循环。

核心要点

  1. 两大视觉生成栈：① 像素原生（pixel-native）——直接生成图像/视频，擅长纹理、光照、氛围、真实感；② 代码原生（code-native）——生成可被其他引擎执行或渲染的表征（SVG、HTML/CSS、Lottie JSON、Blender 脚本、USD scene graph、shader、游戏引擎场景等）。
  2. 关键差异在于"生成之后"：生产工作流关心生成后的可编辑性、可复用性、可版本化、可集成性、可验证性。代码原生生成将视觉产物变成可被设计师、工程师和 Agent 共同操作的工件。
  3. 代码 → 渲染 → 检查 → 修订：代码原生生成形成精确的循环，模型生成工件、渲染、看到错误、打补丁源——而非简单地"重新采样"。这与 Agent 循环设计 的核心模式一致。
  4. 测试时计算（test-time compute）的天然契合：代码原生生成处于"受益于生成更多 token 与测试时计算"的直线上，模型在闭环可验证环境中调试视觉程序，而非仅仅采样更多图像。
  5. 市场结构围绕运行时分化：每个运行时（浏览器、SVG 渲染器、Lottie player、Blender、游戏引擎、模拟器）构成不同的市场楔子，因为每个都有自己的源表征、反馈循环与生产工作流。
  6. 3D 是下一前沿：3D 资产不能仅"看起来对"——它需要一致的底层 3D 表征（几何、材质、部件层级、场景上下文），VIGA 与 Articraft3D 是这一方向的代表项目。
  7. 三大未解问题：① 每个领域哪种表征会胜出？② 是否需要重新构建引擎与渲染器？③ 多少视觉品味可以通过约束、测试与反馈循环捕获？

深度分析

范式转移：从像素到代码

过去几年视觉 AI 的主流范式是像素原生生成——模型在潜空间中直接生成图像或视频，最终通过解码器输出像素。评判标准是"最终像素好不好"。这种范式在氛围、纹理、真实感、电影级镜头生成上具有统治地位。

但对生产工作流而言，这远远不够：

  • 设计师需要图层、组件、可交接的源文件，而不是一张漂亮的截图。
  • 动画师需要时间曲线、关键帧、可编辑的运动参数，而不是一段视频。
  • 3D 艺术家需要几何、材质、光照、相机、场景结构，而不是一张渲染图。

这正是代码原生生成的用武之地——模型生成的不是像素，而是产生像素的程序。程序可能是 SVG 文件、HTML/CSS 布局、React 组件、Lottie JSON 文件、Blender 脚本、USD scene graph、shader、游戏引擎场景。

代码作为视觉问题的优秀基底

文章用一个简单例子说明代码作为视觉基底的优势：

Logo 设计场景：如果模型输出的是栅格图像，曲线错了，用户必须 mask、inpaint、重新生成或手动重画。如果输出是 SVG，用户可以直接编辑路径、原语、渐变、描边或文本元素。这已经是设计师在 Quiver 等工具 上设计 Logo 的方式。

UI 设计场景：如果输出是截图，它只是"灵感"；如果输出是 HTML/CSS 或 React，设计师可以检视 DOM、替换真实组件、测试响应式状态、检查可访问性、嵌入到应用中。

视觉生成栈的三层结构

文章提出视觉生成的栈式结构：

层级 角色
编码模型（Coding model） 工件的作者与编辑器，写 HTML、SVG、Lottie JSON、Blender 脚本、USD scene、3D 资产程序
符号表征（Symbolic representation） 真理之源（source of truth）——UI 的 DOM 节点、布局规则、组件；Lottie 动画的图层、矢量形状、时间曲线、关键帧、运动参数；3D 资产的几何、材质、关节、约束、层级
渲染器或引擎（Renderer or engine） 把结构转化为像素——浏览器渲染 HTML/CSS、SVG 渲染器渲染矢量、Lottie player 渲染运动、Blender 或游戏引擎渲染 3D 场景、模拟器验证关节资产是否可运动或交互

这一栈与测试时计算循环精确对应：在 Code → Render → Inspect → Revise 的每次循环中，模型不仅生成新样本，而是用渲染器作为反馈改进底层工件——可以修改 CSS 规则、调整 SVG 路径、修复动画时间、更新 3D 约束，然后重新渲染并继续改进。

OmniLottie 与代码原生的可编辑性

OmniLottie 是这一思路的典型案例。Lottie 是轻量级、基于 JSON 的动画格式，将运动表示为可编辑的矢量形状、图层、关键帧和时间参数，而非扁平的视频。OmniLottie 提出将原始 Lottie JSON 转换为对模型更友好的命令序列，使模型能更可靠地生成和编辑 Lottie 动画。

关键洞见是：Lottie 本身已是可编辑的动画格式。一旦运动被表示为形状、图层、时间和动画参数，反馈可以映射到源代码级编辑——物体移动太慢就调整时间、路径错了就编辑矢量、变形不对就更新形状序列。这是"模型更易生成"与"工件天然可编辑"的双向契合。

像素原生 vs 代码原生：反馈的精度差异

像素原生生成中，更多推理通常意味着采样更多输出——生成二十张图、选最好的一张、也许再试一次。这有用，但每次尝试基本是新的随机掷骰。模型能响应反馈，但反馈通常是全局且不精确的——奖励信号只能告诉模型"输出 A 比输出 B 好"，无法干净地把反馈映射到特定的源代码级编辑。

代码原生生成中，每次重试都能改进源工件本身。模型在闭环可验证环境中调试视觉程序，而非仅仅采样更多图像或视频。这是测试时计算能"收敛"的关键——不是"再多生成几次"，而是"源代码级别的精确定向改进"。

围绕运行时的市场地图

代码原生视觉生成的市场正围绕工件被渲染或执行的运行时分化。每个运行时构成不同的市场楔子：

  • 浏览器：HTML/CSS/React UI 生成
  • SVG 渲染器：矢量图形设计
  • Lottie player：网页动画
  • Blender：3D 资产与场景
  • 游戏引擎：交互式 3D 内容
  • 模拟器：物理验证与仿真

每个运行时都有自己的源表征、反馈循环和生产工作流。当前最明显的应用在 2D 设计（特别是 UI 与图形设计），但代码原生视觉生成远超设计工具——任何视觉工件有底层表征可被生成、渲染、检查、精炼的地方都适用。

3D：最受益的下个前沿

为什么 3D 是下一关键前沿？

  • 2D 设计有时"看起来对"就够了
  • 3D 资产必须有一致性——一张椅子的渲染图不是椅子，是椅子的图片。要在游戏、模拟或 3D 编辑工具中有用，工件需要具备一致的底层 3D 表征（正确的几何、材质、部件层级、场景上下文）

VIGA 与 Articraft3D 是这一方向的代表项目：

  • VIGA：使用 Blender 作为渲染与反馈环境，将视觉重建转化为 code-render-inspect 循环；不仅暴露原始 Blender 在循环中，而是为 Agent 提供语义观察与修改工具，加上对先前尝试的记忆，使其能从更好的视角检查、诊断错误、做出针对性编辑。
  • Articraft3D：更直接针对资产结构，将关节 3D 生成框架化为编写定义部件、几何、关节与测试的程序。

未来影响与未解问题

如果视觉代码生成可行，胜出的产品不仅生成更漂亮的输出，而是拥有完整循环——生成工件、渲染、检查错误、修订源代码。

三大影响：

  1. 渲染器成为反馈环境：浏览器、SVG 渲染器、Lottie player、Blender、游戏引擎和模拟器将变成 Agent 测试和改进其工作的环境，就像今天编码 Agent 利用 sandbox 和 VM。
  2. 迭代上下文质量比以往更重要：要把 Agent 带入视觉代码的"Ralph loop"等价物，中间表征必须足够精确以指导下一步。结构、渲染或反馈中的小错误会在迭代中快速复合。
  3. 未来很可能是混合：像素原生模型仍将最适合真实感、纹理与探索；代码原生系统更适合结构、迭代与生产。最有用的工作流将结合两者。

实践启示

  1. 重新定义"视觉 AI 产品"的形态：视觉 AI 创业公司不应只做"更美的输出"，而应拥有完整循环：生成工件、渲染、检查、修订源代码。拥有运行时 + 闭环反馈的产品将构筑更高壁垒。
  2. 测试时计算在视觉场景的应用逻辑：不要被"采样更多图像"的诱惑带偏——更高效的方式是"源代码级定向改进"。在 Agent 循环设计 中，应将代码 → 渲染 → 检查 → 修订作为视觉场景的标准模式。
  3. 围绕运行时选市场楔子：与其做一个"通用视觉 AI 工具"，不如聚焦一个运行时（浏览器 SVG、Lottie player、Blender 等），把该运行时的源表征、反馈循环、生产工作流吃透。这是 a16z 给出的市场地图核心建议。
  4. 3D 是更大的蓝海：相比 2D 设计已相对拥挤，3D 资产的一致性问题仍未被根本解决。VIGA、Articraft3D 的路径（Blender 作为闭环环境 + 语义工具 + 部件/关节/约束的程序化定义）值得创业团队深入研究。
  5. OmniLottie 模式可迁移到其他格式：把不友好的格式（原始 JSON、视频、栅格图）转换为模型更易生成与编辑的中间表征，是一种通用工程范式。SVG、USD scene graph、shader 等都存在类似改造机会。
  6. 视觉 AI 的下一竞争点不是模型规模，而是反馈循环质量：拥有精确、可验证反馈的循环比单纯堆参数更能提升输出质量。这与 Agentic 工程范式 中"反馈驱动改进"的核心一致。

关联实体

相关实体