Ch17 多模态与生成¶

Agent 的眼睛和耳朵：视觉、语音、视频理解与生成

本章收录 20 篇实体，按深度递增排列。

本章导航¶

导读¶

纯文本 Agent 只是起点——多模态让 Agent 能真正"感知世界"。

本章覆盖多模态 AI 的核心领域：视觉理解（DeepSeek 的指代精度论文）、音频生成（Xiaomi Dasheng 通用声音基座模型）、视频质量评估（Netflix VMAF）、3D 生成（Gaussian Splatting）、以及文档解析（logics-parsing-v2）。

多模态不只是"给模型加个图片输入"——不同模态的对齐、融合、生成，每一个都是独立的研究领域。

这是通往具身智能的必经之路。

本章内容¶

⭐ 入门（1 篇）¶

• 001. Mistral Shieldstral — Policy-Adaptive Multimodal Safety Classifier

⭐⭐ 工程师（1 篇）¶

• 002. SunFinance: Textract+Claude准确率90.8%的ID提取方案

⭐⭐⭐ 专家（15 篇）¶

• 003. Pixelle-Video — 阿里国际 AIDC 开源的全自动视频生成 pipeline 装配工
• 004. How transparent is DiffusionGemma (and why it matters)
• 005. TimeLens2: Generalist Video Temporal Grounding with Multimodal LLMs
• 006. CVPR 2026 Highlight | 清华打破多模态音频生成的「通才困境」：Omni2Sound 音频基础模型开源！
• 007. 高德 ABot-Earth 0.5：全球首个 3D 原生城市世界模型（1% 成本 + 千倍提效）
• 008. Gemma 4 12B：Google 多模态本地模型 —— 扔掉编码器
• 009. ICRDrag：ECCV 2026 首个上下文区域拖拽图像编辑模型
• 010. Perceptron Mk1 shocks with highly performant video analysis AI model 80-90% cheaper than Anthropic, OpenAI & Google
• 011. 商汤SenseNova U1深度拆解，原生统一架构终结缝合时代
• 012. Netflix 可控 AI 视频编辑：Vera 与 VOID 模型
• 013. MolmoMotion：语言引导的 3D 运动预测模型
• 014. FLAT: Feedforward Latent Triangle Splatting
• 015. Multimodal AI for Searchable Aerial Imagery at Scale
• 016. Moebius: 0.2B Lightweight Image Inpainting with 10B-Level Performance
• 017. PersonaVLM — 长期个性化多模态大模型

⭐⭐⭐⭐ 科学家（3 篇）¶

• 018. Xiaomi Dasheng — 通用声音基座模型 5 阶段工程实践
• 019. Normalizing Trajectory Models
• 020. 豆包 Seed 2.0 Lite — Agent 前置多模态感官层

本章收束¶

纯文本 Agent 只是起点。这一章的视觉、语音、视频技术合起来指向一个判断：模态不是功能的增加，而是感知的增加——Agent 能"看"到多少世界，才能"懂"到多少世界。不同模态的对齐与融合仍是开放难题，这也是它值得工程师现在入场的原因。