Manufacturing Intelligence with Amazon Nova Multimodal Embeddings¶

📊 Level ⭐⭐⭐ | 17.0KB

为什么制造业需要多模态检索¶

制造业文档的一个典型特征是文本与图像的深度融合。单个工单可能同时包含书面装配步骤和已完成步骤的标注照片；检测报告将合格/不合格测量值与焊缝 X 光图像配对；材料认证证书同时包含表格化的力学性能和 S-N 疲劳曲线。

以本文评估数据集中的具体示例来说明：扭矩规范表被绘制在工程图内部而非作为独立文本存储；彩色编码的热等值线图用于可视化火箭发动机喷嘴的峰值温度；制造工艺流程图通过决策菱形和颜色编码的关卡来直观标注质量暂停点，相关周期时间则以图表注释的形式呈现。

文本检索系统处理这类文档时，通常先通过 OCR 提取文本，再对提取的字符串进行嵌入和索引。这种方法在答案位于文档书面部分时有效，但会丢失图表中的空间关系、检测图像中的视觉模式，以及图表和曲线中编码的定量信息。当搜索涡轮泵中使用的轴承类型时，答案可能以横截面图上的标注形式出现，而 OCR 可能误读或剥离了其空间上下文。

多模态嵌入采用不同方法：模型直接处理图像并生成与文本嵌入位于同一空间中的向量，无需先将图像转换为文本。关于涡轮泵轴承的文本查询可以直接基于视觉理解与数据集中的横截面图进行匹配。

Amazon Nova Multimodal Embeddings 概述¶

Amazon Nova Multimodal Embeddings 在 Amazon Bedrock 上可用，能为文本、图像和多页文档生成嵌入。文本、图像和文档模态投影到单一共享向量空间，支持直接计算文本嵌入与图像嵌入之间的余弦相似度。

该模型支持 256、384、1024 和 3072 四种嵌入维度配置。更高维度捕获更多语义细节，但需要更多存储和计算资源进行相似度搜索。本文评估使用 1024 维度作为检索质量与成本的实际平衡点。模型还支持 DOCUMENT_IMAGE detail level，这是一种专为混合内容页面（如图表、表格和带注释的示意图）设计的处理模式。

对于检索工作负载，模型接受 purpose 参数，可设置为 GENERIC_INDEX（用于被索引的文档）或 GENERIC_RETRIEVAL（用于查询）。这种非对称嵌入方法改善了检索的向量空间，无需手动格式化查询。

解决方案架构¶

该方案构建了两个并行检索管道进行比较：

数据集：15 张独立技术图像（CAD 图形、检测报告、测试图表、材料规格、工艺流程图）和 5 份多页 PDF（装配程序、热试车报告、工程变更通知、材料认证、不合格报告），包含合成航空航天制造数据。

管道 A（多模态）：使用 Amazon Nova Multimodal Embeddings 直接嵌入每张图像，每份 PDF 页面作为文档图像嵌入，然后摄入 Amazon S3 Vectors 索引。

管道 B（纯文本基线）：将每张图像和 PDF 页面发送给 Amazon Nova 2 Lite 进行 OCR 文本提取，使用 Amazon Nova Multimodal Embeddings（纯文本输入）嵌入提取的文本，然后摄入独立的 Amazon S3 Vectors 索引。

评估方法¶

评估分为两个阶段：检索质量（系统是否找到正确文档？）和生成质量（语言模型能否根据检索到的上下文生成正确答案？）。评估数据集包含 26 个从航空航天制造文档衍生的查询，每个查询都有真实相关的文档 ID 和参考答案。

检索评估指标¶

检索评估计算三个指标：

Recall@K：相关文档出现在前 K 个结果中的比例
MRR（Mean Reciprocal Rank）：首个相关结果排名的倒数均值
NDCG@K（Normalized Discounted Cumulative Gain）：当相关文档排名更高时给予更多权重

LLM 评判的生成评估¶

对于生成评估，两个管道都检索每个查询的前五个结果。多模态管道将检索到的图像直接作为多模态上下文传递给 Amazon Nova 2 Lite；纯文本管道将 OCR 提取的文本作为字符串上下文传递。使用 Anthropic Claude Sonnet 4.5 作为 LLM 评判，对每个生成的答案根据真实答案打分 1-5 分。

评估结果¶

多模态检索指标¶

多模态管道在 K=5 时达到 90% 的召回率，在 K=10 时升至 96%。MRR 为 0.92，表明首个相关结果通常出现在第 1 位。有两个查询在 K=10 时召回率低于 1.0，因为相关信息分散在 PDF 和独立图像中，其中一个相关来源未出现在前 10 名。

生成质量：纯文本 vs 多模态¶

管道	评判平均分	归一化分数
多模态 (MME)	4.88/5	0.977
纯文本 (OCR)	2.00/5	0.400

多模态管道在 88% 的查询（26 个中的 23 个）上表现更好，平均 4.88/5 分。纯文本管道平均 2.00 分，其中 26 个查询中有 17 个得分 1 分（完全错误）。视觉内容（如热分析等值线图、疲劳曲线、工艺流程图和 CAD 标注标签）改进最为显著。

实现复杂度和成本¶

多模态管道的实现更简单且运行成本更低。纯文本管道每个文档需要两次模型调用（一次 OCR 文本提取，一次文本嵌入），且需要针对多样化文档布局进行提示工程。多模态管道每个文档仅需一次嵌入调用，无需中间提取步骤，将每个文档摄入成本降低约一半。

技术要点¶

嵌入维度选择：1024 维在本文场景下实现检索质量与成本的最佳平衡，支持从 256 到 3072 的灵活配置。

Detail Level 配置：对于包含混合内容的 PDF 页面，DOCUMENT_IMAGE 模式优于 STANDARD_IMAGE，因为模型对表格和图表内容应用额外处理。

Asymmetric Embedding：GENERIC_INDEX 和 GENERIC_RETRIEVAL 的分离设计使查询-文档匹配更加精准，无需手动格式化查询文本。

Amazon S3 Vectors：作为托管式向量存储和查询层，无需集群管理或容量规划，按请求计费无持久基础设施。

与 Amazon Nova Lite 微调的关系¶

Amazon Nova Multimodal Embeddings 与同属 Amazon Nova 家族的多模态能力，但定位不同：MME 专注于跨模态语义检索，将不同模态映射到统一向量空间；Lite 微调则针对特定视觉检测任务的端到端优化。两者都利用 Amazon Bedrock 的托管推理能力，但在下游任务上形成互补——检索 vs 判别。

深度分析¶

1. 端到端多模态处理避免了 OCR 管道的信息丢失，这是生成质量差距的根源

纯文本管道（2.00/5）vs 多模态管道（4.88/5）的巨大差距，其本质是信息转换链中的丢失。纯文本管道经过 OCR 提取（可能误读工程图中的符号和标注）→ 文本嵌入（丢失空间关系）→ 生成器收到纯文本（没有视觉上下文）→ 生成错误答案。多模态管道直接处理图像（保留完整视觉信息）→ 图像嵌入（保留空间关系）→ 生成器收到原始图像（直接视觉理解）→ 生成正确答案。这印证了一个关键原则：多模态系统的端到端设计优于串联设计，任何中间转换步骤都会造成信息丢失，且丢失的信息在后续阶段无法恢复。

2. 纯文本检索在视觉密集型文档上的失败不是偶然而是系统性局限

26 个查询中 17 个纯文本管道得 1 分（完全错误），这不是个别案例而是系统性问题。OCR 在扭矩规范表绘制在工程图内部、热等值线图可视化峰值温度、决策菱形标注质量暂停点等场景中失效是必然的——这些信息的编码方式（空间位置、颜色编码、图形标注）本质上不是文本形式，而是视觉形式。传统文本检索的前提假设"信息存在于文本中"在这些场景中根本不成立。对于任何视觉密集型文档（工程图纸、检测图像、工艺流程图、曲线图表），纯文本检索从原理上就注定失败，多模态嵌入是唯一的解决路径。

3. 多模态检索的"实现简单+成本降低"具有正向飞轮效应

多模态管道每个文档仅需一次嵌入调用（vs 纯文本管道两次），无需提示工程处理多样化文档布局，且摄入成本降低约一半。这意味着不仅准确性更高，实施成本也更低。这种"更简单+更便宜+更准确"的三重优势会形成正向飞轮：成本优势驱动更多采用，更多采用产生更多训练数据，更多数据进一步提升模型质量。对制造业而言，这意味着多模态检索的 ROI 计算应该包含：传统方案的实际总成本（OCR失败率×业务损失 + 两次调用成本 + 提示工程维护成本），而不仅是多模态方案的直接成本节省。

4. 检索质量与生成质量必须联合评估，单独评估检索质量会误导系统选型

多模态管道在 K=5 时达到 90% 召回率（检索指标优秀），但这个数字如果被视为唯一评估标准，会掩盖纯文本管道在生成环节的彻底失败（88% 查询多模态更优）。这提示了一个关键的系统性盲点：很多 RAG 系统评估只看检索指标（Recall@K、MRR），但检索正确不等于生成正确——即使找到正确文档，如果以错误方式传递给生成器（纯文本 vs 原始图像），生成质量仍会崩溃。完整的评估必须包含端到端生成质量，才能真正反映用户实际体验。

5. 嵌入维度选择需要基于实际场景评估，1024 是制造业文档检索的实用平衡点

Amazon Nova MME 支持 256/384/1024/3072 四种维度，1024 被本文选为实用平衡点。这说明维度选择不是越高越好——3072 维可能捕获更多细节，但存储和计算成本也更高。评估结果在 1024 维实现 K=5 时 90% 召回率、K=10 时 96% 召回率，对于大多数制造文档检索场景已经足够。实际选型建议：先用 1024 维评估基线，如果特定场景召回率不足再尝试更高维度，同时监控存储和查询延迟的变化。不同行业文档的语义复杂度不同，需要实验确定最优维度。

实践启示¶

1. 视觉密集型制造文档优先使用多模态嵌入而非 OCR+文本嵌入方案

对于航空航天、汽车、重型制造等行业的制造文档（CAD 图形、热等值线图、工艺流程图、检测照片、疲劳曲线），强烈建议采用多模态嵌入方案而非传统的 OCR+文本嵌入方案。评估结果已充分证明：多模态方案在生成质量上大幅领先（4.88/5 vs 2.00/5），同时实现更简单（单次调用 vs 两次调用）、成本更低（摄入成本降低约一半）。对于已有大量工程图纸和视觉文档的制造企业，这是立即可用的文档检索智能化路径。实施路径：1）将制造文档图像直接摄入 Amazon S3 Vectors；2）使用 Amazon Nova MME 生成 1024 维嵌入；3）通过 Amazon Nova 2 Lite 生成答案。

2. 评估多模态检索系统必须同时评估检索指标和端到端生成质量

单独评估检索指标（Recall@K、MRR、NDCG@K）会掩盖"检索正确但生成失败"的问题。建议的评估框架分两层：1）检索层评估文档召回率（K=5, K=10）；2）生成层使用 LLM-as-Judge 评估端到端答案质量（1-5 分），输入应为完整的检索-生成管道。评判时将 ground truth 答案、生成答案和查询一并给 LLM 评分。多模态管道的 88% 查询更优这一数据，只有在端到端评估框架下才能得出——这是本文最重要的方法论贡献，对所有 RAG 系统评估都有参考价值。

3. PDF 页面摄入时使用 DOCUMENT_IMAGE 模式而非 STANDARD_IMAGE

对于混合内容页面（包含图表、表格、标注示意图的 PDF），必须使用 DOCUMENT_IMAGE detail level 而非 STANDARD_IMAGE。这是因为模型对 DOCUMENT_IMAGE 模式会应用额外处理，专门优化表格和图表内容的嵌入质量。对于制造文档场景（大多数 PDF 都包含混合内容），这是保证嵌入质量的关键配置。相对地，对于纯图像（如独立 CAD 图、检测照片），使用 STANDARD_IMAGE 模式即可。实施时建议对不同类型文档测试两种模式，选择召回率更高的配置。

4. 充分利用 GENERIC_INDEX / GENERIC_RETRIEVAL 非对称嵌入设计

Amazon Nova MME 的 GENERIC_INDEX（文档索引用）和 GENERIC_RETRIEVAL（查询用）分离设计是有目的的架构选择，不是简单的参数。对索引文档使用 GENERIC_INDEX 使文档嵌入更全面（针对文档理解优化），对查询文本使用 GENERIC_RETRIEVAL 使查询嵌入更适合匹配（针对查询-文档匹配优化）。这种非对称设计改善了向量空间的质量，无需用户手动格式化查询文本。实施时应严格遵循这一分离设计，不要对查询也使用 GENERIC_INDEX。

5. 托管向量存储（Amazon S3 Vectors）是多模态检索的实用选择

对于大多数企业，S3 Vectors 作为托管式向量存储和查询层是更实用的选择：无需集群管理或容量规划，按请求计费无持久基础设施，集成 Amazon Bedrock 的模型调用自然流畅。对于制造业文档检索这类场景，托管方案的性能和成本通常已经足够，无需自建向量数据库。实施路径：使用 Amazon S3 Vectors 创建向量桶和索引，摄入时批量提交（本文使用 50 个一批），查询时指定 topK 和返回距离及元数据。评估完成后记得清理索引和桶以避免持续计费。