Improve bot accuracy with Amazon Lex Assisted NLU¶

Ch01.516 Improve bot accuracy with Amazon Lex Assisted NLU¶

📊 Level ⭐⭐ | 6.8KB | entities/improve-bot-accuracy-with-amazon-lex-assisted-nlu.md

-> 原文存档

LLM 作为 NLU 的"软着陆"机制 — 传统规则 NLU 需要手动配置所有可能的 utterance 变体，而 Assisted NLU 利用 LLM 理解自然语言变体，大幅降低人工配置负担
意图描述即 Prompt — 意图描述的质量直接决定分类准确率，其重要性等同于 LLM 应用中的 prompt 质量。文章提出 Intent to [action verb] [object/entity] [context/constraints] 模式，说明描述是给 LLM 的指令而非团队文档
双模式设计体现渐进式迁移策略 — Primary 和 Fallback 模式体现了对已有生产系统的尊重：前者适合新 bot 或数据不足场景，后者保护已有准确率较高的系统。30% LLM 调用率作为切换阈值是实用的工程经验值
Slot 描述具有长期复利价值 — 文章明确指出"随着 Assisted NLU 演进，slot 描述将承担更大权重"，意味着当前投入编写精确描述可在未来版本自动受益，属于低投入高回报的技术债务优化
Bot 定义边界是内置安全机制 — Assisted NLU 将 LLM 严格限制在分类和提取范围，LLM 无法发明新意图或返回原始生成文本给用户，相比开放域 LLM 应用显著缩小了 prompt injection 攻击面

新建 Bot 直接启用 Primary 模式，配合高质量意图描述 — 对于意图数量有限（少于 20 个 utterance）的场景，放弃样本 utterance 工程，直接依靠描述驱动 LLM，能显著缩短冷启动周期
意图描述采用"动作 + 对象 + 上下文"三层结构 — 先用动作动词（Book/Cancel/Modify）建立清晰边界，再用对象（hotel/flight）限定范围，最后加业务上下文（医疗原因 vs 行程冲突）解决 waiver 和退款策略差异
Fallback 模式中 LLM 调用率 >30% 即触发切换评估 — 当传统 NLU 无法覆盖的边缘 case 规模化时，继续维护两套系统收益递减，应通过 A/B 测试验证 Primary 模式能否带来一致性准确率提升后再切换
测试集必须覆盖四类真实噪声输入 — 拼写错误（"hotell"）、口语化（"hook me up"）、歧义请求（"需要帮助"）、残缺 utterance（下周的预订），这些才是 Assisted NLU 相对传统 NLU 的核心价值体现区
意图分离优先，消歧作为最后防线且选项 ≤4 — 当大多数对话都触发消歧时，说明意图设计本身需要重构，而非靠优化消歧消息解决。消歧选项超过 4 个通常意味着 intent 设计粒度过于碎片化