跳转至

ACL 2026｜AI for聋哑群体，港理工开源思考型手语翻译模型

Ch01.1212 ACL 2026｜AI for聋哑群体，港理工开源思考型手语翻译模型

📊 Level ⭐⭐ | 4.8KB | entities/acl-2026ai-for聋哑群体港理工开源思考型手语翻译模型.md

ACL 2026｜AI for聋哑群体，港理工开源思考型手语翻译模型

来源: 机器之心

发布日期: 2026-05-04

原文链接: https://mp.weixin.qq.com/s/PgSi0r7Ywy5VdOoCaA4fKw

本文作者分别来自香港理工大学以及四川大学。第一作者江奕飏是来自香港理工大学的博士生，指导老师为李青教授与魏骁勇教授。

长期以来，听障群体在信息获取、公共服务和社会交流中都处于相对边缘的位置。主流社会的大量信息传播方式默认建立在语音和文字之上，这意味着许多依赖手语进行表达和理解的人群，在教育、医疗、政务服务以及日常沟通中，往往天然面临更高门槛。与此同时，当人工智能正在快速改变内容生产、知识获取和人机交互方式时，这部分群体却并没有同等程度地享受到技术发展的红利。如何让 AI 真正服务更多人，而不是只服务于主流交互方式下的多数群体，已经成为一个越来越重要的问题。

也正是在这样的背景下，手语翻译（Sign Language Translation, SLT）的研究显得尤为重要。它不仅关乎一个具体的多模态任务，更关乎如何借助人工智能帮助听障群体更顺畅地接入主流社会，降低沟通壁垒，提升信息可达性与社会参与度。从这个意义上说，SLT 不只是「把视频翻译成文字」，而是在尝试搭建一座连接不同表达体系与社会环境的桥梁。

但从技术角度看，手语翻译远比想象中复杂。长期以来，许多方法默认手语视频中的局部片段可以直接对应到自然语言中的词语或短语，仿佛只要完成逐段对齐，就能得到正确翻译。然而，这一假设在真实场景中并不总是成立。手语表达往往依赖动作轨迹、空间位置、身体朝向以及上下文关系共同构成语义，同一个手型或动作在不同语境下甚至可能表达完全不同的含义。也正因如此，这篇论文提出：手语翻译本质上更接近一种跨模态推理问题，而不只是简单的视频到文本映射。

针对这一问题，研究团队提出了 SignThought。这是一种面向 gloss-free 手语翻译的全新框架，其核心思想是在视频理解与文本生成之间，引入一条有序的 latent thoughts 链条，让模型在生成翻译之前，先逐步组织中间语义表示，再根据这些中间语义去检索视频证据，最终完成更连贯、更忠实的翻译。与此同时，论文还提出了 plan-then-ground 的解码方式：模型先决定「要说什么」，再回到视频中寻找「证据在哪里」。

目前，该工作已被 ACL 2026 Main Conference 接收，并拟推荐为口头报告。

  • 论文标题：Think in Latent Thoughts: A New Paradigm for Gloss-Free Sign Language Translation

  • 论文地址： https://arxiv.org/abs/2604.15301

  • 代码地址： https://github.com/fletcherjiang/SignThought

研究背景

近年来，gloss-free 手语翻译逐渐成为研究热点。与传统依赖 gloss 标注的方案不同，这类方法希望直接从手语视频生成自然语言句子，避免昂贵而繁琐的中间标注成本。

但真正的困难在于，手语的语义往往并不是由某一个固定手势直接决定的，而是由动作轨迹、空间位置和上下文关系共同生成。如图所示，同样与「车辆」相关的手型，如果只做直接的视频到文本映射，模型可能只能识别出「车辆」和「树」这类表层元素，最终生成类似

→ 原文存档

关联