【202110773432.6】多层时序注意力融合机制的弱监督神经网络手语识别方法-武清知识产权运营保护服务平台

【202110773432.6】多层时序注意力融合机制的弱监督神经网络手语识别方法

        转让/许可方名称：天津理工大学
        转让/许可底价（万元）：面议
        挂牌截止时间：2025年1月10日

一种多层时序注意力融合机制的弱监督神经网络手语识别方法，采用多层注意力机制融合的编码器‑解码器神经网络并结合语言模型transformer进行从连续手语视频到连续手语识别和翻译句子的生成；通过在大规模的图像数据集Imagenet上进行预训练过的迁移学习卷积模块提取姿态信息，双向门控循环网络和多层残差堆叠门控循环网络进行时序特征编码，用多层时序注意力融合机制把手语语法的底层语义和高维特征进行融合，采用贪婪解码和强制教学的训练方法用来得到表达手语者动作表达含义的手语识别句子，并结合语言模型来解决连续手语视频的识别和翻译的困难。本发明可促进健听人和手语者的交流与沟通。