上海元梦智能取得多模态情感识别专利，提升情感分类和检测的准确性和鲁棒性

金融界2024年8月22日消息，天眼查知识产权信息显示，上海元梦智能科技有限公司取得一项名为“多模态情感识别方法、装置、电子设备和存储介质“，授权公告号CN112418034B，申请日期为2020年11月。

专利摘要显示，本发明涉及语音识别和图像处理技术领域，本发明提供多模态情感识别方法、装置、电子设备和存储介质，其方法包括步骤：对待识别对象的视频数据进行去重，获取所述待识别对象的人脸时序图像数据；在获取所述待识别对象的视频数据时，实时获取所述待识别对象的文本数据；将对齐后的所述人脸时序图像数据和所述文本数据输入至多模态情感识别模型，以进行所述待识别对象的多模态情感识别。本发明通过实时获取虚拟人在和用户对话过程中用户的表情以及对话的文本内容，通过图像和文本信号联合输入的方式，获取多维度的丰富特征，来提升情感分类和检测的准确性和鲁棒性。特别在正话反说，反讽等场景具有较高的准确率。

来源：金融界