郑州轻工业大学王昊琪研究员等:虚实混合表情数据与心电数据决策级融合的人员情绪动态识别方法丨CIMS论文推荐

戳 上 面 的 蓝 字 关 注 我 们 哦！

论文题目

虚实混合表情数据与心电数据决策级融合的人员情绪动态识别方法

论文作者

王昊琪¹,刘志浩¹,冯兴智²⁺,李浩¹,王广伟¹,鲁效平²,董李扬²,蔡权³,刘和松²,朱容君³

作者单位

1.郑州轻工业大学机电工程学院

2.卡奥斯工业智能研究院(青岛)有限公司

3.南阳中通智能科技集团有限公司

基金资助

国家自然科学基金面上资助项目(52275277)

河南省自然科学基金优秀青年基金资助项目(242300421075)

大规模个性化定制系统与技术全国重点实验室开放课题资助项目(H&C-MPC-2023-02-02)

河南省科学技术协会“中原科技创新青年拔尖人才”资助项目

河南省高校科技创新团队支持计划资助项目(26IRTSTHN039)

工业5.0“人本智造”理念强调智能制造技术的发展应以人的需求为核心。在危险、封闭的工业生产现场,人员情绪的准确识别是保障工人心理健康和安全有效生产的基础。针对现有情绪识别方法存在数据集覆盖面有限、识别精度不足和缺乏动态调整的问题,提出了一种虚实混合表情数据与心电数据决策级融合的人员情绪动态识别方法。首先,采用集成CLIP和LoRA的Stable Diffusion模型生成高质量的表情虚拟数据集,并与真实数据集混合构建虚实混合数据集;利用该数据集对引入CBAM的YOLOv8网络进行训练,实现面部表情情绪识别;然后,结合基于LSTM的心电数据特征提取,实现心电信号的情绪识别;最后,提出基于Softmax动态权重与特征交互的决策级融合策略,实现多模态的情绪动态识别。实验结果表明,动态权重融合识别准确率达到81.10%,其中在虚拟数据集与真实数据集比例为5:1时,模型在数据不平衡场景下表现出更高的泛化能力。

总体技术框架

王昊琪(1989-),男,河南郑州人,郑州轻工业大学研究员,博士,博士生导师,研究方向:复杂装备优化设计、工业数字孪生模型智能化、人机交互与安全管控等,E-mail:haoqiwang0218@163.com;

刘志浩(2001-),男,河南驻马店人,郑州轻工业大学硕士研究生,研究方向:智能制作技术等,E-mail:lzh15993474052@163.com;

冯兴智(1977-),男,陕西西安人,卡奥斯工业智能研究院(青岛)有限公司高级工程师,博士,研究方向:分布式计算、工业AI、智能制造、工业大模型、SOA、研产协同等,通讯作者,E-mail:fengxzh@haier.com;

李浩(1981-),男,河南唐河人,郑州轻工业大学教授,博士,博士生导师,研究方向:工业数字孪生、产品设计方法学、智能制造服务等,E-mail:lihao@zzuli.edu.cn;

王广伟(1998-),男,河南开封人,郑州轻工业大学硕士研究生,研究方向:智能制造、工业互联网等,E-mail:hxx170930@163.com;

鲁效平(1981-),男,山东泰安人,卡奥斯工业智能研究院副院长,教授级高级工程师,博士,研究方向:智能制造、工业互联网等,E-mail:luxiaoping@haier.com;

董李扬(1986-),女,河北邢台人,卡奥斯工业智能研究院(青岛)有限公司智能制造实验室主任,副高级工程师,博士,研究方向:智能制造、工业互联网等,E-mail:dongliyang@haier.com;

蔡权(1982-),男,海南海口人,南阳中通智能科技集团有限公司副高级工程师,学士,研究方向:智能制造等,E-mail:343868726@qq.com;

刘和松(1983-),男,河北廊坊人,卡奥斯工业智能研究院(青岛)有限公司高级工程师,博士,研究方向:智能制造、边缘计算,E-mail:liuhesong@haier.com;

朱容君(1987-),男,河南南阳人,南阳中通智能科技集团有限公司副总经理,高级经济师,高级电气工程师,学士,研究方向:智能防爆主动防爆技术、智能服务预测性维护技术,E-mail:842803163@qq.com。

本文刊发于《计算机集成制造系统》2026年第32卷第1期。登录期刊官网（www.cims-journal.cn）或点击“阅读原文”可免费下载全文。