| 成果名称: | 面向聋儿言语康复的语音可视化教学平台 |
| 完成单位: | 深圳先进技术研究院 |
| 主要人员: | 王岚、陈辉、蒙美玲、王平安、王毅强、程宁、欧阳建军、李崇国、李胜、张吉帅 |
| 介绍: | "可视化言语康复训练系统"是中科院科技助残行动计划“面向聋儿言语康复的语音可视化教学平台”和国家自然科学基金重点项目"语音生成计算建模及其在言语康复中的应用"的成果。该成果基于汉语语音生成的生理机制采集分析发音生理数据并进行计算建模，同时针对人类对语音的视听融合感知机理和大脑的模仿机制，利用三维说话人头像模型模拟发音器官和气流运动模式，设计视听觉结合的发音训练方法和系统，促进汉语语言学习和言语障碍者的功能重塑，同时为预防、诊断和矫治言语障碍提供科学依据。在此基础上实现的"可视化言语康复训练系统"，采用先进的语音可视化、语音识别、虚拟现实和多媒体技术实时反馈言语障碍患者的发音准确度、流利度等质量评价；利用生动形象的三维虚拟说话人头像展现发音过程，提供发音反馈，训练其进行发音动作模仿，帮助他们练习发声时对自己的错误发音进行及时、有效地纠正与调节等功能。 该系统的技术创新在于：1）利用电磁发音动作采集仪和言语发声空气动力系统，构建了目前发表的较为完整全面的中文发音运动生理数据库。在此基础上，提出了深度学习和广义可变参数隐马尔科夫模型相结合的建模方法，用于提升声学建模的鲁棒性。该方法成功应用于声学－发音逆变换中，提高了从声学信息到发音动作轨迹自动生成的精度。2）基于生理解剖数据建立了静态三维说话人发音器官模型，提出了狄力克雷自由变形算法用于发音运动模拟，并率先采用流体模型模拟辅音发音气流的运动模式，实现了多模式汉语发音运动协同系统，显著提高了音素级别的发音动作辨识度，获得ICIA&ICAL 2013 最佳学生论文奖。3）率先提出将虚拟说话人三维发音运动模拟系统用于听障儿童和自闭症儿童的构音训练中，通过行为实验和眼动实验的临床测试发现：言语障碍儿童与正常儿童一样，对3D发音虚拟教师表现出了更大的兴趣，而且利用3D虚拟教师进行发音学习相对于真人教师的学习提高程度更大。 该系统具有以下特色：1）三维真实说话人发音模拟，实现镜像治疗，加强模仿来形成发音动作镜像，增强训练效果；2）多模态视-听-说统合训练模式，实现听说整体康复；3）语音识别技术应用，实现实时自动识别和检测。自2012年中科院项目验收起，该系统已经在深圳市特殊儿童早期干预中心、深圳晴晴言语康复训练中心、广州聋儿康复中心等专业机构进行了多次实地检测与临床验证，证明了本系统的实用性和研究的先进性，同时被民政部下属的陕西省残疾人辅具中心，深圳市早期干预中心等单位列为推荐产品，并且在十余家三甲医院康复科、言语康复中心、聋校推广使用，对各类听障、自闭症、脑卒中失语症、帕金森症患者进行康复训练2000余人次。该系统所提供的针对中文的三维说话人头像连续发音运动模拟系统，将弥补传统依靠听力进行语言训练的方法，填补市场上在此领域内的空白，使得语言学习和康复发声训练避免一对一的面授模式和高昂的培训或治疗费用，为广大的言语障碍者、听力损失者，甚至是患有自闭症的人士的发声训练和康复带来福音，具有广阔的市场前景和重要的社会经济效益。 |
| 批准登记号: | 粤科成登（2）字【2017】0100 |
| 登记日期: | 2017-04-14 |
| 研究起止时间: | 2009.07 至2012.06 |
| 所属行业: | 卫生和社会工作 |
| 所属高新技术类别: | 电子信息 |
| 评价单位名称: | 中国科学院 |
| 评价日期: | 2014.04.28 |
