| 成果名称: | 语音生成的计算建模及在言语障碍康复中的应用 |
| 完成单位: | 中国科学院深圳先进技术研究院、中国科学院软件研究所 |
| 主要人员: | 王岚、彭刚、陈辉、王士元、罗德安、程宁、李胜、杨雪松、李娜、陈蒙 |
| 介绍: | 本项目从学习、发展与障碍三个层面对汉语认知加工过程及其脑机制进行研究，揭示大脑的汉语言功能及障碍奥秘。特别针对汉语语音生成的生理机制展开研究，采集分析发音生理数据并进行计算建模。在此基础上探索人类对语音的视听融合感知机理和大脑的模仿机制，利用三维说话人头像模型模拟发音器官和气流运动模式，设计视听觉结合的发音训练方法和系统，深入了解言语障碍者的脑机制在语言信息的感知和加工方面的不同。本项目致力于促进汉语语言学习和言语障碍者的功能重塑，同时为预防、诊断和矫治言语障碍提供科学依据。 本项目在汉语脑认知、语音生成计算建模、语音可视化和言语功能重塑等跨学科研究领域产生一系列成果，共发表论文70篇，其中SCI／SSCI检索论文20篇，EI检索43篇，联合撰写专著1本，专著章节1本，申请中国发明专利14项，授权发明专利5项。在语音生成和理解的脑机制方向的研究论文先后发表在 PNAS, NeuroImage , Human Brain Mapping 等高影响因子的国际期刊上；所提出的语音生成计算建模方法发表在语音领域 IEEE trans. On ASLP, Speech Communication 等旗舰杂志上；在三维虚拟现实和可视化方面提出的算法发表在 ACM TOG , CVPR 等较高影响力的杂志和国际会议上。一篇研究论文获得ICIA & ICAL 2013 最佳学生论文奖。本项目首次提出并实现了汉语三维发音和气流运动模拟，并率先将虚拟说话人三维虚拟说话人发音模拟用于听障儿童和自闭症儿童的构音训练中，通过行为实验和眼动实验的临床测试发现：利用3D虚拟说话人进行发音学习相对于真人教师的学习提高程度更大。所研发的“可视化言语康复训练系统”已经被民政部下属的陕西省残疾人辅具中心，深圳市早期干预中心等单位列为推荐产品，并且在十余家三甲医院康复科、言语康复中心、聋校推广使用，对各类听障、自闭症、脑卒中失语症、帕金森症患者进行康复训练2000余人次。 |
| 批准登记号: | 粤科成登（2）字【2018】0148 |
| 登记日期: | 2018-04-12 |
| 研究起止时间: | 2012.01 至2016.12 |
| 所属行业: | 卫生和社会工作 |
| 所属高新技术类别: | 电子信息 |
| 评价单位名称: | 国家自然科学基金委员会 |
| 评价日期: | 2017.04.12 |
