本发明提供一种实时的语音驱动人脸动画的方法，该方法有如下特性：(1)基于真实捕捉的语音参数和视觉参数，采用高斯混合模型和马尔可夫模型结合的方法实现语音参数到视觉参数的转换；(2)实现了语音参数到视觉参数的直接转换，既考虑了过去视觉特征对当前视觉特征的影响，又不依赖于语音识别系统提供的音素序列作为转换的前提；(3)能够满足实时性要求以及非实时性要求；(4)能够产生高真实感的人脸动画，也能产生具有动漫效果的人脸动画；(5)可以控制脸部表情。本发明客观性能测试和主观互动测试验证了其在网上面对面交流、虚拟主持人、电脑游戏等方面应用的有效性。
