🔍 技术特点: DreamTalk利用扩散模型生成高质量动画，实现逼真嘴唇动作和丰富表情，支持多语言同步，可用于不同场景和环境。
@Lightning AI创始人William Falcon
这意味着DeWave方法的性能受限于预训练语言模型的质量和能力。如果预训练语言模型不够准确或不具备广泛的语言理解能力，可能会影响到DeWave方法的翻译性能。
项目地址：https://github.com/wenquanlu/HandRefiner/
另外，DreamTalk还具有说话风格预测的功能，能够根据语音预测说话者的风格，并同步表情，使得动画更加贴近原始音频。此外，该框架适用于多种场景，可以用于歌曲、不同类型的肖像，甚至在嘈杂环境中也能表现良好。