?? 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日跟你分享最新的 AI 资讯和开源应用,也会不定期分享自己的想法和开源实例,欢迎关注我哦!
? 微信公众号|搜一搜:蚝油菜花 ?
? 快速阅读
功能:生成音频驱动的半身动画,支持中文和英文。
技术:采用音频-姿势动态协调策略,增强音频与动画的同步性。
应用:适用于虚拟主播、在线教育、娱乐和游戏等多个场景。
正文(附运行示例)
EchoMimicV2 是什么
EchoMimicV2是阿里蚂蚁集团推出的半身人体AI数字人项目,基于参考图片、音频剪辑和手部姿势序列生成高质量动画视频,确保音频内容与半身动作的一致性。EchoMimicV2在前代EchoMimicV1生成逼真人头动画的基础上,效果得到进一步提升,现在能生成完整的数字人半身动画,实现从中英文语音到动作的无缝转换。
该项目采用音频-姿势动态协调策略,包括姿势采样和音频扩散,增强细节表现力并减少条件冗余。EchoMimicV2用头部局部注意力技术整合头部数据,设计特定阶段去噪损失优化动画质量。
EchoMimicV2 的主要功能
- 音频驱动的动画生成:用音频剪辑驱动人物的面部表情和身体动作,实现音频与动画的同步。
- 半身动画制作:从仅生成头部动画扩展到生成包括上半身的动画。
- 简化的控制条件:减少动画生成过程中所需的复杂条件,让动画制作更为简便。
- 手势和表情同步:基于手部姿势序列与音频的结合,生成自然且同步的手势和面部表情。
- 多语言支持:支持中文和英文驱动,根据语言内容生成相应的动画。
EchoMimicV2 的技术原理
- 音频-姿势动态协调(APDH):
- 姿势采样(Pose Sampling):逐步减少姿势条件的依赖,让音频条件在动画中扮演更重要的角色。
- 音频扩散(Audio Diffusion):将音频条件的影响从嘴唇扩散到整个面部,再到全身,增强音频与动画的同步性。
- 头部局部注意力(Head Partial Attention, HPA):在训练中整合头部数据,增强面部表情的细节,无需额外的插件或模块。
- 特定阶段去噪损失(Phase-specific Denoising Loss, PhD Loss):将去噪过程分为三个阶段:姿势主导、细节主导和质量主导,每个阶段都有特定的优化目标。
- Latent Diffusion Model(LDM):用变分自编码器(VAE)将图像映射到潜在空间,在训练过程中逐步添加噪声,估计并去除每个时间步的噪声。
- ReferenceNet-based Backbone:用ReferenceNet从参考图像中提取特征,将其注入到去噪U-Net中,保持生成图像与参考图像之间的外观一致性。
如何运行 EchoMimicV2
下载代码
git clone https://github.com/antgroup/echomimic_v2
cd echomimic_v2
Python 环境设置
- 测试系统环境:Centos 7.2/Ubuntu 22.04, Cuda >= 11.7
- 测试GPU:A100(80G) / RTX4090D (24G) / V100(16G)
- 测试Python版本:3.8 / 3.10 / 3.11
创建conda环境(推荐):
conda create -n echomimic python=3.10
conda activate echomimic
安装包:
pip install pip -U
pip install torch==2.5.1 torchvision==0.20.1 torchaudio==2.5.1 xformers==0.0.28.post3 --index-url https://download.pytorch.org/whl/cu124
pip install torchao --index-url https://download.pytorch.org/whl/nightly/cu124
pip install -r requirements.txt
pip install --no-deps facenet_pytorch==2.6.0
下载 ffmpeg-static
下载并解压 ffmpeg-static,然后:
export FFMPEG_PATH=/path/to/ffmpeg-4.4-amd64-static
下载预训练权重
git lfs install
git clone https://huggingface.co/BadToBest/EchoMimicV2 pretrained_weights
运行示例
运行Gradio:
python app.py
运行Python推理脚本:
python infer.py --config='./configs/prompts/infer.yaml'
资源
- 项目官网:https://antgroup.github.io/ai/echomimic_v2
- GitHub 仓库:https://github.com/antgroup/echomimic_v2
- HuggingFace 模型库:https://huggingface.co/BadToBest/EchoMimicV2
- arXiv 技术论文:https://arxiv.org/pdf/2411.10061
?? 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日跟你分享最新的 AI 资讯和开源应用,也会不定期分享自己的想法和开源实例,欢迎关注我哦!
? 微信公众号|搜一搜:蚝油菜花 ?