智东西12月1日消息,11月29日,来自阿里的研究团队发布论文,利用扩散模型的能力,提出了一个专门针对角色动画的新框架Animate Anyone,可从静态图像AI生成动态视频,从而将任意角色动画化。为了保持参考图像中复杂外观特征的一致性,作者改进了ReferenceNet算法,通过空间注意力融合详细特征。为了确保可控性和连贯性,作者引入了一个高效的姿势指导器来指导角色的动作,并采用了一种有效的时间建模方法,确保视频帧之间的平滑过渡。
论文地址:
arxiv.org/pdf/2311.17117
