科技魔方
科技魔方 > 聚焦 >

百度复旦视觉生成模型Hallo2发布

编辑:兰心雪  时间:2024-10-25 17:57  来源:光明网   阅读量:17439   

近日,百度联合复旦大学等发布Hallo2,一个可以生成长达数小时且分辨率为4K的人物动画的视觉模型。Hallo2目前已经在GitHub平台开源,供全球开发者免费使用和研究,促进视频生成技术的广泛应用和发展。Hallo2发布后,在海外引发了不小的震动。

百度和复旦的研究团队解决了人像视频生成一个很大的痛点:如何提升视频生成的时长和质量。一直以来,生成高质量的人物动画需要耗费大量的时间和人力成本。而百度与复旦联合发布的Hallo2的出现,有望彻底改变这一现状,为数字人、电影制作、虚拟助手、游戏开发等领域带来革命性的变化。这不同于Sora等AI视频生成模型遭遇到的发展瓶颈,Hallo2模型解决的问题更垂直,可落地空间更大。

Hallo2是目前首个实现长达一小时、4K分辨率的音频驱动人像动画生成模型。通过创新的图像块丢弃、噪声增强和时间对齐等技术,Hallo2解决了长时视频生成中的外观漂移和视觉不一致问题,支持灵活的语音与文本控制,生成质量达到业内领先水平。

Hallo2继承了前代Hallo模型的创新框架,继续采用基于扩散的生成模型和分层音频驱动视觉合成模块,提高了音频与视觉输出之间的同步精度,并经过改进使得各部分的协同作用更加高效,增强了生成动画的质量和真实感。此外,Hallo2 不仅在图像和视频的质量方面有了显著提升,而且大幅增加了动作的丰富性和多样性,可以说为AI驱动的肖像图像动画领域树立了新标杆。

行业专家表示,Hallo2的出现,标志着音频驱动的肖像图像动画技术迈入了新的发展阶段。百度基于长期的视觉技术积累,正在瞄准行业痛点进行针对性研究和场景落地,不仅为开发者提供了强大的工具,也为未来各种应用场景下的动画形象创作带来了新的可能性。

?据悉,百度将在11月12日召开百度世界大会,展现更多AI方面的应用和技术进展。

  • “核心价值观百场讲坛”第152场

    2024海洋合作发展论坛在青岛开幕

    科学“新”声丨严超:向下生活,向上科研

    科学“新”声丨废水变清泉,只在一“膜”之间!

    科学“新”声丨数字模拟“预见”城市风云

    跟着节气游北京|霜降见霜,米谷满仓

    科学“新”声丨守护一渠清水的“膜”术师

    流感进入高发季 如何抓住用药黄金48小时?

    郑重声明:此文内容为本网站转载企业宣传资讯,目的在于传播更多信息,与本站立场无关。仅供读者参考,并请自行核实相关内容。

  • 推荐