在人工智能领域,视频生成技术一直是研究的热点。近日,由北大-兔展联合团队发起的Open-Sora-Plan项目,迎来了其最新版本v1.1.0的开源发布,这一版本在视频生成技术上实现了显著的突破,现在能够生成长达21秒的高质量视频。
1、全面支持国产AI算力
Open-Sora-Plan v1.1.0版本在技术上的一个重要亮点是其对国产AI计算系统的全面支持。项目团队宣布,新版本已成功适配华为昇腾等国产AI芯片,实现了从训练到推理的全过程国产化支持,这标志着国产AI算力在视频生成领域的应用迈出了坚实的一步。
2、技术迭代与优化
与上个月发布的v1.0.0版本相比,v1.1.0在两个关键方面进行了优化:
高质量视觉数据与caption的采用:通过引入更高质量的视觉数据和描述,提升了模型对视频内容的理解能力。
CausalVideoVAE结构的优化:对模型结构进行了调整,提高了生成视频的性能和推理效率。
3、视频编辑功能的集成
新版本还集成了ReVideo模型,用于视频编辑功能。无论是小猫戴墨镜的趣味场景,还是天空中飘动的气球,新版本在画面连续性和角色一致性方面都展现出了良好的表现。
4、开源精神的延续
Open-Sora-Plan项目团队坚持开源精神,所有数据、代码和模型均在GitHub上公开,目前项目已获得超过10.4k的星星关注,社区参与度极高。
5、未来展望
项目团队表示,未来的工作将集中在数据缩放和模型设计两个方面。他们将继续扩大数据量,并探索CasualVideoVAE和扩散模型的进一步优化,以期达到更优的视频生成效果。
6、体验与分享
对于有兴趣体验Open-Sora-Plan v1.1.0版本的用户,现在可以在Hugging Face平台上进行试玩。同时,团队鼓励用户分享试玩感受,共同推动项目的发展。
北大-兔展Open-Sora-Plan体验入口地址:https://www.yumiok.com/aitools/sites/1403.html
GitHub:
https://github.com/PKU-YuanGroup/Open-Sora-Plan
抱抱脸:
https://huggingface.co/spaces/LanguageBind/Open-Sora-Plan-v1.1.0
ReVideo模型:
https://github.com/MC-E/ReVideo?tab=readme-ov-file
Open-Sora-Plan v1.1.0的发布,不仅是国产AI技术在视频生成领域的一次重要进步,也是开源社区力量的一次生动体现。随着技术的不断迭代和优化,我们有理由相信,国产AI将在更多领域展现出其强大的潜力和价值。