【导读】抢先OpenAI一步的「国产Sora」，再给开源社区带来亿点点震撼：权重代码全开源！16秒720p高清画质一键生成，人物渲染逼真到爆，电影级变焦。而美国独角兽基于之前权重打造的数字宇宙，直接让乐高迷嗨翻了。
就在刚刚，潞晨Open-Sora团队在720p高清文生视频质量和生成时长上实现了突破性进展！
如今，全新升级的Open-Sora不仅支持无缝产出任意风格的高质量短片，而且更令人惊喜的是，团队选择再给开源社区带来亿点点震撼——继续全部开源。
开源地址：https://github.com/hpcaitech/Open-Sora
通过他们的模型权重，能够生成各种酷炫的短片，比如海浪和海螺的亲密接触，还有那些深不可测的森林秘境。
人物肖像的渲染也相当逼真。不管是中国古典美女，还是欧美风的人物，能够保持一致的风格。
还能精准渲染赛博朋克风，让短片瞬间充满强烈的未来感和科技感。
也能生成有趣生动的动画镜头，带来极具表现力的视觉体验。
即使是电影级别的镜头制作，也能轻松应对。
例如，实现流畅的变焦效果，为影片增添专业级的视觉效果。
还能帮助电影制作人员创造出逼真的电影镜头。
潞晨的Open-Sora模型以其卓越的性能揭示了视频生成领域的广阔前景，而他们的模型权重和训练代码已经全面开源，感兴趣的朋友可以访问他们的GitHub项目。
GitHub地址：https://github.com/hpcaitech/Open-Sora
文生视频界的开源战士
LambdaLabs，美国科技界独角兽，基于潞晨团队先前开源的Open-Sora模型权重打造了一个数字乐高宇宙，乐高迷们在这里找到了极致的创意体验。
潞晨团队深谙开源对于文生视频技术突破的加速度，他们不仅持续开源模型权重，还在Github上晒出了技术路线，让每个玩家都能成为文生视频大模型的掌控者，不再是单纯的围观群众。
报告地址：https://github.com/hpcaitech/Open-Sora/blob/main/docs/report_03.md
技术深度解码
潞晨Open-Sora团队的这份技术报告，深度剖析了本次模型训练的核心和关键。
在上一个版本基础上，引入了视频压缩网络（Video Compression Network）、更优的扩散模型算法、更多的可控性，并利用更多的数据训练出了1.1B的扩散生成模型。
在这个「算力为王」的时代，视频模型训练有两大痛点：计算资源的巨大消耗与模型输出质量的高标准。潞晨Open-Sora团队以一种极简而有效的方案，成功地在成本和质量之间找到了平衡点。
Open-Sora团队提出了一个创新的视频压缩网络（VAE），该网络在空间和时间两个维度上分别进行压缩。
具体来说，他们首先在空间维度上进行了8x8倍的压缩，接着在时间维度上进一步压缩了4倍。通过这种创新的压缩策略，既避免了因抽帧而牺牲视频流畅度的弊端，又大幅降低了训练成本，实现了成本与质量的双重优化。
视频压缩网络结构
Stable Diffusion 3，最新的扩散模型，通过采用了rectified flow技术替代DDPM，显著提升了图片和视频生成的质量。
尽管SD3的rectified flow训练代码尚未公开，但潞晨Open-Sora团队已经基于SD3的研究成果，提供了一套完整的训练解决方案，包括：
简单易用的整流（rectified flow）训练
用于训练加速的Logit-norm时间步长采样
基于分辨率和视频长度的时间步长采样
通过这些技术的整合，不仅能够加快模型的训练速度，还能显著减少推理阶段的等待时间，确保用户体验的流畅性。
此外，这套训练方案还支持在推理过程中输出多种视频宽高比，满足了多样化场景下的视频素材需求，为视频内容创作者提供了更加丰富的创作工具。
他们在报告中也透露了更多关于模型训练的核心细节，包括数据清洗和模型调优的实用技巧，以及构建了更完善的模型评估体系，保障模型的稳健性和泛化能力。
他们还提供了可以自行一键部署的Gradio应用，并支持调节输出的运动分数、美学分数和镜头移动方式等参数，甚至可以一键通过GPT-4o自动修改指令并支持中文输入。
打破闭环，开源赋能
自OpenAI Sora发布以来，业界对Sora的开放性期待值爆表，但现实却是持续的等待游戏。潞晨Open-Sora的开源，为文生视频的创新和发展注入了强劲的活力。
「授人以鱼不如授人以渔」，访问他们的GitHub地址，即可零门槛免费获得模型权重和全套训练代码，这使用户从被动的内容消费者转变为积极的内容创造者。
这一转型为企业用户解锁了自主开发文生视频应用的新技能，无论是打造沉浸式游戏、创意广告还是制作影视大片，文生视频技术的应用场景得到了指数级扩展。
或许可以期待这股星星之火，能够点燃整个文生视频领域的创新激情，实现从点到面的燎原之势。
潞晨Open-Sora开源链接：
https://github.com/hpcaitech/Open-Sora
参考资料：
https://wandb.ai/lambdalabs/lego/reports/Text2Bricks-Fine-tuning-Open-Sora-in-1-000-GPU-Hours--Vmlldzo4MDE3MTky
https://hpc-ai.com/blog/open-sora-from-hpc-ai-tech-team-continues-open-source-generate-any-16-second-720p-hd-video-with-one-click-model-weights-ready-to-use
人工智能产业链联盟高端社区
相关阅读
【碳中和】珍藏版！22个国内外“碳中和”相关报告合集！
【工业机器人】全球工业机器人详细产业链梳理！
【智能制造】智能制造50大产业链全景图
【智能工厂】智能工厂如何快速落地
【工业技术】航空制造推动新概念机器人发展（上）
【工业技术】航空制造推动新概念机器人发展（下）
【新基建+人工智能生态】全网最火“新基建”生态图谱—人工智能篇（含40个细分领域厂商）
【AI】一文读懂人脸识别技术
【AI】解析 | 人工智能发展及技术架构
【报告】中国人工智能厂商全景报告（附PDF下载）
【AI】（收藏）从 A-Z 全面盘点人工智能专业术语梳理！
【AI】计算机视觉入门大全：基础概念、运行原理、应用案例详解
【AI】一文读懂机器学习、数据科学、人工智能、深度学习和统计学之间的区别
【智能仓储】一文带你彻底搞懂智能仓储！
【深度学习】12张高清思维导图，总结深度学习
【神经网络】给初学者们讲解人工神经网络（ANN）
人工智能的基础--知识分类
【AI产业链】120图勾勒全球AI产业完整图谱!
【AI】一文读懂人工智能产业链
【AI】中国人脸识别产业链全景图！
【AI】史上最全的人工智能（AI）产业链地图！
【芯片】国产芯片大全：70个细分领域代表企业
人工智能产业链深度透析—基础层
人工智能产业链深度透析-技术层
人工智能全产业链深度透析--（综合）
人工智能产业链深度透析—产业应用医疗篇
朱松纯 | 人工智能的现状、任务、构架与统一（上）
朱松纯 | 人工智能的现状、任务、构架与统一（中）
朱松纯 | 人工智能的现状、任务、构架与统一（下）
【AI】美国国家人工智能研发战略规划2019
【智慧农业】2018中国农牧家禽行业智慧养殖白皮书
【智慧农业】2019年智慧农业市场调研及前景研究报告（附PDF下载）
【智能家居】我国智能锁产业现状及未来发展趋势分析
【知识图谱】详解知识图谱关键技术与应用、AI图谱技术在知乎的应用实践、如何构建多快好省的“知识图谱即服务”
荐：
【中国风动漫】《姜子牙》刷屏背后，藏着中国动画100年内幕
【中国风动漫】除了《哪吒》，这些良心国产动画也应该被更多人知道！
【中国风动漫】《雾山五行》大火，却很少人知道它的前身《岁城璃心》一个拿着十米大刀的男主夭折！
声明
免责声明：部分文章和信息来源于互联网，不代表本订阅号赞同其观点和对其真实性负责。如转载内容涉及版权等问题，请立即与小编联系（微信号：913572853），我们将迅速采取适当的措施。本订阅号原创内容，转载需授权，并注明作者和出处。如需投稿请与小助理联系（微信号：AI480908961）
编辑：Zero