梦晨 克雷西 发自 凹非寺量子位 | 公众号 QbitAI
Sora新视频，变成“抖音独占”了。
悄无声息，OpenAI正式杀入TikTok，加上洗脑配乐直接让人刷到停不下来，疯狂引流吸粉中：
短短4天，涨粉10万，50万赞——这还是不打枪不宣传的情况下。
这以后，人类创作者还怎么玩？
![]()
Sora新视频，只发TikTok
在OpenAI刚开的TikTok认证帐号上，悄然更新了不少全新生成视频。
每一个都很有特点，同样引发各路热议。
来感受一下：
a16z合伙人惊呼，如果这是在信息流里刷出来的，绝对分不出真假。
我看过很多AI视频了，但这一条感觉到了转折点。
![]()
来到真实的短视频消费场景中，就更显Sora与竞品代差明显：太逼真，以至于要特别声明不是真的。
OpenAI可太担心AI视频被当真引起不好影响了，不遗余力的以各种方式提醒“这是假的！这是假的！”。
![]()
网友开始发出这样的预警：
从现在开始，你在网上看到的一切都是值得怀疑的，不要相信你的眼睛。
![]()
有句老话叫“互联网时代，没有人知道你是一条狗”。
现在正式升级成“Sora时代，没有人知道你是一条不存在的狗”。
下面再来欣赏几个“抖音独占”版Sora视频：
超微距追踪蚁群，效果堪比纪录片。
以前DALL·E 3画的静态图也可以拿出来重复利用，Sora加工一下再配上电音，就成了爆款舞蹈视频。
还特意用一条长达1分24秒的视频，展示了类似抖音特效的AI视频编辑能力。
直接搞得不少短视频创作者心态爆炸，要退坑了。
![]()
甚至连平台本身都被降维打击。
![]()
全球估值第一的独角兽字节跳动，与刚刚跃升第三位的OpenAI之间，似乎正酝酿着一场对决。
UGC王者和AIGC新贵之间，终有一战。
“字节版Sora”也在备战
实际上，在Sora一夜爆火之前，字节内部并不缺乏AI视频技术。
甚至其中一款Boximator还被传成是“中国版Sora”。
![]()
在Sora发布之前Boximator的论文就已经公布，由字节AI实验室总监李航领衔。
![]()
其实Boximator的功能并非根据纯文字生成视频，而是按照文字提示将静态图片动态化。
它以字节去年11月推出的PixelDance为基础模型，加入了新的动作设定方式——
从图像中框选物体，然后设置运动终点或直接绘制轨迹，就能对动态效果进行精细控制。
形式上，Boximator作为一个插件，与现有的视频扩散模型结合使用，通过冻结基础模型的权重，仅训练控制模块来实现这一功能。
比如，通过框框画画，让小哈基米按照一定的轨迹追着球跑。
![]()
效果上，虽然也有bug（飘走的雨伞没有伞柄），但与Pika 1.0（中）和Gen-2（右）相比，Boximator的动画明显更加完整，也更接近文字提示。
![]()
从材质和物理效果上看，也是Boximator更胜一筹。
![]()
技术层面，从架构上看，Boximator在视频扩散模型的每个空间注意力块中增加了一个新的自注意力层，用于处理由对象ID、硬/软标志和边界框坐标编码的控制token。
为了简化学习“框-对象”关联的挑战，Boximator在训练过程中还采用了一种称为自跟踪（self-tracking）的技术。
![]()
那么Boximator到底算不算“字节版Sora”？
字节对此传闻，以辟谣的姿态来回应：
Boximator是视频生成领域控制对象运动的技术方法研究项目，目前还无法作为完善的产品落地，距离国外领先的视频生成模型在画面质量、保真率、视频时长等方面还有很大差距。
Boximator建立在之前PixelDance（基础研究）、MagicAnimate（专注于人体动作）等更多字节团队研究基础之上的最新成果。
![]()
总的来说，这些技术并非针对Sora特意开发，但在AIGC大战如火如荼的背景之下，仍不失为一种“战备”。
再加上年前原抖音CEO张楠卸任，专注于剪映，奔赴AIGC风口。
可以说虽然Sora的发布很突然，但字节并不是毫无准备，或者说早就在业务推进中感知到了技术趋势。
而相比OpenAI与字节这样早晚要有的对决，视频行业上下游其他选手，更像是遭遇了一场飞来横祸。
视频编辑、素材站遭殃
Sora的第一刀，其实砍向了Adobe。
5天过去了，股价跌跌不休，市值蒸发过百亿美元。
![]()
危机时刻，Adobe刚刚紧急宣布，组建了一个50人的AI研究团队。
![]()
但是这投入的力度，没让大家看出诚意。
29945员工中的50人，只占0.16%。
![]()
Adobe代表的是沿用近30年的视频生产、编辑工具，服务于内容创作者。
不转型就会变成下一个柯达、诺基亚，但转型也被认为面临很大挑战。
比如有人指出，Adobe坐拥大量数据，但要用过去创作者的成果去训练AI，就会与这些用户关系紧张。
也正是因此，Adobe的AI生图工具Firefly并没有在自家创意作品社区Behance的数据上训练，有些束手束脚。
![]()
又比如从过去Adobe在AI生图的表现来看，效果比Midjourney尚且很大差距，如今在AI视频上又该如何面对OpenAI的技术代差。
![]()
Adobe之外，受冲击第二大的就是素材供应商了，代表公司Shutterstock的日子也不好过。
连马斯克都认同“这个行业可能消亡”的观点。
![]()
不过Shutterstock也给自己找好了退路，早早与OpenAI签订了合作协议，从素材供应商开始转型训练数据供应商。
这几天不断刷屏的Sora视频中，就有不少Shutterstock图片的影子。
![]()
![]()
还有人开玩笑说，Sora名字四个字母不会就是代表“Shutterstock原创，AI搅拌”吧。
![]()
参考链接：[1]https://www.tiktok.com/@openai[2]https://boximator.github.io/[3]https://twitter.com/bilawalsidhu/status/1760076742679552273
— 完 —
报名中！
2024年值得关注的AIGC企业&产品
量子位正在评选2024年最值得关注的AIGC企业、 2024年最值得期待的AIGC产品两类奖项，欢迎报名评选！
评选报名截至2024年3月31日![]()
![]()
中国AIGC产业峰会同步火热筹备中，了解更多请戳：在这里，看见生成式AI的应用未来！中国AIGC产业峰会来啦！
商务合作请联络微信：18600164356 徐峰
活动合作请联络微信：18801103170 王琳玉
点这里👇关注我，记得标星噢
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见 ~
![]()
Sora新视频，变成“抖音独占”了。
悄无声息，OpenAI正式杀入TikTok，加上洗脑配乐直接让人刷到停不下来，疯狂引流吸粉中：
短短4天，涨粉10万，50万赞——这还是不打枪不宣传的情况下。
这以后，人类创作者还怎么玩？
Sora新视频，只发TikTok
在OpenAI刚开的TikTok认证帐号上，悄然更新了不少全新生成视频。
每一个都很有特点，同样引发各路热议。
来感受一下：
a16z合伙人惊呼，如果这是在信息流里刷出来的，绝对分不出真假。
我看过很多AI视频了，但这一条感觉到了转折点。
来到真实的短视频消费场景中，就更显Sora与竞品代差明显：太逼真，以至于要特别声明不是真的。
OpenAI可太担心AI视频被当真引起不好影响了，不遗余力的以各种方式提醒“这是假的！这是假的！”。
网友开始发出这样的预警：
从现在开始，你在网上看到的一切都是值得怀疑的，不要相信你的眼睛。
有句老话叫“互联网时代，没有人知道你是一条狗”。
现在正式升级成“Sora时代，没有人知道你是一条不存在的狗”。
下面再来欣赏几个“抖音独占”版Sora视频：
超微距追踪蚁群，效果堪比纪录片。
以前DALL·E 3画的静态图也可以拿出来重复利用，Sora加工一下再配上电音，就成了爆款舞蹈视频。
还特意用一条长达1分24秒的视频，展示了类似抖音特效的AI视频编辑能力。
直接搞得不少短视频创作者心态爆炸，要退坑了。
甚至连平台本身都被降维打击。
全球估值第一的独角兽字节跳动，与刚刚跃升第三位的OpenAI之间，似乎正酝酿着一场对决。
UGC王者和AIGC新贵之间，终有一战。
“字节版Sora”也在备战
实际上，在Sora一夜爆火之前，字节内部并不缺乏AI视频技术。
甚至其中一款Boximator还被传成是“中国版Sora”。
在Sora发布之前Boximator的论文就已经公布，由字节AI实验室总监李航领衔。
其实Boximator的功能并非根据纯文字生成视频，而是按照文字提示将静态图片动态化。
它以字节去年11月推出的PixelDance为基础模型，加入了新的动作设定方式——
从图像中框选物体，然后设置运动终点或直接绘制轨迹，就能对动态效果进行精细控制。
形式上，Boximator作为一个插件，与现有的视频扩散模型结合使用，通过冻结基础模型的权重，仅训练控制模块来实现这一功能。
比如，通过框框画画，让小哈基米按照一定的轨迹追着球跑。
效果上，虽然也有bug（飘走的雨伞没有伞柄），但与Pika 1.0（中）和Gen-2（右）相比，Boximator的动画明显更加完整，也更接近文字提示。
从材质和物理效果上看，也是Boximator更胜一筹。
技术层面，从架构上看，Boximator在视频扩散模型的每个空间注意力块中增加了一个新的自注意力层，用于处理由对象ID、硬/软标志和边界框坐标编码的控制token。
为了简化学习“框-对象”关联的挑战，Boximator在训练过程中还采用了一种称为自跟踪（self-tracking）的技术。
那么Boximator到底算不算“字节版Sora”？
字节对此传闻，以辟谣的姿态来回应：
Boximator是视频生成领域控制对象运动的技术方法研究项目，目前还无法作为完善的产品落地，距离国外领先的视频生成模型在画面质量、保真率、视频时长等方面还有很大差距。
Boximator建立在之前PixelDance（基础研究）、MagicAnimate（专注于人体动作）等更多字节团队研究基础之上的最新成果。
总的来说，这些技术并非针对Sora特意开发，但在AIGC大战如火如荼的背景之下，仍不失为一种“战备”。
再加上年前原抖音CEO张楠卸任，专注于剪映，奔赴AIGC风口。
可以说虽然Sora的发布很突然，但字节并不是毫无准备，或者说早就在业务推进中感知到了技术趋势。
而相比OpenAI与字节这样早晚要有的对决，视频行业上下游其他选手，更像是遭遇了一场飞来横祸。
视频编辑、素材站遭殃
Sora的第一刀，其实砍向了Adobe。
5天过去了，股价跌跌不休，市值蒸发过百亿美元。
危机时刻，Adobe刚刚紧急宣布，组建了一个50人的AI研究团队。
但是这投入的力度，没让大家看出诚意。
29945员工中的50人，只占0.16%。
Adobe代表的是沿用近30年的视频生产、编辑工具，服务于内容创作者。
不转型就会变成下一个柯达、诺基亚，但转型也被认为面临很大挑战。
比如有人指出，Adobe坐拥大量数据，但要用过去创作者的成果去训练AI，就会与这些用户关系紧张。
也正是因此，Adobe的AI生图工具Firefly并没有在自家创意作品社区Behance的数据上训练，有些束手束脚。
又比如从过去Adobe在AI生图的表现来看，效果比Midjourney尚且很大差距，如今在AI视频上又该如何面对OpenAI的技术代差。
Adobe之外，受冲击第二大的就是素材供应商了，代表公司Shutterstock的日子也不好过。
连马斯克都认同“这个行业可能消亡”的观点。
不过Shutterstock也给自己找好了退路，早早与OpenAI签订了合作协议，从素材供应商开始转型训练数据供应商。
这几天不断刷屏的Sora视频中，就有不少Shutterstock图片的影子。
还有人开玩笑说，Sora名字四个字母不会就是代表“Shutterstock原创，AI搅拌”吧。
参考链接：[1]https://www.tiktok.com/@openai[2]https://boximator.github.io/[3]https://twitter.com/bilawalsidhu/status/1760076742679552273
— 完 —
报名中！
2024年值得关注的AIGC企业&产品
量子位正在评选2024年最值得关注的AIGC企业、 2024年最值得期待的AIGC产品两类奖项，欢迎报名评选！
评选报名截至2024年3月31日
中国AIGC产业峰会同步火热筹备中，了解更多请戳：在这里，看见生成式AI的应用未来！中国AIGC产业峰会来啦！
商务合作请联络微信：18600164356 徐峰
活动合作请联络微信：18801103170 王琳玉
点这里👇关注我，记得标星噢
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见 ~