AI视频理解天花板,全新MiniGPT4-Video刷爆SOTA!宝格丽宣传片配文一绝




【导读】秒懂视频的AI诞生了!KAUST和哈佛大学研究团队提出MiniGPT4-Video框架,不仅能理解复杂视频,甚至还能作诗配文。
几天前,OpenAI官方账号发布了第一支由Sora制作的MV——Worldweight,引全网围观。

AI视频,已然成为多模态LLM发展的大趋势。
然而,除了视频生成,让LLM对复杂视频进行理解,也至关重要。
最近,来自KAUST和哈佛大学的研究人员提出了MiniGPT4-Video——专为视频理解而设计的多模态大模型。

论文地址:https://arxiv.org/pdf/2404.03413.pdf
值得一提的是,MiniGPT4-Video能够同时处理时态视觉数据和文本数据,因此善于理解视频的复杂性。
比如,上传一个宝格丽的首饰宣传视频。

MiniGPT4-Video能够为其配出标题,宣传语。

再比如,使用虚幻引擎制作的视频,新模型可以对其进行理解。

能看出这个视频使用了后期处理和特效,而不是实际拍摄出来的。

甚至,看过一簇簇花盛开的视频,MiniGPT4-video即兴作出了超美的抒情诗。

基于MiniGPT-v2,MiniGPT4-video将其能力扩展到处理帧序列,以便理解视频。
MiniGPT4-video不仅考虑了视觉内容,还纳入了文本对话,使该模型能够有效地回答涉及视觉和文本内容的查询。
实验结果显示,新方法在MSVD、MSRVTT、TGIF和TVQA基准上分别提高了4.22%、1.13%、20.82%和13.1%。

接下来,一起看看MiniGPT4-video还能做什么?
更多演示
上传一个宝宝戴眼镜看书的视频后,MiniGPT4-video可以理解搞笑点在哪里。

提取视频中核心要义,也不在话下。

你还可以让MiniGPT4-Video生成一个创意性的广告。

解说视频也是超级厉害。

MiniGPT4-Video能能够拥有如此强大视频解读能力,究竟是怎么做到的?
技术介绍
MiniGPT-v2通过将视觉特征转化为LLM空间,从而实现了对单幅图像的理解。
他的结构如下图2所示,由于LLM上下文窗口的限制,每段视频都要进行帧子采样,帧数(N)由LLM的上下文窗口决定。

随后,使用预先训练好的模型EVA-CLIP,将视觉帧与文本描述对齐,然后使用线性层将其映射到大型语言模型空间。
与MiniGPT-v2类似,研究人员将每幅图像中每四个相邻的视觉token浓缩为一个token,从而将每幅图像的token数减少了 75%,从256个减少到64个。
在训练过程中,研究人员会随数据集提供字幕,但在推理过程中或视频没有字幕时,研究人员会利用语音到文本模型(如 whisper)生成视频字幕。
帧字幕使用LLM tokenizer进行token化,将每个采样帧的视觉token和文本token进行连接。指令token被附加到输入序列的末尾,然后模型输出问题的答案。
训练流程
大规模图像-文本对预训练
在第一阶段,研究人员训练了一个线性层。
它将由视觉编码器编码的视觉特征(例如 EVACLIP )投影到LLM的文本空间中,并采用captioning loss。
研究人员利用了一个结合的图像描述数据集,包括来自LAION、概念性标题(Conceptual Captions)和SBU的图像,以将视觉特征与LLM的输入空间对齐。
大规模视频-文本对预训练
在第二阶段,研究人员使模型通过输入多帧来理解视频。
具体来说,研究人员从每个视频中抽取最多N帧。在此阶段,研究人员使用以下模板中的预定义提示:
<s>[INST]<Img><FrameFeature_1><Sub><Subtitle text_1>... <Img> <FrameFeature_N><Sub><Subtitle text_N><Instruction></INST>
抽取的帧数取决于每个语言模型的上下文窗口,特别是对于Llama 2,上下文窗口是4096个tokens,而Mistral的上下文窗口是8192个tokens。
在研究人员的方法中,他们用了64个tokens表示每个图像。
因此,对于Llama 2,研究人员指定N=45帧,相当于2880个tokens用于视觉内容表示。
此外,研究人员为字幕分配1000个tokens,而剩余的tokens用于模型输出。
类似地,在Mistral的情况下,上下文窗口加倍,N相应地加倍到N=90帧,以确保与扩展的上下文窗口兼容。
在此提示中,每个<FrameFeature>都由视觉主干编码的采样视频帧替换。
<Subtitle text>代表相应帧的字幕,<Instruction>代表研究人员预定义的指令集中随机采样的指令,包含多种形式的指令,如「简要描述这些视频」。
研究人员使用结合了CMD和WebVid的视频描述数据进行大规模视频描述训练。
视频问题解答指令微调
在这一阶段,研究人员采用与第二阶段相同的训练策略,但重点是利用高质量的视频答题数据集进行教学微调。
这一微调阶段有助于提高模型解释输入视频和生成精确回复的能力。
解释输入视频并生成相应的问题。模板与第二阶段模板与第二阶段的模板相同,但将 <Instruction> 替换为Video-ChatGPT数据集中提到的一般问题。
实现细节
在三个训练阶段中,研究人员保持批大小为4,并使用AdamW优化器结合余弦学习率调度器,将学习率设置为1e4。
研究人员的视觉主干是EVA-CLIP,进行了权重冻结。
值得注意的是,研究人员训练了线性投影层,并使用LoRA对语言模型进行了高效微调。
具体来说,研究人员微调了Wq和Wv组件,排名(r)为64,LoRA-alpha值为16。整个模型以一致的224×224像素的图像分辨率进行训练,确保了所有阶段的统一性。
多项基准,刷新SOTA
为了对最新提出的架构进行全面评估,研究人员评估了三种基准类型的性能:Video-ChatGPT、Open-ended Questions和Multiple-Choice Questions (MCQs)。
表1所示的VideoChatGPT基准测试中,最新模型在没有字幕的情况下与之前的方法不相上下。
当研究人员将字幕作为输入时,模型在所有五个维度上都取得了SOTA。
这验证了研究人员的模型可以利用字幕信息,来提高视频的理解。

在另外两个基准测试评估中,MiniGPT4-Video明显优于最新的SOTA方法。
它在MSVD、MSRVTT、TGIF和TVQA基准上分别实现了4.22%、1.13%、20.82%和13.1%的显着改进。
带字幕和不带字幕的结果进一步表明,将字幕信息与视觉提示集成可显著提高性能,TVQA的准确率从33.9%提高到54.21%。

定性结果
更多的定性结果,如下图所示。


最后,研究人员还将MiniGPT4-video与VideoChatGPT相比较。
可以看出,针对一个问题,最新方法的回复更加全面。

总之,MiniGPT4-video有效地融合了视频领域内的视觉和对话理解,为视频问答提供了一个 引人注目的解决方案。
不过,缺陷在于上下文窗口限制。
具体来说,当前版本要求Llama 2视频长度为45帧(不到一分半),Mistral版本的视频长度为90帧(不到三分钟)。
因此,下一步研究将模型能力扩展到处理更长视频的能力。
参考资料:
https://arxiv.org/pdf/2404.03413.pdf
人工智能产业链联盟高端社区

相关阅读
【碳中和】珍藏版!22个国内外“碳中和”相关报告合集!
【工业机器人】全球工业机器人详细产业链梳理!
【智能制造】智能制造50大产业链全景图
【智能工厂】智能工厂如何快速落地
【工业技术】航空制造推动新概念机器人发展(上)
【工业技术】航空制造推动新概念机器人发展(下)
【新基建+人工智能生态】全网最火“新基建”生态图谱—人工智能篇(含40个细分领域厂商)
【AI】一文读懂人脸识别技术
【AI】解析 | 人工智能发展及技术架构
【报告】中国人工智能厂商全景报告(附PDF下载)
【AI】(收藏)从 A-Z 全面盘点人工智能专业术语梳理!
【AI】计算机视觉入门大全:基础概念、运行原理、应用案例详解
【AI】一文读懂机器学习、数据科学、人工智能、深度学习和统计学之间的区别
【智能仓储】一文带你彻底搞懂智能仓储!
【深度学习】12张高清思维导图,总结深度学习
【神经网络】给初学者们讲解人工神经网络(ANN)
人工智能的基础--知识分类
【AI产业链】120图勾勒全球AI产业完整图谱!
【AI】一文读懂人工智能产业链
【AI】中国人脸识别产业链全景图!
【AI】史上最全的人工智能(AI)产业链地图!
【芯片】国产芯片大全:70个细分领域代表企业
人工智能产业链深度透析—基础层
人工智能产业链深度透析-技术层
人工智能全产业链深度透析--(综合)
人工智能产业链深度透析—产业应用医疗篇
朱松纯 | 人工智能的现状、任务、构架与统一(上)
朱松纯 | 人工智能的现状、任务、构架与统一(中)
朱松纯 | 人工智能的现状、任务、构架与统一(下)
【AI】美国国家人工智能研发战略规划2019
【智慧农业】2018中国农牧家禽行业智慧养殖白皮书
【智慧农业】2019年智慧农业市场调研及前景研究报告(附PDF下载)
【智能家居】我国智能锁产业现状及未来发展趋势分析
【知识图谱】详解知识图谱关键技术与应用、AI图谱技术在知乎的应用实践、如何构建多快好省的“知识图谱即服务”
荐:
【中国风动漫】《姜子牙》刷屏背后,藏着中国动画100年内幕
【中国风动漫】除了《哪吒》,这些良心国产动画也应该被更多人知道!
【中国风动漫】《雾山五行》大火,却很少人知道它的前身《岁城璃心》一个拿着十米大刀的男主夭折!

声明
免责声明:部分文章和信息来源于互联网,不代表本订阅号赞同其观点和对其真实性负责。如转载内容涉及版权等问题,请立即与小编联系(微信号:913572853),我们将迅速采取适当的措施。本订阅号原创内容,转载需授权,并注明作者和出处。如需投稿请与小助理联系(微信号:AI480908961)
编辑:Zero




到顶部