克雷西 发自 三里屯量子位 | 公众号 QbitAI
只要一台“手机”,普通用户也能随时随地拍摄出AR大片了。
这个看似手机的设备,就是AR独角兽XREAL最新推出的空间计算终端Beam Pro。
不同于传统的3D拍摄,用它拍AR视频,不用后期处理,立马就能看,效果是这样婶儿的:
而且还能把2D应用迁移到三维空间,甚至把像Xbox、PS5这样的游戏主机,也串流到AR世界当中。
配合上AR眼镜,不必坐到电视前也能看电影、打游戏,再也不必担心会有人走过挡住画面了。
可以说,Beam既是小型3D摄像机,又是AR终端驱动器,还是一个串流终端,平时当成普通平板来用也没问题。
价格也十分亲民,6+128GB版本只要1299,甚至比单独一个3D镜头(1600元)还要便宜。
那么,这究竟是怎样的一款产品?
人人都能成为AR创作者
首先了解一下Beam Pro的硬件参数:
外观上,搭载了90Hz 6.5英寸防频闪LCD屏幕,拥有两颗5000万像素摄像头和双USB-C接口。
计算与存储上看,内置高通骁龙4nm制程8核芯片,配备6+128 GB/8+256 GB存储,支持最高1T Micro SD卡扩展。
连接方面,拥有2*2 MIMO双天线,支持WIFI6+蓝牙5.2。
续航方面,内置4300mAh电池,在连接XREAL Air系列眼镜时可以连续使用3小时,支持最高27W的快充。
但比硬件参数更重要的,是内容生态,Beam Pro的出现,也让这个生态变得人人都可参与。
过去,想要看一部AR电影,可能光是寻找片源就能让人累个半死,更不必说专业的制作了。
但Beam Pro则不需要任何专业知识就能拍摄,也无需任何后期处理,插上AR眼镜就能立刻欣赏自己的大作。
之所以能实现这一点,除了技术,还在于许多细节上的改变。
比如硬件层面,Beam Pro的两颗摄像头就是专门为AR拍摄而设计,这也是硬件上Beam Pro与手机的最大不同。
在手机中虽然也有多颗摄像头,但往往负责着不同的拍摄任务,因此光圈参数也不相同,如果用手机的双摄拍摄AR影像,会出现景深不同步的问题。
另外,手机中的摄像头间距太近,不符合人类双眼之间的距离,拍出来的AR视频也会给人带来不真实感。
但Beam Pro所搭载的两颗5000万像素的摄像头,则采用了相同的配置,都是14毫米焦距配合2.2光圈,镜头间距则设计成了50毫米。
采用完全相同的摄像头,景深不一致的问题就得到了解决;增大后的镜头间距,也与人类的瞳距更接近了。
当然除了硬件,还需要算法上的支持。
Beam Pro内置的双目立体校正算法,进一步消除了双主摄镜头的景深差异,让画面无叠影、成像显示更清晰,拍摄主体和背景的融入更加自然。
另外,XREAL也延续了核心防抖科技EIS,并为3D拍摄做了深度算法优化;在3D拍摄帧率上,支持防抖效果更好的30fps和流畅度更好的60fps两种模式,画面流畅度上逼近真实质感。
将2D内容带进AR世界
诚然,Beam Pro将AR视频的门槛大幅降低,但视频只是AR世界诸多内容中的冰山一角。
想象一下我们用手机的时候,不可避免接触的就是海量应用,在AR世界也是同样的道理。
但实际上,由于终端保有量较低,开发者对此的热情并不高涨。
既然专业作者缺乏热情,Beam Pro就采取了“曲线救国”的方法,将2D内容3D化,将普通应用带进AR世界。
具体来说,XREAL专为空间计算打造了操作系统nebulaOS,结合自研算法,让Beam Pro把移动APP内容,直接“搬”进AR世界。
当然,Beam Pro中也预装了影视、游戏、办公等多个热门内容应用,让丰富的AR内容“开箱即得”。
除了应用,Beam Pro也支持直接把其他终端设备上的内容串流到AR世界当中。
只要在相同的局域网之下,无论是Steam,还是Xbox、PS5等游戏主机,都能实时把游戏画面投射到AR眼镜里。
哪怕游戏机放在客厅,只要打开串流,也能躺在卧室里,戴上眼镜打游戏,不再需要用固定的姿势盯紧电视屏幕,也不必担心有人突然从画面前穿过了。
当然,2D内容的投射,是受实际情况所限的过渡性方案,从长远上看,还是需要更多的原生应用。
因此XREAL在扩大用户规模的同时,还为开发者提供了SDK,希望通过多种手段,吸引更多AR内容开发者加入。
AI时代,AR也在拥抱AI
在AI时代,谈论一种新的硬件,如果不提AI,仿佛总让人感觉少了点什么。
而对于AI与AR之间的关系,XREAL创始人兼CEO徐驰这样说:
AI与AR之间是一种“双向奔赴”——AR是AI的最好载体,AI是AR的最好交互。
一方面,AR眼镜的真实视角能为AI提供最接近人类的视觉素材;另一方面,AI驱动着AR设备当中的许多交互功能。
甚至在用户不能直观感受到的地方,AI同样在默默付出。
不仅是XREAL,实际上许多AR产品中都有的手势交互,就是非常标准的基于计算机视觉的AI智能网络模型做的任务,但在这个过程当中,用户不会感知到它是一个大模型或者什么模型在后面跑。
就像手势交互一样,在核心算法、感知算法、交互算法等方面,AR设备都无法脱离AI的帮助。
不过在内容方面,AI在AR世界当中可能刚刚甚至尚未起步,但未来在AR的土壤之中生根发芽,或许也只是个时间问题。
— 完 —
量子位年度AI主题策划正在征集中!
欢迎投稿专题 一千零一个AI应用,365行AI落地方案
或与我们分享你在寻找的AI产品,或发现的AI新动向
点这里👇关注我,记得标星哦~
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见 ~
只要一台“手机”,普通用户也能随时随地拍摄出AR大片了。
这个看似手机的设备,就是AR独角兽XREAL最新推出的空间计算终端Beam Pro。
不同于传统的3D拍摄,用它拍AR视频,不用后期处理,立马就能看,效果是这样婶儿的:
而且还能把2D应用迁移到三维空间,甚至把像Xbox、PS5这样的游戏主机,也串流到AR世界当中。
配合上AR眼镜,不必坐到电视前也能看电影、打游戏,再也不必担心会有人走过挡住画面了。
可以说,Beam既是小型3D摄像机,又是AR终端驱动器,还是一个串流终端,平时当成普通平板来用也没问题。
价格也十分亲民,6+128GB版本只要1299,甚至比单独一个3D镜头(1600元)还要便宜。
那么,这究竟是怎样的一款产品?
人人都能成为AR创作者
首先了解一下Beam Pro的硬件参数:
外观上,搭载了90Hz 6.5英寸防频闪LCD屏幕,拥有两颗5000万像素摄像头和双USB-C接口。
计算与存储上看,内置高通骁龙4nm制程8核芯片,配备6+128 GB/8+256 GB存储,支持最高1T Micro SD卡扩展。
连接方面,拥有2*2 MIMO双天线,支持WIFI6+蓝牙5.2。
续航方面,内置4300mAh电池,在连接XREAL Air系列眼镜时可以连续使用3小时,支持最高27W的快充。
但比硬件参数更重要的,是内容生态,Beam Pro的出现,也让这个生态变得人人都可参与。
过去,想要看一部AR电影,可能光是寻找片源就能让人累个半死,更不必说专业的制作了。
但Beam Pro则不需要任何专业知识就能拍摄,也无需任何后期处理,插上AR眼镜就能立刻欣赏自己的大作。
之所以能实现这一点,除了技术,还在于许多细节上的改变。
比如硬件层面,Beam Pro的两颗摄像头就是专门为AR拍摄而设计,这也是硬件上Beam Pro与手机的最大不同。
在手机中虽然也有多颗摄像头,但往往负责着不同的拍摄任务,因此光圈参数也不相同,如果用手机的双摄拍摄AR影像,会出现景深不同步的问题。
另外,手机中的摄像头间距太近,不符合人类双眼之间的距离,拍出来的AR视频也会给人带来不真实感。
但Beam Pro所搭载的两颗5000万像素的摄像头,则采用了相同的配置,都是14毫米焦距配合2.2光圈,镜头间距则设计成了50毫米。
采用完全相同的摄像头,景深不一致的问题就得到了解决;增大后的镜头间距,也与人类的瞳距更接近了。
当然除了硬件,还需要算法上的支持。
Beam Pro内置的双目立体校正算法,进一步消除了双主摄镜头的景深差异,让画面无叠影、成像显示更清晰,拍摄主体和背景的融入更加自然。
另外,XREAL也延续了核心防抖科技EIS,并为3D拍摄做了深度算法优化;在3D拍摄帧率上,支持防抖效果更好的30fps和流畅度更好的60fps两种模式,画面流畅度上逼近真实质感。
将2D内容带进AR世界
诚然,Beam Pro将AR视频的门槛大幅降低,但视频只是AR世界诸多内容中的冰山一角。
想象一下我们用手机的时候,不可避免接触的就是海量应用,在AR世界也是同样的道理。
但实际上,由于终端保有量较低,开发者对此的热情并不高涨。
既然专业作者缺乏热情,Beam Pro就采取了“曲线救国”的方法,将2D内容3D化,将普通应用带进AR世界。
具体来说,XREAL专为空间计算打造了操作系统nebulaOS,结合自研算法,让Beam Pro把移动APP内容,直接“搬”进AR世界。
当然,Beam Pro中也预装了影视、游戏、办公等多个热门内容应用,让丰富的AR内容“开箱即得”。
除了应用,Beam Pro也支持直接把其他终端设备上的内容串流到AR世界当中。
只要在相同的局域网之下,无论是Steam,还是Xbox、PS5等游戏主机,都能实时把游戏画面投射到AR眼镜里。
哪怕游戏机放在客厅,只要打开串流,也能躺在卧室里,戴上眼镜打游戏,不再需要用固定的姿势盯紧电视屏幕,也不必担心有人突然从画面前穿过了。
当然,2D内容的投射,是受实际情况所限的过渡性方案,从长远上看,还是需要更多的原生应用。
因此XREAL在扩大用户规模的同时,还为开发者提供了SDK,希望通过多种手段,吸引更多AR内容开发者加入。
AI时代,AR也在拥抱AI
在AI时代,谈论一种新的硬件,如果不提AI,仿佛总让人感觉少了点什么。
而对于AI与AR之间的关系,XREAL创始人兼CEO徐驰这样说:
AI与AR之间是一种“双向奔赴”——AR是AI的最好载体,AI是AR的最好交互。
一方面,AR眼镜的真实视角能为AI提供最接近人类的视觉素材;另一方面,AI驱动着AR设备当中的许多交互功能。
甚至在用户不能直观感受到的地方,AI同样在默默付出。
不仅是XREAL,实际上许多AR产品中都有的手势交互,就是非常标准的基于计算机视觉的AI智能网络模型做的任务,但在这个过程当中,用户不会感知到它是一个大模型或者什么模型在后面跑。
就像手势交互一样,在核心算法、感知算法、交互算法等方面,AR设备都无法脱离AI的帮助。
不过在内容方面,AI在AR世界当中可能刚刚甚至尚未起步,但未来在AR的土壤之中生根发芽,或许也只是个时间问题。
— 完 —
量子位年度AI主题策划正在征集中!
欢迎投稿专题 一千零一个AI应用,365行AI落地方案
或与我们分享你在寻找的AI产品,或发现的AI新动向
点这里👇关注我,记得标星哦~
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见 ~