本文为1064字，建议阅读4分钟
机器人操控的开放领域里，如何让机器人掌握各种通用技能一直是一个棘手的问题，目前研究社群的关注点大多局限于一些相对简单的任务，例如推动或拾放物体，而这主要是因为依赖的训练数据集过于有限。然而，在现实生活中，机器人需要执行的技能远比这些复杂得多，有些甚至需要视觉和触觉的双重感知，为此上海交通大学最近研发上线了一个机器人数据集RH20T：一次性学习多种技能的综合机器人数据集
论文地址：https://arxiv.org/abs/2307.00595
上交论文意在释放机器人在多模态感知下，适应数百种现实世界技能的巨大潜能。为达此目的，他们精心构建了一个包含超过110,000个高接触度机器人操控序列的数据集，这些序列涵盖了从不同环境、角度、和机器类型等多角度的多样性。重要的是，这些数据都是在真实世界环境中收集的。
在构建这一数据集过程中，上交投入了大量的精力，精确校准了所有的传感器，以确保数据的高质量和准确性。这一宝贵的数据资源将会公开提供给广大研究者（下载地址：https://rh20t.github.io/）
大家不要忘了，当年正是由李飞飞带领团队构建了ImageNet大型图片数据库才让人工智能，深度学习有了突飞猛进的进步，才有了今天的大模型百团大战
上交的这个数据库可以说是通用机器人领域的ImageNet，有了它，以后就可以构建真正的多模态，具备可以像人一样操作的机器人
RH20T 数据集中每个任务都包含数百万个<人类示范，机器人操作>对，这一特点对于机器人学习和人工智能领域有着重要的意义。 这些序列涵盖了多样的技能、环境、机器人和摄像头视点，超过40TB
数据集不仅覆盖了不同类型的感官输入，还提供了丰富的上下文信息，有助于模型更好地理解和执行任务
上交还提供了数据集API接口
数据集 API 的基本用法，包括数据提取脚本、用于从数据集加载预处理场景数据的场景数据加载器，以及用于实际机器人操作推理的在线预处理器。您还可以参考可视化器实现，以便更好地了解如何使用场景数据加载器。
提供了将数据集转换为原始图像版本的应用程序接口和多处理脚本
由于该数据集的部分资金来自一家公司，因此它获得了多种许可证。它分为两个子集：RH20T-C（商业）和 RH20T-NC（非商业）
个人觉得上交的这项研究非常踏实，且具有巨大影响力，这是我们非常缺乏的基础研究，很多人不愿意干的“脏活累活”，最终人类要研发出能在工厂里上班的机器人这一步研究却是极其重要的
⭐星标AI寒武纪，好内容不错过⭐
用你的赞和在看告诉我～
以后就是机器人在工厂打螺丝了👇👇