ARIO

具身智能是目前智能科学前沿的方向，被认为是实现通用人工智能的必经之路。以美国为首的发达国家和OpenAI、英伟达为代表的众多科技巨头，均将具身智能作为重要战略方向，纷纷投入巨资布局。与此同时，中国相关产业界也涌现出一批具身智能前沿探索科研机构与企业，如为斯坦福Mobile Aloha项目提供硬件实施基础的松灵机器人等，积极参与并推动国内相关领域的科研课题与成果应用。

在大模型时代，通过增加数据量、扩大模型规模，可以实现模型性能的持续提升。为构建具身智能基础大模型，搭建具有规模化效应的具身智能应用平台，一个开源的大规模高质量的机器人感知操作数据集迫在眉睫。正如斯坦福大学的ImageNet推动了计算机视觉的研究一样，作为国家战略科技力量的重要组成部分，我们希望依托“中国算力网”和“启智”开源生态，在具身智能领域牵头创建一个具有同样影响力的开源数据集ARIO（All Robots In One）。

数据文件结构整体分为：collection——series——task——episode，collection是指一次提交上传的数据集样本，可能包含不同的场景和机器人类型，series是指同一个场景和同一个机器人采集的系列数据，如双臂机器人在厨房采集的系列数据，可能包含不同的任务，task是一个具体的任务，比如抓取苹果，同一个任务可以重复采集多次，episode是针对某一具体任务的一次完整采集过程。episode下分传感器采集数据，各传感器可根据自己频率自行采集，但要以同一个时间戳为基准。示例文件结构如下：

collection（一次提交的数据集样本）

│ commit.yaml（提交者信息与声明）

│

├─series-1（同一个场景，同一个机器人）

│ │  calibration_1.yaml（相机1标定参数）

│ │  calibration_cam1_lidar1.yaml（相机1与lidar 1的标定参数）

│ │  IMU.pdf（IMU传感器说明书）

│ │  information.yaml（场景描述，机器人信息，各传感器数量和信息）

│ │  touch.pdf（触觉传感器说明书）

│  │     松灵机器人说明书.pdf

│ │

│ ├─task-1（一个任务，如：抓取苹果）

│ │  │  description.yaml（instruction）

│ │  │  task_record.mp4（每个任务的视频记录）

│ │  │

│ │  ├─episode-1（一次完整采集过程）

│ │  │  │  audio-1-1709554382234.aac（音频数据）

│ │  │  │  base.txt（机器人本体运动数据）

│ │  │  │  IMU-1.txt（IMU传感器数据）

│ │  │  │  left_master_arm_joint-0.txt（master左臂关节0数据）

│ │  │  │  left_master_gripper.txt（master左夹持器运动数据）

│ │  │  │  left_slave_arm_joint-0.txt（slave左臂关节0数据）

│ │  │  │  left_slave_gripper.txt（slave左夹持器运动数据）

│ │  │  │  pan_tilt.txt（头部云台数据）

│ │  │  │  right_master_arm_joint-5.txt（master右臂关节5数据）

│ │  │  │  right_master_gripper.txt（master右夹持器运动数据）

│ │  │  │  right_slave_arm_joint-5.txt（slave右臂关节5数据）

│ │  │  │  right_slave_gripper.txt（slave右臂的夹持器运动数据）

│ │  │  │

│ │  │  ├─cam-1（camera 1采的图像，相机采样帧率应＞=30FPS）

│ │  │  │    1709554382234.png

│ │  │  │    1709554383638.png

│ │  │  │

│ │  │  ├─cam-2

│ │  │  │    1709554382234.png

│ │  │  │    1709554383638.png

│ │  │  │

│ │  │  ├─lidar-1（激光雷达1采的点云，xyz单位：m）

│ │  │  │    1709554382234.ply

│ │  │  │    1709554382334.ply

│ │  │  │

│ │  │  ├─lidar-2

│ │  │  │    1709554382235.ply

│ │  │  │    1709554382354.ply

│ │  │  │

│ │  │  ├─rgbd-1（rgbd 1采的点云）

│ │  │  │    1709554382234.ply

│ │  │  │    1709554383630.ply

│ │  │  │

│ │  │  └─touch-1（触觉传感器1的数据）

│ │  │      1709554382234.txt

│ │  │

│ │  └─episode-2

│ └─task-2

│   │  description.yaml

│   │  task_record.mp4

│   │

│   └─episode-1

│

└─series-2

│  information.yaml

│    松灵机器人2说明书.pdf

  │

  └─task-1

    │  description.yaml

    │  task_record.mp4

    │

    └─episode-1

ARIO

All Robots In One

项目背景

案例

数据采集方案