RoboNet

开源

UC Berkeley / Stanford / UPenn / CMU

RoboNet 是由 UC Berkeley、Stanford、UPenn、CMU 四所高校联合发布的大规模多机器人交互数据集，发表于 CoRL 2019，被誉为「机器人界的 ImageNet」。

数据规模：包含 1,500 万+ 视频帧，来自 7 种不同机器人平台、113 个相机视角，总计 162,417 条示例。

格式：以 TFDS 格式发布（完整 ~36GB），提供 64×64 和 128×128 两种分辨率。

核心思想是通过跨机器人、跨场景的大规模视频预测学习可泛化的物理世界动力学先验，推动机器人学习从单一任务向通用操作能力演进。

机构

UC Berkeley / Stanford / UPenn / CMU

规模

1500 万+ 帧，7 种机器人，113 相机视角

许可证

CC BY 4.0

机器人类型

多机型

任务类型

操作

发布年份

2019

数据模态

视觉、动作

🤖 遥操作采集✅ 自动记录（机器人状态/动作）🏠 100%真机📊 有数据划分

VLA 框架兼容性

🧠 π0🧠 OpenVLA🧠 Octo🧠 RT-2🧠 RDT-1B

数据格式

存储格式TFDS（TensorFlow Datasets）

数据规模~36GB（完整）/ ~120MB（示例）

压缩方式gzip

文件布局HDF5 格式；按 robot type 分组

索引方式HDF5 内部 attribute；robot type 为分组键

格式版本HDF5 v2.0

episode

step

image (64×64 or 128×128)

state (5-dim end-effector)

action (5-dim delta)

快速上手

加载数据

import h5py
with h5py.File('robonet_demo.hdf5', 'r') as f:
    imgs = f['obs/image'][:]
    states = f['obs/state'][:]
    actions = f['actions'][:]

依赖库

h5pynumpy

预处理说明

HDF5 格式；64×64 或 128×128 图像

数据内容

传感器规格

RGB 相机（113 视角）

数据统计

场景数多场景（跨 4 所高校实验室）

物体数多种日常物体

任务数多种操作任务（推送、抓取、放置等）

轨迹/片段数162,417

标注信息

机器人型号相机参数

引用信息

@inproceedings{dasari2019robonet,
  title={RoboNet: Large-Scale Multi-Robot Learning},
  author={Dasari, Sudeep and Ebert, Frederik and Tian, Stephen and Nair, Suraj and Bucher, Bernadette and Schmeckpeper, Karl and Singh, Siddharth and Levine, Sergey and Finn, Chelsea},
  booktitle={CoRL},
  year={2019}
}