← 返回全部数据集

RT-1 Data

开源

Google DeepMind

RT-1 训练数据是 Google DeepMind 发布的 Robotics Transformer 模型配套数据集。

包含大规模真实机器人操作数据,覆盖多任务、多场景,是 RT-1 和 RT-2 模型的核心训练数据源。

机构
Google DeepMind
规模
130K 演示
许可证
开源(详见官方链接)
机器人类型
移动机器人
任务类型
操作 家居
发布年份
2022
数据模态
视觉、本体状态、动作
🤖 遥操作采集✅ 人工标注🏠 100%真机📊 有数据划分

VLA 框架兼容性

🧠 π0🧠 OpenVLA🧠 Octo🧠 RT-2🧠 RDT-1B

🏆 Benchmark 评测表现

使用该数据集训练的模型在标准 benchmark 上的得分

SimplerEnv-Google VM

π0 (3.3B)
71.4%📄零样本

SimplerEnv-Google VA

π0 (3.3B)
54.7%📄零样本

📄 点击论文图标查看数据来源。查看完整排行榜 →

数据格式

存储格式详见官方链接
数据规模130K 演示
压缩方式未知
文件布局RLDS 分片格式;每 episode 含 steps Dataset + episode metadata
索引方式TFDS 内置索引;episode metadata 含 language_instruction
格式版本TFDS/RLDS
episode
step
observation(RGB + natural_language_instruction)
action(7-DoF + gripper + base), RLDS

快速上手

加载数据

import tensorflow_datasets as tfds
ds = tfds.load('rt1', split='train')
for episode in ds.take(1):
    for step in episode['steps']:
        img = step['observation']['image']
        action = step['action']

依赖库

tensorflow-datasetstensorflownumpy

预处理说明

RLDS 格式;图像 300×300;动作 7 维 EEF + gripper + base

数据内容

传感器规格

视觉
本体状态
动作

数据统计

场景数详见官方链接
物体数详见官方链接
任务数2 种任务类型
轨迹/片段数130K 演示

相关链接

采用的数据标准

相关数据集

讨论

AI 助手
输入需求,AI 帮你在 58 个数据集、19 个标准、18 个工具中智能匹配