RoboMIND 2.0
北京人形机器人创新中心 / 北京大学
RoboMIND 2.0 是北京人形机器人创新中心与北京大学于 2025 年 12 月发布的超大规模多模态真实机器人操作数据集，是 RoboMIND 1.0 (RSS 2025) 的全面升级。
数据规模：31 万+ 演示轨迹、1,000+ 小时操作数据、759 种精细任务、1,139 种交互物体、覆盖 11 个核心场景（工业分拣、化学实验室、家庭厨房、家电交互等）。
多形态覆盖：6 种机器人形态——Franka Emika Panda、UR5e、AgileX 轮式双臂平台、'天工'全尺寸人形机器人（含灵巧手）、'天轶'轮式人形机器人、ARX 轮式机器人。
多模态感知：
- 视觉：多视角 RGB-D
- 触觉：1.2 万条触觉增强片段（法向力 + 切向力），行业首次大规模集成
- 语言：Gemini 辅助生成的精细任务描述
- 本体感知：完整关节状态
训练框架：配套 MIND-2 分层架构——慢系统（VLM 推理规划）+ 快系统（VLA 实时控制），采用 Implicit Q-Learning 离线 RL 训练。
协议：CC BY-NC 4.0。
AFUN 使用 RoboMIND2 作为训练数据源，并将其测试集（n=156）作为域外（out-of-domain）3D 运动评测基准。
机构
北京人形机器人创新中心 / 北京大学
规模
31 万+ 演示轨迹 + 1,000+ 小时 + 759 任务 + 6 种机器人形态
许可证
CC BY-NC 4.0
机器人类型
人形机器人 机械臂 多机型 灵巧手
任务类型
操作 抓取 交互 家居 装配
发布年份
2025
数据模态
RGB、深度、触觉、本体状态、力控
🤖 人工遥操作采集 + Isaac Sim 数字孪生✅ 自动标注（Gemini 语言标注）+ 人工核验🏠 100%真机📊 有数据划分
VLA 框架兼容性
🧠 π0🧠 GR00T N1
数据格式
存储格式HDF5 + MP4
数据规模~10TB（全量原始数据 + 仿真数据）
压缩方式HDF5 压缩
文件布局HDF5 格式；按 robot embodiment + scene 分类组织
索引方式HDF5 内部 attribute + task/scene/embodiment 分类元数据
格式版本HDF5 v2.0
episode
step
observation（RGB-D + tactile + proprioception）
action（dual-arm + mobile_base）
language_instruction
快速上手
加载数据
import h5py
with h5py.File('robomind2_demo.hdf5', 'r') as f:
actions = f['action/robot'][:]
states = f['state/robot'][:]
tactile = f['state/tactile'][:]依赖库
预处理说明
HDF5 格式；310K 轨迹；6 形态；11 场景
数据内容
传感器规格
多视角 RGB-D
触觉阵列
力控传感器
关节编码器
IMU
数据统计
场景数11 个核心场景：工业分拣、化学实验室、家庭厨房、家电交互、仓储物流等
物体数1,139 种物体（含刚体、铰接、柔性物体）
任务数759 种精细任务（含双臂协作、移动操作、精密插入、长程任务序列）
轨迹/片段数31 万+ 演示轨迹（1,000+ 小时）