RoboCasa
UT Austin / NVIDIA Research
RoboCasa 是 UT Austin 与 NVIDIA Research 在 RSS 2024 发布的大规模家居任务仿真框架与数据集。
场景规模：基于 MuJoCo 物理引擎 + NVIDIA Omniverse 渲染，包含 2,500+ 个 3D 资产（153+ 物体类别）、120 个独特厨房场景（10 种平面图 × 12 种建筑风格）、100 个任务（25 个原子任务 + 75 个 LLM 生成的复合任务）。
数据生成：利用 MimicGen 从少量人类演示自动生成 10 万+ 轨迹，支持移动机械臂与人形机器人等多种形态。
生成式 AI 辅助（Luma.ai 生成 3D 物体，MidJourney 生成纹理做域随机化），训练策略可 sim-to-real 迁移至真实机器人。
机构
UT Austin / NVIDIA Research
规模
10 万+ 轨迹，120 厨房场景，100 任务
许可证
RoboCasa License（开源非商用）
机器人类型
移动机器人 人形机器人
任务类型
操作 家居 导航
发布年份
2024
数据模态
视觉、动作
🤖 仿真生成✅ 自动生成（MimicGen + LLM）💻 仿真（支持 sim-to-real 迁移）📊 有数据划分
VLA 框架兼容性
🧠 π0🧠 GR00T N1
数据格式
存储格式HDF5（robosuite / robomimic 兼容）
数据规模未知
压缩方式HDF5 内压缩
文件布局按 task 分 HDF5 文件；每文件含多个 demo_N group
索引方式HDF5 属性 num_samples + model_file
格式版本HDF5 v2.0（robomimic 兼容）
demonstration
states
actions
rewards
dones
快速上手
加载数据
import h5py
with h5py.File('robocasa_demo.hdf5', 'r') as f:
demo = f['data/demo_0']
actions = demo['actions'][:]
imgs = demo['obs/agentview_image'][:]依赖库
预处理说明
robomimic 兼容格式；大规模家居仿真场景
数据内容
传感器规格
仿真 RGB 相机
深度相机
关节状态
数据统计
场景数120 个厨房场景（10 布局 × 12 风格）
物体数2,500+ 3D 模型，153+ 类别
任务数100 个任务（25 原子 + 75 复合）
轨迹/片段数100,000+
标注信息
引用信息
@inproceedings{nasiriany2024robocasa,
title={RoboCasa: Large-Scale Simulation of Everyday Tasks for Generalist Robots},
author={Nasiriany, Soroush and Maddukuri, Abhiram and Zhang, Lance and Parikh, Adeet and Lo, Aaron and Joshi, Abhishek and Mandlekar, Ajay and Zhu, Yuke},
booktitle={RSS},
year={2024}
}更新历史
2024-06
RSS 2024 首次发布：100K+ 轨迹，120 厨房场景，100 任务