CALVIN

开源

Bosch Center for AI、图宾根大学

CALVIN 是由 ETH Zurich 提出的语言条件长序列机器人操作基准。

定义了一套标准化的任务定义格式、评估协议和数据划分（ABCD 四分割），测试策略在未见环境、未见指令、未见物体上的泛化能力。基于 PyBullet 仿真，提供 20,000+ 条遥操作演示数据。

机构

Bosch Center for AI、图宾根大学

规模

居家长期操纵

许可证

开源（详见官方链接）

机器人类型

移动机器人

任务类型

操作交互

发布年份

2022

数据模态

视觉、语言

🤖 仿真生成✅ 自动标注💻 仿真📊 有数据划分

VLA 框架兼容性

🧠 π0🧠 OpenVLA🧠 RDT-1B

🏆 Benchmark 评测表现

使用该数据集训练的模型在标准 benchmark 上的得分

CALVIN ABC→D (Zero-Shot)

SPIL (—)

1.71 tasks📄零样本（ABC 训练 → D 评估），5 任务序列

HULC (—)

0.67 tasks📄零样本（ABC 训练 → D 评估），5 任务序列

MCIL (—)

0.31 tasks📄CALVIN 原始 baseline，5 任务序列

CALVIN D→D (Single Env)

SPIL (—)

2.67 tasks📄单一环境 D 训练+评估，5 任务序列

HULC (—)

2.64 tasks📄单一环境 D 训练+评估，5 任务序列

MCIL (—)

1.82 tasks📄CALVIN 原始 baseline

📄 点击论文图标查看数据来源。查看完整排行榜 →

数据格式

存储格式详见官方链接

数据规模居家长期操纵

压缩方式未知

文件布局PyBullet 仿真环境 + 预录 demonstration HDF5 文件

索引方式环境 ABC 枚举 + ABCD 四分割（JSON 配置）

格式版本PyBullet 仿真环境 + HDF5（预录演示）

episode

step

observation（RGB + proprioception）

action（7-DoF + gripper）

language_instruction, HDF5, PyBullet, ABCD 4-fold

快速上手

加载数据

# CALVIN 通过其官方 repo 加载
# git clone https://github.com/mees/calvin
from calvin_env.envs.play_table_env import PlayTableEnv
env = PlayTableEnv()
obs = env.reset()
# 含 4 环境 ABCD 分划 + 语言指令

依赖库

calvin-envpybulletgymnasium

预处理说明

PyBullet 仿真；Franka Panda；语言指令在环境 step 中附带

数据内容

传感器规格

视觉

语言

数据统计

场景数详见官方链接

物体数详见官方链接

任务数2 种任务类型

轨迹/片段数居家长期操纵