ML45 / ML10 Meta-Learning Benchmark
MetaWorld
UC Berkeley
MetaWorld 是 UC Berkeley 提出的多任务机器人操作基准。
在 MuJoCo 中定义了 50 个桌面操作任务(开柜门、按按钮、推物体等),基于 Gymnasium API 设计。
任务是参数化的,同一任务可生成位置/目标不同的变体,支持多任务学习和元学习评估。
📋 规范性要求
任务定义
🔴 必须
必须覆盖 50 个桌面操作任务
含开柜门、按按钮、推物体、拧瓶盖、挂衣架等,基于 MuJoCo 物理引擎
API 规范
🔴 必须
必须兼容 Gymnasium API(原 OpenAI Gym)
提供 reset()、step(action)、observation_space、action_space 等标准接口
任务变体
🔴 必须
每个任务支持参数化目标位置和物体属性
同一任务可生成不同的 goal position/object placement,支持多任务和元学习
评估指标
🔴 必须
必须使用 success rate 作为主要指标
根据任务是否达成目标状态(如抽屉是否完全打开)判断成功
训练协议
🟡 建议
建议使用 ML1/ML10/ML45 三种基准配置
ML1 为单任务,ML10 为 10 任务训练+5 任务测试,ML45 为全 50 任务
观测格式
🟢 可选
可选提供 RGB 渲染图像作为观测
默认观测为 MuJoCo 低维状态向量,可通过 wrapper 添加视觉观测
发布组织
UC Berkeley
标准类型
评测基准
开放程度
● 完全开源
许可证
开源
适用场景
仿真
数据模态
Proprioception、Action