OXE Schema
Open X-Embodiment Schema
Google DeepMind + 34家实验室
Open X-Embodiment Schema 是 Open X-Embodiment 项目定义的跨机器人统一数据 Schema。
在 RLDS 基础上扩展了跨 22 种机器人形态的标准化字段映射。
核心贡献是将异构机器人的传感器、动作空间映射到统一的 observation/action 命名空间，使得跨具身联合训练成为可能。
📋 规范性要求
Schema 结构
🔴 必须
必须兼容 RLDS 基础格式（episode → step 层级）
OXE 是 RLDS 的扩展，所有 OXE 数据集必须首先是合法的 RLDS 数据集
🟡 建议
建议提供 proprioceptive state（本体感知状态）
如末端执行器位姿、关节角度等低维状态信息
跨具身映射
🔴 必须
图像必须统一 resize 到 320×256（宽×高）
多来源数据集的相机图像统一为此分辨率，确保模型输入一致
🔴 必须
动作空间必须标准化为末端执行器（EEF）空间
原始关节位置动作转换为 7 维 EEF 动作：world_vector(3) + rotation_delta(3) + gripper(1)
元数据
🔴 必须
每步必须包含自然语言任务描述
字段名为 language_instruction 或 task，描述当前执行的任务
🟡 建议
建议标注机器人形态类型和机构来源
便于跨具身模型的训练和评估
发布组织
Google DeepMind + 34家实验室
标准类型
数据格式
开放程度
● 完全开源
许可证
Apache 2.0
适用场景
真机
数据模态
RGB、Proprioception、Action