Fourier ActionNet（GR-1 真机数据集）
傅利叶智能（Fourier Intelligence）
Fourier ActionNet（GR-1 真机数据集）是傅利叶智能于 2025 年 3 月正式开源的全尺寸人形机器人全量操作数据集。
数据规模：3 万+ 真机遥操作轨迹（约 140 小时交互数据），覆盖 GR-1（GR1-T1/T2）和 GR-2 机型。
采集方式：Apple Vision Pro 作为遥操作主控设备，搭配 OAK-D W 97 相机提供第一人称视角。数据格式为 HDF5（关节状态）+ MP4（RGB 视频）+ MKV（深度视频）。
标注与任务：采用 Qwen2.5-VL-7B 视觉语言模型自动标注 + 人工二次核验。覆盖取放、倾倒、开柜门、精密放置、噪声泛化操作等任务。
训练框架：适配 LeRobot、ACT、DP、iDP3 等主流训练框架，配套全流程工具链（数据采集 → 标注 → 训练 → 部署）。
协议：数据集 CC BY-NC-SA 4.0（非商用开源），训练/部署工具链 Apache 2.0。遥操作源码开源：https://github.com/FFTAI/teleoperation
NVIDIA 另发布了 GR-1 仿真数据集系列，见「NVIDIA GR-1 仿真数据集」条目。商用授权联系：gr_opensource@fftai.com。全身行走数据暂未全量放出。
机构
傅利叶智能（Fourier Intelligence）
规模
3万+ 真机遥操作轨迹（约 140 小时交互数据）
许可证
CC BY-NC-SA 4.0（非商用开源）
机器人类型
人形机器人
任务类型
操作 抓取
发布年份
2024
数据模态
RGB、深度、动作、视觉、力控、本体状态
🤖 遥操作采集（真机实采）✅ 动作标签💻 真机实测📊 无数据划分
VLA 框架兼容性
🧠 GR00T N1
数据格式
存储格式HDF5（关节状态）+ MP4（RGB 视频）+ MKV（深度视频）
数据规模3万+ 遥操作轨迹
压缩方式无特殊压缩，标准格式
文件布局按 episode 分文件（HDF5 + 视频目录）；每 HDF5 含 action/state/timestamp 三个 group
索引方式HDF5 内部属性（attributes group）+ 外部 Metadata.json（任务 prompt + episode ID）
格式版本HDF5 v2.0（关节数据）+ MP4/H.264（RGB）+ MKV/Z16（深度）
episode
step
state（joint / pose / hand）
action（joint / pose / hand）, HDF5 + MP4/MKV
快速上手
加载数据
import h5py
with h5py.File('episode.hdf5', 'r') as f:
actions = f['action/robot'][:] # [32, T] GR1-T1/T2
states = f['state/robot'][:]
timestamps = f['timestamp'][:]依赖库
预处理说明
图像从 MP4/MKV 视频流读取；关节数据按时间维度 [D, T] 排列（列主序），需 transpose 为 [T, D]；动作值与状态值共享相同 timestamp
数据内容
传感器规格
RGB
深度
动作
关节状态
力控
数据统计
场景数双臂灵巧手抓取、开柜门、倾倒物料等真机操作
物体数日常家居物品（杯子、柜门、微波炉等）
任务数多种操作任务类型（抓取、开柜门、倾倒物料等）
轨迹/片段数3万+ 遥操作轨迹