InstructPart
CMU Robotics Institute
InstructPart 是 CMU 机器人研究所于 ACL 2025 (Main) 提出的任务导向部件分割基准。
规模：2,400 张真实世界图像，覆盖 48 个物体类别、44 个部件类别、30 个可供性类别、37 个动作类别。
标注：9,600 条人工标注任务指令（含专家标注 + GPT-polished + 人工核验），像素级分割掩码。
两大任务：
1. TRPS（Task Reasoning Part Segmentation）——给定任务指令+图像，推理并分割出正确操作部件（如 '拉开微波炉需要碰哪个部位？'）
2. ORPS（Oracle Referring Part Segmentation）——给定直接部件/物体指代，分割对应部件（如 '水龙头的把手'）
协议：CC BY 4.0。
AFUN 在 InstructPart 上与 ReasonAFF 一起作为核心可供性分割评测基准。
机构
CMU Robotics Institute
规模
2,400 真实图像 + 48 物体类别 + 9,600 任务指令
许可证
CC BY 4.0
机器人类型
通用
任务类型
可供性分割 语义分割 语言推理
发布年份
2025
数据模态
RGB、语义分割、语言
🤖 人工采集（真实场景）✅ 人工标注 + GPT 辅助 + 人工核验🏠 100%真机📊 有数据划分
数据格式
存储格式PNG + JSON（任务指令）
数据规模~1GB
压缩方式无
文件布局按 image 分文件；每图配 JSON 任务指令 + 分割标注
索引方式task_instruction + part_category JSON 索引
格式版本PNG（RGB）+ JSON（任务指令 + 分割标注）
image
task_instruction
part_segmentation_mask
affordance_label
object_category
快速上手
加载数据
import json, cv2
img = cv2.imread('instructpart_sample.jpg')
with open('instructpart_label.json') as f:
label = json.load(f)
# label 含 task_instruction, part_segmentation_mask, affordance_label依赖库
预处理说明
9,600 任务指令；TRPS + ORPS 双任务
数据内容
传感器规格
RGB
数据统计
场景数日常家庭场景
物体数48 类日常物体（微波炉、水龙头、垃圾桶、剪刀等）
任务数TRPS（任务推理部件分割）+ ORPS（指代部件分割）
轨迹/片段数2,400 图像 + 9,600 任务指令