로봇 에피소드 기록·품질 게이트 콘솔: 6개 스트림 동기화와 계보 관리
#DataPipeline#LeRobotDataset#QualityGate

개요

다중 스트림 로봇 에피소드를 기록·동기화·검증하고 버전과 이력을 관리하는 데이터 운영 콘솔 사례입니다.

프로젝트 배경 및 목적

고객사는 팔 관절·엔드이펙터·헤드 카메라·모캡 등 6개 스트림을 30 fps 에피소드로 묶어 학습 데이터셋을 만듭니다. 스트림 간 타임스탬프가 어긋나거나 결측이 섞인 에피소드가 학습 큐까지 흘러가 재학습을 유발했고, 문제 데이터를 되돌릴 이력이 없었습니다. 이 프로젝트는 동기 이벤트 지그를 기준으로 정렬 오차를 측정하고, 스키마·완결성·라벨 품질·중복의 4단 게이트를 통과한 에피소드만 버전에 등재하며, 모든 변경을 v38부터 v41까지 복구 가능한 이력으로 남깁니다.

구성 요소

  • 6개 스트림 기록기(팔 관절 ×7·엔드이펙터 자세·헤드 RGB-D·모캡 120 Hz)
  • 동기 이벤트 지그·PTP 시각원(W-RC)
  • 4단 품질 게이트·버전 이력·티어링 저장소(핫 NVMe 236 TB·웜 HDD 74 TB·격리 2 TB)

작업순서

  1. 1세션 시작 시 동기 이벤트로 6개 스트림의 시각 기준을 맞춤
  2. 2에피소드 저장 즉시 스키마 → 완결성(손실 0.5 % 미만) → 라벨 품질 → 중복(코사인 0.98) 순으로 검사
  3. 3통과분을 버전에 등재하고 탈락분은 격리 티어로 보내 재작업 큐에 연결