캘리브레이션 데이터셋의 적응형 가중치 조절에 의한 로봇–카메라 캘리브레이션 방법

로봇 손목에 카메라를 부착해 사용하는 시스템에서는, 로봇과 카메라 사이의 위치·자세 관계를 구하는 핸드-아이 캘리브레이션이 반드시 필요합니다. 이는 로봇을 여러 자세로 움직이며 수집한 수십 개의 측정 데이터로 이루어진 데이터셋으로부터 답을 계산하는 과정인데, 기존 방법은 예외 없이 모든 데이터를 동일한 비중(w = 1)으로 취급합니다. 그러나 실제 현장에서는 데이터마다 품질이 다르고, 품질이 나쁜 데이터가 좋은 데이터와 같은 비중으로 계산에 들어가면 결과 전체가 부정확해집니다.

이 연구는 이 균일 가중치를 버리고, 데이터셋의 각 데이터에 서로 다른 가중치 w_i를 부여한 상태로 캘리브레이션을 계산합니다. 품질이 낮은 데이터에는 낮은 가중치가, 품질이 높은 데이터에는 높은 가중치가 걸리므로 소수의 불량 데이터가 결과를 망치지 못합니다.

논문에서는 이 방법을 적응형 쌍 가중치(APW, Adaptive Pair Weighting)라고 부릅니다. 회전은 Deep Sets 기반 경량 신경망이 모션 쌍별 가중치를 예측하고, 이동은 반복 재가중 최소제곱법(IRLS)으로 이상치(outlier)를 해석적으로 억제합니다. 신경망은 참값(ground truth) 캘리브레이션 없이 자기지도(self-supervised) 방식으로 학습되며, 이종(heterogeneous) 노이즈가 섞인 시뮬레이션 데이터에서 회전 오차를 최대 85.4%, 이동 오차를 최대 56.7% 줄였고, 실제 원거리 데이터에서도 회전 59.5%, 이동 30.4% 줄였습니다.

핸드-아이 캘리브레이션의 업계 표준 정식화는 행렬 방정식 A_iX = XB_i 입니다. A_i는 로봇의 상대 운동, B_i는 같은 순간 카메라가 관측한 상대 운동이며, 이러한 모션 쌍 (A_i, B_i) N개가 캘리브레이션 데이터셋을 이룹니다.

널리 쓰이는 해법(Tsai–Lenz, Park–Martin 등)은 모두 다음과 같이 데이터별 잔차의 가중 합을 최소화하는 구조를 공유하며, 가중치는 전부 1로 고정되어 있습니다.

여기서 e_i(X)는 i번째 데이터의 잔차, 즉 후보 해 X가 i번째 모션 쌍 (A_i, B_i)를 얼마나 만족하지 못하는지를 나타내는 오차이고, w_i는 그 데이터가 계산에 반영되는 비중입니다.

이 해법들은 잔차 e_i의 정의, X의 매개변수화(parameterization), X에 거는 제약(SVD 기반 직교성, 정규방정식, 최소 고유벡터의 단위 노름)만 다를 뿐, 가중치 w_i가 들어가는 위치는 모두 같습니다. 논문은 Park-Martin, Tsai-Lenz, Chou-Kamel/Horaud, Andreff, Daniilidis 등 5가지 폐쇄형 솔버가 모두 이 형태임을 정리했습니다.

실제 현장에서는 촬영 거리·시야각·조명·모션 블러 등에 따라 데이터 품질이 크게 달라지는데, 균일 가중치에서는 오염된 데이터가 정상 데이터와 똑같은 힘으로 결과를 끌어당깁니다. 오염된 데이터는 사전에 식별하기 어렵고, 데이터를 더 모아도 오염 비율은 그대로이므로 해결되지 않습니다.

예를 들어 자동차·항공 조립처럼 작업 공간이 넓은 현장에서는 한 시퀀스 안에서도 카메라–타깃 거리가 두 배까지 달라지고, 화소 밀도가 떨어질수록 코너 검출 정확도가 낮아집니다. eye-to-hand 구성에서는 일부 로봇 자세에서 타깃을 비스듬한 각도로 관측하게 되며, 자동 포즈 생성으로는 불량 시점을 걸러낼 수 없습니다. 불균일한 조명, 영상 가장자리의 렌즈 왜곡, 모션 블러도 오차 요인이 됩니다.

이 연구의 핵심은 위 식의 w_i를 데이터별로 다르게 두는 것 자체입니다. 가중치는 기존 해법들의 공통 구조(가중 잔차 합)에 그대로 들어가므로, 기존 솔버를 수정 없이 유지한 채 가중치만 바꾸는 형태로 적용할 수 있습니다.

가중치를 정하는 기본 원리는 모든 데이터가 동일한 하나의 변환 X를 설명해야 한다는 제약을 기준으로 삼는 것입니다. 이 제약에서 저품질 데이터가 드러내는 이탈은 두 가지입니다. 첫째, 한 데이터 안에서 로봇 운동과 카메라 운동이 서로 모순되는 경우입니다. 예컨대 A_iX = XB_i가 성립하려면 로봇과 카메라의 회전각이 같아야 하므로, 두 값이 다르면 그 데이터는 자체적으로 모순입니다. 둘째, 데이터셋 전체의 합의에서 벗어나는 경우입니다. 모든 데이터는 동일한 X로 연결되어 공통의 기하 관계를 따라야 하므로, 다수 데이터가 이루는 관계에서 멀리 벗어난 데이터일수록 품질이 낮다고 간주할 수 있습니다. 이러한 이탈 정도를 점수화하여 이탈이 클수록 낮은 가중치를 부여하며, 점수화의 구체적 방식(규칙 기반, 통계적 기법, 학습된 모델 등)은 다양한 방식으로 구현할 수 있습니다.

• 회전: 모션 쌍마다 회전축·회전각을 비교한 12차원 특징을 Deep Sets 기반 경량 신경망(파라미터 17,729개)에 넣어 쌍별 가중치를 예측합니다. 신경망은 부트스트랩 일관성 손실(bootstrap consistency loss)로 학습합니다. 데이터를 서로소(disjoint) 부분집합으로 나눠 각각 구한 해가 일치하도록 학습하므로 참값(ground truth)이 필요 없고, 가중치 붕괴(weight collapse)도 억제됩니다.
• 이동: t_X에 대해 선형인 하위 문제이므로, 학습 없이 반복 재가중 최소제곱법(IRLS)으로 잔차가 큰 이상치 쌍의 가중치를 해석적으로 낮춥니다.
• 연산량: CPU 단일 코어에서 약 107초면 학습이 끝나, 전용 GPU가 없는 로봇 제어용 컴퓨터에서도 쓸 수 있습니다.

• 품질이 낮은 데이터의 영향이 억제되어 캘리브레이션 정확도가 향상됩니다.
• 기존 솔버·장비·데이터 수집 절차를 그대로 두고 가중치만 부여하면 되므로 도입 비용이 낮습니다.
• 불량 데이터를 사람이 골라내거나 데이터를 다시 수집할 필요가 없어집니다.

시뮬레이션 — Gazebo 시뮬레이터에서 기구학을 알고 있는 6자유도 로봇과 캘리브레이션 보드로 데이터를 수집해, 참값 X*를 정확히 아는 상태에서 정량 평가했습니다. 쌍별 이종 노이즈(70%는 기본 노이즈 κ = 50, σ ≈ 8.1°, 30%는 5배 증폭)를 적용한 300포즈(299쌍) 데이터와 20개 검증 세트를 사용했습니다.

• 회전 오차는 균일 가중치 Park-Martin 대비 85.4%, 최강 베이스라인(P1×IRLS) 대비 71.3% 감소했고, 이동 오차는 56.7% 감소했습니다.
• 20포즈(19쌍) 조건에서도 회전 오차가 8.891°에서 2.54°로 71.5% 감소했습니다.
• 서로 다른 대수적 정식화를 갖는 5가지 폐쇄형 솔버(Park-Martin, Tsai-Lenz, Chou-Kamel/Horaud, Andreff, Daniilidis)에 적용해 모두 회전 오차가 84~96% 감소했으며, 솔버를 수정 없이 유지할 수 있음(solver-agnostic)을 확인했습니다.
• 포즈 단위 이종성(17% 불량 포즈, 44,850 all-pairs) 조건에서 0.137°로, 균일 가중치 대비 87.7% 감소했습니다.
• 가우시안 노이즈로 학습한 모델은 Student-t, 가우시안 혼합 등 다른 노이즈 분포에서도 재학습 없이 회전 오차를 80~84% 줄였습니다.

실제 로봇 실험 — 손목에 ZED X Mini 스테레오 카메라를 장착한 뉴로메카 Indy7_v2 6자유도 협동로봇으로 6×7 체커보드(30mm 정사각형)를 관측했습니다. 근거리(d ≈ 0.5m) 26포즈의 Park-Martin 결과를 의사 참값(pseudo ground truth)으로 삼고, 화소 밀도 저하로 코너 검출 정확도가 낮아지는 원거리(d ≈ 1.3m)에서 26포즈씩 20개의 독립 세트를 수집해 평가했습니다.

회전 오차는 59.5%, 이동 오차는 30.4% 감소했습니다. 같은 조건에서 비교한 다른 폐쇄형 솔버와 강건 추정(robust estimation) 기법들의 회전 오차 개선 폭은 최대 16.1%였습니다. 다만 기준이 의사 참값이므로, 이 결과는 입증된 절대 정확도라기보다 고품질 기준과의 일치도로 해석해야 합니다.