본문으로 건너뛰기
임베디드/실시간

휴머노이드 팔 명령, 4 ms마다 정확히 보내기: 기본 제어 스택과 실시간 스택을 10가지 조건에서 비교했습니다

바퀴형 양팔 휴머노이드의 팔과 몸통 명령을 Jetson AGX Orin 위의 WIM 실시간 스택이 CAN으로 직접 보내도록 바꿨습니다. 같은 동작으로 10가지 조건을 비교한 결과, 기본 제어 스택은 CPU 격리와 실시간 우선순위를 똑같이 적용해도 지터 p99가 4.0–21.9 ms였고 WIM 스택은 0.13–0.41 ms였습니다. 30분 비교에서 두 주기 넘게 끊긴 명령은 기본 스택 18,422번, WIM 스택 0번이었습니다.

WRWIM Robotics Team
·
real-timepreempt-rtjetsoncan-bushumanoidbenchmark

저희는 최근 샌프란시스코의 한 로보틱스 스타트업 현장에서 바퀴형 양팔 휴머노이드의 팔과 몸통 명령 타이밍 문제를 해결했습니다. 이 로봇은 7축 팔 두 개와 4축 몸통이 CAN 버스 하나를 함께 씁니다. 스타트업의 AI 애플리케이션이 관절 목표를 ROS 2 토픽으로 내보내면, 로봇에 기본으로 들어 있는 제어 스택이 이를 받아 모터 컨트롤러에 명령을 보냅니다. 팔과 몸통의 명령 주기는 4 ms(250 Hz)입니다.

현장에서 가장 먼저 확인한 것은 이것이었습니다.

"명령이 정말 4 ms마다 나가고 있을까? 아니라면 얼마나 자주 어긋날까?"

결론부터 말하면, 기본 스택에서는 그렇지 않았습니다. CAN 버스에서 실제 송신 시각을 측정해 보니, 명령 간격이 4 ms에서 벗어난 정도(지터)의 p99가 4.0–21.9 ms였습니다. 명령 100개 중 1개 이상이 한 주기(4 ms) 넘게 어긋났다는 뜻입니다. 간격이 두 주기를 넘게 끊긴 경우도 2분 측정마다 415–3,653번 나왔습니다. 저희 스택과 같은 CPU 격리와 실시간 우선순위를 기본 스택에 적용해도, 가장 나쁜 스트림의 p99는 5.6 ms 아래로 내려가지 않았습니다.

팔과 몸통의 명령 경로만 Jetson AGX Orin 위의 WIM 실시간 스택으로 바꾸자, 같은 조건에서 p99는 0.13–0.41 ms가 됐습니다. 송신은 250 Hz를 유지했고 끊김은 0–1번이었습니다. 30분 비교에서는 끊김이 18,422번에서 0번으로 줄었습니다. 그리퍼, 섀시, 센서는 기본 스택이 계속 맡았고, 상위 애플리케이션은 한 줄도 고치지 않았습니다.

이 글은 시간은 제어 입력이다에 이어지는 글입니다. 앞 글에서는 실시간 계층 자체를 다뤘습니다. 이번에는 그 계층을 CAN 버스를 함께 쓰는 휴머노이드에 적용하고, 기본 스택에도 같은 조건을 맞춰 차이를 측정했습니다.

무엇을 바꿨나​

기본 스택에서 팔 명령은 두 프로세스를 거쳐 나갑니다. 상위 제어 프로세스가 목표를 받아 보간하고, 메시지 미들웨어로 버스 드라이버 프로세스에 넘깁니다. 버스 드라이버가 이를 CAN 프레임으로 내보냅니다. 저희는 이 경로에서 팔과 몸통 부분만 실시간 노드 하나로 바꿨습니다.

빨간색은 교체한 경로, 초록색은 WIM 실시간 노드, 회색은 바꾸지 않은 부분입니다. 상위 애플리케이션은 그대로 씁니다.

WIM 실시간 노드는 앞 글과 같은 원칙으로 구성했습니다.

계층설정
커널PREEMPT_RT
CPU코어 8개 중 1개를 격리해 제어 루프와 CAN 인터럽트만 실행. 다른 프로세스는 나머지 7개 코어에서 실행
스케줄링제어 루프는 SCHED_FIFO 70, 절대 시각 기준으로 4 ms마다 실행. CAN 인터럽트 스레드는 커널 기본값(FIFO 50)
메모리시작할 때 mlockall()과 버퍼 할당을 마침. 루프 안에서는 메모리 할당, 예외, 블로킹 I/O, 로그 출력, 뮤텍스를 쓰지 않음
ROS 2 연결토픽은 루프 밖 스레드가 받고, 루프와는 Seqlock과 SPSC(단일 생산자·단일 소비자) 큐로만 데이터를 주고받음
공유 버스같은 버스의 다른 장치(그리퍼, 섀시, 센서)는 건드리지 않음. 팔과 몸통 송신을 넘겨받기 전에 기존 송신이 멈췄는지 버스에서 확인

측정 방법​

  • 측정 지점: 로봇의 CAN 인터페이스에서 커널이 기록한 송신 시각입니다. 두 스택 모두 같은 지점에서 같은 방법으로 측정했습니다.
  • 스트림: 왼팔, 오른팔, 몸통 명령 세 가지입니다. 케이스마다 세 스트림 중 가장 나쁜 값을 씁니다.
  • 지터: 연속한 두 명령의 간격이 4 ms에서 벗어난 정도입니다. ∣J∣=∣Δt−4 ms∣|J| = |\Delta t - 4\,\text{ms}|이고, p99와 최댓값을 봅니다.
  • 끊김: 명령 간격이 8.24 ms를 넘은 경우입니다. 명령이 하나 빠지면 간격이 8 ms가 되므로, 여기에 측정 여유 0.24 ms를 더해 '명령이 하나 이상 통째로 빠진 경우'를 셉니다. 저희가 정한 기준입니다.
  • 동작: 상위 애플리케이션이 팔과 몸통을 크게 움직이는 같은 관절 궤적을 보냅니다. 케이스마다 120 s를 측정합니다. 지터는 처음 30 s를 빼고 계산하고, 끊김은 목표가 들어오는 전체 시간 동안 셉니다.
  • 조건: 스택(2가지), CPU 격리 여부, 우선순위, 상위 애플리케이션 설정(기본 설정과 부하를 줄인 튜닝 설정)을 조합해 모두 10케이스를 만들었습니다. 상위 애플리케이션에서 목표를 전달하는 스레드는 모든 케이스에서 같은 실시간 우선순위(FIFO 20)로 맞췄습니다.

공정하게 비교하려고 케이스 3–6에서는 기본 스택에도 저희와 같은 CPU 격리를 적용했습니다. 기본 스택의 상위 제어 프로세스, 버스 드라이버 프로세스, CAN 인터럽트를 모두 격리 코어로 옮겼습니다. 케이스 5–6에서는 상위 제어 프로세스의 모든 스레드를 저희 제어 루프와 같은 SCHED_FIFO 70으로 올렸습니다.

결과 1: 2초만 봐도 차이가 보입니다​

같은 조건에서 2초 동안 측정한 왼팔 명령 간격. 기본 스택은 4 ms 주위로 흩어지고 9–28 ms 끊김이 섞여 있으며, WIM 스택은 4 ms 선을 벗어나지 않는다

같은 조건(CPU 격리, 상위 애플리케이션 기본 설정)에서 왼팔 명령 간격을 2초 동안 그린 그래프입니다. 점 하나가 명령 하나입니다. 기본 스택은 CPU 격리를 적용했는데도 간격이 2–6 ms 사이에서 흔들리고, 중간중간 9–28 ms씩 끊깁니다. WIM 스택은 같은 2초 동안 4 ms 선을 벗어나지 않습니다.

결과 2: 10가지 조건 전체​

10케이스의 지터 p99와 최댓값, 끊김 횟수. 기본 스택 6케이스는 p99 5.6–21.9 ms에 끊김 415–3,653번, WIM 스택 4케이스는 p99 0.34–0.41 ms에 끊김 0–1번

(a) 막대는 지터 p99, ▼는 최댓값입니다(로그 축). 점선은 4 ms, 즉 한 주기입니다. (b) 케이스별로 명령 간격이 8.24 ms를 넘은 횟수입니다. 왼쪽 여섯 개가 기본 스택, 오른쪽 네 개가 WIM 스택입니다.

지표 (세 스트림 중 최악값)기본 스택 (케이스 1–6)WIM 스택 (케이스 7–10)
지터 p995.6–21.9 ms0.34–0.41 ms
지터 최댓값47.8–111.4 ms0.6–22.0 ms (CPU 격리 시 0.6 ms)
실제 송신 주파수160–245 Hz250 Hz
끊김 (8.24 ms 초과, 케이스당)415–3,653번0–1번
놓친 주기, 송신 실패 (노드 기록)해당 없음0

세 스트림을 모두 포함하면 지터 p99는 기본 스택 4.0–21.9 ms, WIM 스택 0.13–0.41 ms입니다. 조건이 같은 케이스끼리(1과 7, 2와 8, 3과 9, 4와 10) 비교하면 WIM 스택의 p99가 17–62배 작습니다.

기본 스택에 적용한 조치도 효과는 있었습니다. 상위 애플리케이션 기본 설정에서 CPU 격리만 적용해도 끊김이 3,653번에서 415번으로 줄었습니다. 하지만 우선순위까지 올려도 가장 나쁜 스트림의 p99는 5.6 ms였고, 몸통 명령은 197 Hz를 넘지 못했습니다. CPU 자원을 더 줘도 남은 지연은 줄지 않았습니다. 그 이유는 30분 결과 뒤에서 살펴봅니다.

결과 3: 30분 비교​

2분 측정의 한계를 보완하려고 두 스택을 각각 30분씩 한 번 더 측정했습니다. 이때는 10케이스와 다른 반복 궤적을 썼습니다. 팔은 ±0.10 rad, 몸통은 ±0.03 rad 범위에서 0.1–0.5 Hz로 움직이는 사인파입니다. 기본 스택은 받은 상태 그대로(CPU 격리 없음), WIM 스택은 CPU 격리를 포함한 운영 구성으로 실행했습니다.

30분 비교. 기본 스택은 p99 6.7–7.7 ms, 최댓값 50–56 ms, 몸통 195 Hz. WIM 스택은 p99 0.34–0.66 ms, 최댓값 0.6–1.1 ms, 세 스트림 모두 250 Hz

지표기본 스택 (받은 상태 그대로)WIM 스택
지터 p99 (왼팔 / 오른팔 / 몸통)6.7 / 6.9 / 7.7 ms0.34 / 0.66 / 0.66 ms
지터 최댓값50.2 / 50.2 / 55.5 ms0.61 / 1.05 / 1.08 ms
실제 송신 주파수241 / 240 / 195 Hz250 / 250 / 250 Hz
끊김 (8.24 ms 초과)18,422번 (평균 0.096 s마다 1번)0번 (1,692 s 동안)
놓친 주기 (노드 기록)해당 없음442,497 주기 중 0

기본 스택은 왜 4 ms를 지키지 못했나​

기본 스택에서 명령 하나가 버스에 나가기까지는 세 단계를 거칩니다. 상위 제어 프로세스가 주기적으로 명령을 만들고, 메시지 미들웨어가 이를 전달하고, 버스 드라이버 프로세스가 받아서 CAN에 씁니다. 단계마다 따로 깨어나는 프로세스와 스레드가 맡기 때문에, 기다리는 시간도 단계마다 매번 다릅니다. 명령을 만드는 시점이 정확해도, 버스에 나가는 시각은 세 단계의 지연이 더해진 만큼 흔들립니다.

개념도. 기본 스택은 상위 제어 프로세스, 메시지 미들웨어, 버스 드라이버 프로세스를 거치며 단계마다 지연이 달라 버스에서 간격이 벌어지거나 두 명령이 몰린다. WIM 스택은 한 루프에서 명령을 만들고 바로 보내 간격이 일정하다

개념도입니다(실측값이 아닙니다). 위는 기본 스택입니다. 한 명령이 어느 단계에서 늦어지면 앞 명령과의 간격이 벌어지고, 8.24 ms를 넘으면 끊김이 됩니다. 늦은 명령과 다음 명령이 거의 동시에 나가기도 합니다(몰림). 아래는 WIM 스택입니다. 명령을 만드는 일과 버스에 쓰는 일을 같은 4 ms 루프에서 처리하므로 중간에 기다리는 단계가 없습니다.

이 구조의 흔적은 버스에서 측정한 명령 간격 분포에 그대로 나타납니다.

같은 조건에서 버스에 나간 명령 간격의 분포. 기본 스택은 왼팔 46%, 몸통 19%만 4 ± 0.5 ms 안에 있고, WIM 스택은 두 스트림 모두 거의 100%가 4 ms에 모여 있다

같은 조건(CPU 격리, 상위 애플리케이션 기본 설정, 케이스 3과 9)에서 버스에 실제로 나간 명령 간격의 분포입니다. 점선은 4 ms, 빨간 파선은 끊김 기준인 8.24 ms입니다.

  • 왼팔: 기본 스택은 4 ± 0.5 ms 안에 든 명령이 46%뿐입니다. 3 ms보다 짧은 간격이 16%, 5 ms보다 긴 간격이 15%로, 늦은 명령 뒤에 다음 명령이 몰려 나가는 모습과 맞습니다.
  • 몸통: 4 ± 0.5 ms 안에 든 명령은 19%이고, 47%는 5 ms보다 깁니다. 몸통 명령은 대부분 4 ms보다 늦게 나가, 실제 송신 주파수가 196 Hz에 그쳤습니다.
  • WIM 스택: 두 스트림 모두 99.8% 이상이 4 ± 0.5 ms 안에 있습니다.

CPU 격리와 우선순위는 단계 하나하나를 빠르게 할 수는 있지만, 단계의 수와 단계 사이의 대기는 없애지 못합니다. 기본 스택의 p99가 5.6 ms 아래로 내려가지 않은 이유로 보고 있습니다(추정).

무엇을 배웠나​

우선순위와 CPU를 더 주는 것만으로는 부족했습니다. 이번 측정에서 4 ms 주기를 지킨 것은 명령 생성과 버스 송신을 같은 실시간 루프에서 처리한 구성뿐이었습니다.

WIM 스택에도 CPU 격리는 필요합니다. CPU 격리 없이 실행한 WIM 케이스 하나(케이스 8)에서 명령 간격이 22 ms까지 벌어진 적이 한 번 있었습니다. 그 시점에도 노드 기록에는 놓친 주기가 없었으므로, 지연은 루프가 아니라 루프 이후 버스로 나가는 구간에서 생긴 것입니다. 원인은 아직 확인하지 못했습니다. CPU 격리를 적용한 두 케이스에서는 최댓값이 0.6 ms였고, 운영 구성에도 CPU 격리를 포함했습니다.

한계도 함께 적습니다.

  • 로봇 한 대로 하루 동안 측정했습니다. 10케이스는 케이스당 2분이고, 30분 비교는 스택별로 한 번씩 측정했습니다.
  • 30분 비교에서 기본 스택은 받은 상태 그대로 실행했습니다. CPU 격리를 똑같이 적용한 비교는 2분짜리 10케이스에 있습니다.
  • 케이스 5–6에서 우선순위를 올린 것은 상위 제어 프로세스뿐이고, 버스 드라이버 프로세스는 그대로 두었습니다. 두 프로세스를 모두 올린 경우는 측정하지 않았습니다.
  • 끊김 기준(8.24 ms)은 저희가 정한 값입니다.
  • 상위 애플리케이션을 튜닝 설정으로 실행한 케이스에서는 2분 동안 들어온 목표 개수가 스택마다 조금씩 달랐습니다(약 29,000–33,000개). 송신 간격 측정에는 영향이 없지만, 입력이 완전히 같지는 않았습니다.

정리​

같은 로봇, 같은 동작, 같은 CPU 격리 조건에서 팔과 몸통 명령의 지터 p99(가장 나쁜 스트림 기준)는 기본 스택이 5.6 ms 이상, WIM 실시간 스택이 0.41 ms 이하였습니다. 바꾼 것은 팔과 몸통 명령이 버스로 나가는 경로 하나뿐입니다. 상위 애플리케이션과 같은 버스의 다른 장치는 그대로 두었습니다.

여러분의 로봇에서도 같은 점이 궁금하다면, 먼저 버스에서 실제 송신 시각을 측정해 보시길 권합니다. 소프트웨어 안에서 잰 주기와 실제로 버스에 나간 주기는 다를 수 있습니다.