작은 보드가 맡은 일
2024년 6월 4일 라즈베리 파이는 라즈베리 파이 5에 연결하는 AI 키트를 70달러에 출시했다고 밝혔다. M.2 HAT+ 확장 보드에 하일로-8L 모듈을 미리 끼운 제품이었다. 같은 날 칩 공급사 하일로도 해당 모듈이 키트에 채택됐으며 추론 처리 성능이 13 TOPS라고 발표했다. 두 자료는 라즈베리 파이의 카메라 소프트웨어와 통합해 물체 감지와 영상 영역 구분 같은 모델을 실행하는 데 초점을 맞췄다.[1][2]
발표 가격의 대상은 키트다. 키트를 연결하는 라즈베리 파이 5 본체나 카메라까지 모두 70달러에 준다는 뜻은 아니다. 필요한 영상 입력과 전원, 저장 장치가 있는지에 따라 시스템을 꾸리는 비용이 달라진다. 같은 가격과 성능이라는 표현이라도 그 대상이 전체 장치인지 한 부품인지 구별해야 프로젝트에 적용할 수 있다.[1]
영상 한 장이 모델을 거치는 순서
카메라의 센서는 빛을 받아 영상 신호를 만든다. 카메라 소프트웨어는 이 신호를 사용할 수 있는 영상으로 바꾸고, 분석할 프레임을 모델이 받는 형식과 크기로 맞춘다. 학습된 모델에 그 입력을 넣어 영상에 무엇이 있는지 추정하는 과정이 추론이다. 라즈베리 파이는 하일로 모듈에서 영상 모델을 실행하면 본체 CPU가 다른 일을 맡을 수 있다고 설명했다. 영상의 입력과 출력, 그 결과에 따라 어떤 작업을 할지 결정하는 코드까지 모듈이 모두 대신 실행한다는 설명은 아니었다.[1][2]
가령 현관 카메라의 가상 프로그램이 사람이 화면 안에 들어왔을 때만 짧은 영상을 저장한다고 하자. 모듈은 장면 속 사람 후보와 위치를 추정한다. 응용 프로그램은 결과의 신뢰도를 정해 둔 기준과 비교하고, 기록할지를 결정한 뒤 저장 장치에 쓴다. 감지 모델이 더 빠르게 실행돼도 기록 지연은 프레임 입력, 저장 장치, 응용 프로그램의 처리 속도에 달려 있다. 감지 기준이나 모델을 잘못 고르면 빠르게 실행해도 잘못된 장면을 저장하거나 필요한 장면을 놓칠 수 있다.
13 TOPS와 초당 처리 장수는 단위가 다르다
TOPS의 1은 초당 1조 회의 연산이라는 뜻이다. 13 TOPS는 가속 모듈이 특정 조건에서 초당 13조 회 규모의 연산을 처리한다는 사양이다. ‘연산’과 ‘영상 한 장’은 같은 단위가 아니다. 영상 한 장에 필요한 연산은 선택한 모델과 입력 크기에 따라 달라진다. 계산이 모듈로 옮겨져도 영상 데이터를 전달하고 결과를 읽는 시간이 따로 든다.[1][2]
발표에는 확장 보드 연결 사양으로 단일 레인 PCIe 3.0의 8Gbps도 적혀 있다. 이 수치는 연결의 전송 속도를 나타내고, TOPS는 가속기의 연산 처리 사양을 나타낸다. 초당 전송 비트 수에 모델의 연산 능력을 더해 시스템 속도로 읽을 수 없다. 예를 들어 추론 전에 영상 크기를 줄이는 부분이 느리다면 가속기에 일이 제때 도착하지 않을 수 있다. 반대로 추론이 대부분의 시간을 차지하는 모델이라면 같은 영상 입력에서도 그 단계를 옮긴 효과가 더 클 수 있다.[1]
같은 카메라로 비교할 때 바꿀 변수
라즈베리 파이는 한 카메라의 영상에 여러 신경망을 쓰거나 두 카메라를 동시에 처리하는 구성도 소개했다. 카메라가 늘면 영상 입력이 많아지고, 모델이 늘면 프레임마다 필요한 일도 늘어난다. 지원한다는 설명만으로 모든 모델 조합에서 같은 속도가 나오는 것은 아니다. 하나의 카메라에서 물체 감지와 영역 구분을 함께 쓸 때에는 두 결과가 필요한 시점과 각 모델에 허용할 지연 시간을 따로 정할 수 있다.[1][2]
CPU만 쓸 때와 가속 모듈을 붙였을 때를 비교하려면 카메라 해상도, 모델 입력 크기, 감지 기준, 주변 밝기를 맞추고 처리한 프레임 수와 한 프레임의 지연을 따로 재는 편이 좋다. 프레임을 일부 건너뛰면 초당 표시 장수는 유지해도 짧게 나타난 물체를 놓칠 수 있다. 가속기의 사양표는 어떤 계산을 전용 칩에 맡길 수 있는지 알려 준다. 특정 카메라 프로젝트에서 얼마나 빨라지는지는 영상이 들어오는 순간부터 프로그램이 결과를 쓰는 순간까지 살펴봐야 판단할 수 있다.
칩이 실행할 수 있는 모델과 실제로 쓰려는 모델이 맞는지도 확인해야 한다. 모델을 학습해 만든 파일이 있다고 해서 모든 연산을 그대로 옮길 수 있는 것은 아니다. 어떤 연산이 가속기에서 실행되고 어떤 작업이 본체에 남는지에 따라 영상 한 장이 거치는 경로가 달라진다. 동일한 해상도에서 가속기의 연산 사양만 비교하면 연결 방식, 메모리 이동, 모델이 지원하는 연산의 차이를 놓칠 수 있다.
가령 카메라 두 대가 같은 위치를 다른 각도에서 찍는다면, 프로그램이 각 영상에서 감지한 물체를 같은 사건으로 볼지 결정하는 일도 남는다. 추론이 각각 빠르게 끝나도 입력 프레임의 시간이 다르면 두 결과를 맞추는 데 기다림이 생길 수 있다. 실제로 기다리는 시간이 문제인지 판단하려면 영상이 들어온 시점, 추론 결과가 나온 시점, 프로그램이 동작한 시점을 각각 기록하는 편이 좋다.
가속 모듈을 붙인 뒤 본체가 확보한 여유를 영상 표시나 파일 압축에 쓰는 경우도 있다. 이때 가속 효과는 모델을 한 번 돌리는 시간뿐 아니라, 여러 작업을 함께 했을 때 본체가 프레임을 계속 받아낼 수 있는지에 나타날 수 있다. 두 구성에 같은 작업을 맡긴 다음 멈춤이나 프레임 누락을 비교하면, 한 부품의 최대 연산 수보다 프로젝트에 가까운 차이를 확인할 수 있다.
