본문으로 건너뛰기
AN INDEPENDENT ECONOMIC JOURNAL생활에서 시작하는 경제 읽기
가까이 두고 읽는 경제 이야기
CIN · CONNECT · INFORM · NEWS
경제의 흐름을,
생활의 언어로.

CIN ECONOMIC NOTES

젯슨 오린 나노 슈퍼 67 TOPS, 답변이 초당 67개 나온다는 뜻일까

12월 17일 발표의 연산량·메모리 대역폭·전력 모드를 구분해 읽기

핵심 먼저 읽기

AT A GLANCE
  • 엔비디아는 젯슨 오린 나노 슈퍼 개발자 키트를 249달러에 발표하고 최대 67 INT8 희소 TOPS를 제시했다.
  • TOPS는 특정 조건의 연산 성능 지표이며 언어모델의 초당 토큰 수나 모든 앱의 속도와 같지 않다.
  • 같은 하드웨어 구조에서 소프트웨어와 전력 모드로 성능을 높이는 방식이라 전력·메모리 조건을 함께 봐야 한다.
작은 개발 보드와 별도 메모리 상자, 조절 손잡이를 그린 과슈 삽화
본문의 이해를 돕기 위한 일러스트레이션
이 글의 순서 · 8개 주제

작은 개발 보드에 붙은 여러 성능 숫자

엔비디아는 2024년 12월 17일 젯슨 오린 나노 슈퍼 개발자 키트를 발표했다. 발표 가격은 249달러였으며 기존 499달러보다 낮아졌다. 회사는 소형 장치에서 생성형 AI를 시험하고 개발하는 플랫폼으로 소개했다. 이는 당시 발표 가격으로, 현재 판매 조건이나 지역별 최종 구매 비용을 안내하는 값이 아니다.[1]

회사 발표는 생성형 AI 추론 성능이 최대 1.7배 높아졌다고 설명했다. 이 표현의 ‘최대’와 비교 대상은 중요하다. 모든 모델과 모든 작업이 정확히 같은 배수로 빨라진다는 독립적인 검증 결과로 바꿔 읽을 수는 없다. 발표된 제원과 실제 작업의 측정 결과는 구분해야 한다.[1][2]

67 TOPS 옆의 INT8과 희소 조건

공식 기술 표는 새 키트의 성능을 67 TOPS 희소 연산과 33 TOPS 밀집 연산으로 구분했다. 기존 키트는 각각 40과 20이었다. TOPS는 초당 수행하는 연산 규모를 나타내는 단위이며 이 표에서는 정밀도와 희소성 조건이 붙는다. 숫자 옆의 조건을 지우면 다른 방식으로 측정한 값과 잘못 비교하기 쉽다.[2]

67이라는 숫자를 언어모델의 초당 토큰 67개라고 읽는 것은 단위를 바꾸는 일이다. 토큰은 모델이 처리하거나 생성하는 텍스트 단위이고 연산량은 계산 작업의 규모다. 한 토큰을 만들 때 필요한 연산과 데이터 이동은 모델과 설정에 따라 달라진다. 연산 제원 하나만으로 응답 속도를 바로 계산할 수는 없다.

희소와 밀집 수치를 서로 바꾸어 쓰지 않는다

같은 새 키트에서 67과 33이 함께 제시된 것은 두 장치가 있다는 뜻이 아니라 연산 조건이 다르다는 뜻이다. 구조에 맞춰 생략 가능한 계산을 활용하는 경우와 밀집된 계산을 수행하는 경우를 같은 숫자로 비교하지 않아야 한다. 더 큰 숫자만 뽑아 다른 장치의 다른 정밀도 값과 나란히 놓으면 비교의 전제가 달라진다.[2]

예를 들어 가상의 두 작업이 같은 연산기를 쓰더라도 필요한 계산의 형태와 자료를 옮기는 양이 다르면 끝나는 시간은 달라질 수 있다. 이것은 제원과 실제 속도의 관계를 이해하는 예시다. 이번 제품에서 어떤 모델이 정확히 몇 토큰을 내는지를 계산한 것이 아니며 특정 응용의 성능을 보장하지 않는다.

메모리 크기와 대역폭도 다른 지표다

기술 표의 메모리 용량은 기존과 새 키트 모두 8GB로 제시됐다. 반면 메모리 대역폭은 초당 68GB에서 102GB로 늘었다. 용량은 담을 수 있는 자료의 크기를, 대역폭은 자료를 옮기는 속도의 한 측면을 나타낸다. 대역폭이 50% 늘었다고 메모리 용량도 12GB로 늘었다고 해석할 수는 없다.[2]

102를 68로 나누면 1.5이므로 표의 대역폭은 1.5배다. 그러나 이것을 모든 프로그램 실행 시간이 3분의 2로 줄어든다는 법칙으로 바꾸어서는 안 된다. 어떤 작업은 연산, 어떤 작업은 자료 이동이나 다른 처리에 더 영향을 받을 수 있다. 실제 작업을 측정해야 병목이 무엇인지 판단할 수 있다.

같은 구조에서 새 전력 모드를 사용한다

기술 설명은 같은 하드웨어 구조에서 GPU·메모리·CPU 클록을 높이는 새 전력 모드가 성능 향상을 가능하게 했다고 밝혔다. 기존 개발자 키트 이용자도 소프트웨어 갱신으로 새 모드를 사용할 수 있다고 안내했다. 이름에 ‘슈퍼’가 붙었다고 모든 핵심 구성요소가 새 구조로 교체됐다는 뜻은 아니다.[2]

표의 모듈 전력 모드는 기존 7W·15W에서 새 구성의 7W·15W·25W로 제시됐다. 이 25W를 모든 상태의 고정 소비전력이나 전체 시스템의 벽면 전력이라고 부를 수는 없다. 모듈의 운용 조건과 시스템 전체의 소비는 범위가 다르다. 성능 숫자와 전력 조건을 함께 적어야 비교가 완성된다.[2]

개발자 키트는 완성된 서비스와 다르다

회사 발표는 키트가 8GB 시스템온모듈과 기준 캐리어 보드로 구성돼 엣지 AI 응용의 시제품 개발에 쓰일 수 있다고 설명했다. 부품과 개발 환경을 제공하는 플랫폼이라는 의미다. 제품이 발표됐다는 사실이 곧 사용자의 모든 업무에 맞춘 완성 서비스가 설치돼 있다는 뜻은 아니다.[1]

실제 작업에는 모델 선택과 자료 형식, 결과 검토, 주변장치와 운영 조건이 영향을 준다. 이 글은 제품의 당시 발표를 해석하며 설치나 구매를 권하는 안내가 아니다. 작은 보드에서 AI를 실행할 수 있다는 가능성과 원하는 품질·속도로 업무를 끝낼 수 있다는 검증은 별도의 단계다.

가격 하락과 성능 향상을 합쳐 보지 않는다

249달러와 499달러의 차이는 250달러다. 가격의 변화와 연산 제원의 변화는 각각 다른 축의 정보다. 둘을 한 문장으로 소개할 수는 있지만 사용자가 얻는 실제 효율이 단순히 두 배수가 곱해진 값이 된다고 보장할 수 없다. 주변 비용과 어떤 작업을 수행하는지까지 맞춰야 비교가 의미를 가진다.[1]

또 당시 달러 발표 가격을 그대로 국내 세금·배송이 포함된 원화 가격으로 옮길 수는 없다. 환율과 지역 조건이 필요하기 때문이다. 과거 아카이브는 발표된 금액과 날짜를 남기며 현재의 최저가나 구매 가능 여부를 확정하지 않는다. 제원도 같은 발표 시점의 표를 기준으로 읽어야 한다.

성능표를 읽는 확인 순서

먼저 어떤 정밀도와 희소성 조건인지 보고 연산 성능과 텍스트 응답 속도를 나눈다. 다음으로 메모리 용량과 대역폭, 모듈 전력 모드를 확인한다. 마지막으로 회사의 최대 성능 주장과 실제 응용의 측정 결과를 구별한다. 숫자가 크다는 이유만으로 이 질문들이 하나로 합쳐지지는 않는다.

12월 21일까지 확인 가능한 변화는 낮아진 발표 가격과 소프트웨어·전력 모드에 기반한 성능 제원의 확대다. 67 TOPS는 중요한 하드웨어 단서지만 모든 모델의 응답 속도를 말해 주지는 않는다. 조건과 단위를 함께 읽으면 작은 개발 보드의 새 가능성과 아직 직접 측정해야 할 부분을 나누어 이해할 수 있다.[1][2]

SOURCES & FURTHER READING

참고한 자료, 더 읽을 거리

글의 근거와 더 자세한 배경은 아래 원문에서 이어 읽을 수 있습니다.

01
NVIDIA

NVIDIA Unveils Its Most Affordable Generative AI Supercomputer

↗
02
NVIDIA Developer

NVIDIA Jetson Orin Nano Developer Kit Gets a “Super” Boost

↗
CIN

흩어진 소식을 연결하고,
일상의 질문에서 경제를 이해합니다.

블로그 소개 ↗