칩 발표에 나온 두 개의 단위
엔비디아는 2024년 3월 18일 블랙웰 플랫폼을 공개했다. 회사 설명에 따르면 블랙웰 GPU는 실리콘 다이 두 개를 하나의 GPU로 연결한 설계였다. 다이는 회로가 만들어진 실리콘 조각을 뜻한다. 회사가 발표한 2,080억 개 트랜지스터는 그 블랙웰 GPU의 규모에 관한 숫자이며, 데이터센터 랙 안의 GPU 수를 가리키지는 않는다. [1]
두 다이 사이의 연결은 회사 발표 기준으로 초당 10TB다. 이 수치는 다이 사이에서 데이터를 옮길 수 있는 대역폭을 가리킨다. 대역폭은 일정 시간에 통과할 수 있는 데이터의 양이며, 메모리에 저장할 수 있는 데이터의 총량과 다르다. 초당 10TB라고 적혀 있어도 한 GPU가 10TB의 메모리를 갖췄다고 읽을 수 없다. [1]
하나의 GPU와 하나의 GB200
회사 자료에서 GB200은 블랙웰 GPU 두 개를 그레이스 CPU 한 개와 연결한 구성이다. GPU 내부의 다이가 두 개라는 사실과 GB200에 들어가는 GPU가 두 개라는 사실은 각각 다른 조립 단계를 말한다. 숫자가 같아도 하나는 GPU 내부의 구성이고, 다른 하나는 CPU와 함께 묶은 장치의 구성이다. [1][2]
엔비디아는 이 CPU와 GPU를 잇는 연결의 양방향 대역폭으로 초당 900GB를 제시했다. GPU 내부의 다이 사이 연결과는 통신하는 대상과 범위가 다르다. 두 수치를 같은 단위로 바꿔 표시할 수는 있어도, 값의 비율만으로 프로그램이 몇 배 빨리 작동하는지 알 수 없다. 프로그램이 어느 연결을 얼마나 자주 쓰는지와 다른 계산 작업도 영향을 준다. [1][2]
랙까지 연결하면 GPU가 72개
GB200 NVL72는 블랙웰 플랫폼의 랙 규모 구성 가운데 하나였다. 엔비디아는 GB200 36개가 블랙웰 GPU 72개와 그레이스 CPU 36개로 이어진다고 설명했다. 한 GB200에 GPU가 두 개이므로 36 곱하기 2가 72다. 같은 산술에서 CPU는 한 GB200당 한 개여서 36개다. 두 숫자는 랙에 구성된 처리 장치의 수이며, GPU 한 개의 내부 다이 수를 말하지 않는다. [1][2]
기술 자료에는 계산용 트레이 하나에 그레이스 CPU 두 개와 블랙웰 GPU 네 개가 들어가는 예도 나왔다. 같은 방식으로 트레이 18개를 놓으면 GPU가 72개가 된다. 이 배열은 GPU끼리 데이터를 주고받는 연결과 냉각을 함께 설계하는 방식이었다. 72개의 장치가 있다고 해서 모든 프로그램이 장치 한 개보다 정확히 72배 빨라지는 것은 아니다. [2]
연결 규모와 프로그램 성능
큰 모델은 처리할 작업과 데이터를 여러 GPU에 나누어 놓을 수 있다. 서로 다른 장치가 계산한 내용을 자주 교환해야 한다면 장치 사이 연결이 느릴 때 대기가 생길 수 있다. 랙 안에서 장치를 연결하는 이유 중 하나는 이 데이터 이동에 필요한 시간을 줄이려는 것이다. 다만 작업을 나누는 방식과 메모리 접근, 네트워크 및 소프트웨어에 따라 효과가 달라진다. [1][2]
엔비디아는 발표에서 특정 인공지능 추론과 학습 사례의 성능도 제시했다. 그 수치는 회사가 정한 모델, 비교 장치 수와 작업 조건에서 나온 것이다. 랙의 장치 수를 먼저 확인하는 것과 실제 응용 작업의 처리량을 확인하는 것은 다르다. 성능 자료를 비교할 때에는 학습인지 추론인지, 동일한 모델을 돌렸는지, 비교한 장치의 구성은 무엇인지 확인해야 한다. [1][2]
같은 기술 이름을 읽는 순서
한국의 데이터센터나 소프트웨어 개발자가 당시 발표를 읽을 때에도 GPU, CPU와 GPU를 묶은 구성, 여러 장치를 연결한 랙을 먼저 구별할 수 있다. 그다음 수치가 다이 사이인지, CPU와 GPU 사이인지, 여러 GPU 사이의 연결인지 확인한다. 초당 전송량, 메모리 용량과 장치 개수는 비교의 단위가 다르다. 3월 18일 공개 자료의 숫자들은 이 여러 층의 설계를 설명했다. [1][2]
이 발표는 새 플랫폼과 제품 구성을 공개한 기록이다. 실제로 어느 고객이 언제 이 구성을 이용할 수 있는지는 공급과 서비스 일정에 관한 별도 정보가 필요하다. 예를 들어 랙의 장치 수가 발표됐다고 해서 기존 시스템에 그 수만큼 장치를 바로 붙일 수 있는 것은 아니다. 전력과 냉각, 연결 방식에 맞는 설계가 필요하다는 점을 기술 자료에서 확인할 수 있다. [1][2]
기술 자료는 NVLink 스위치 트레이 아홉 개로 계산용 장치를 잇는 랙 설계도 설명했다. 이 스위치는 여러 GPU가 통신할 경로를 제공한다. GPU 한 개 안의 두 다이를 잇는 연결과 달리, 랙에서는 이미 분리된 여러 장치 사이의 통신이 필요하다. 스위치 수나 랙 전체 연결의 대역폭을 GPU 하나의 내부 연결 사양으로 적으면 어느 부분을 비교하는지 달라진다. [1][2]
랙의 냉각도 연결 설계와 다른 항목이다. 회사는 계산용 트레이와 랙에 액체 냉각을 쓰는 설계를 제시했다. 많은 장치를 한곳에 두면 데이터 이동을 빠르게 하는 것 외에도 열을 빼내고 전력을 공급해야 한다. 한 GPU를 기존 기기에 넣는 질문과 여러 장치를 한 랙으로 설치하는 질문의 조건이 달라지는 이유다. [2]
예를 들어 같은 개수의 GPU를 사용해도 작업 중간에 결과를 자주 교환하는 경우와 독립된 여러 작업을 나누어 처리하는 경우에는 연결의 영향이 다를 수 있다. 첫 경우에는 장치 사이 이동이 자주 일어나고, 둘째 경우에는 각 장치의 계산 시간이 더 크게 작용할 수 있다. 발표에 나온 대역폭을 그대로 모든 작업의 속도로 환산하기 어려운 이유다. [1][2]
