이미 생산하던 칩과 새로 발표한 구성을 나눈다
엔비디아는 2023년 8월 8일 시그래프에서 차세대 GH200 그레이스 호퍼 플랫폼을 소개했다. 같은 날 회사의 행사 기록에 따르면 기존 GH200은 그레이스 중앙처리장치와 호퍼 그래픽처리장치를 결합한 제품으로, 이미 생산에 들어간 상태였다. 8월 발표의 새 내용은 기존 이름을 처음 공개한 것이 아니라 고대역폭 메모리 HBM3e를 쓰는 버전과 여러 칩을 연결할 수 있는 서버 구성이었다.[1][2]
한 서버에서 두 칩을 연결하는 구성에 엔비디아가 제시한 HBM3e 용량은 282GB다. 같은 발표에는 144개의 Arm 네오버스 코어도 나오는데, 이는 두 칩 구성에서 중앙처리장치 쪽 코어를 세는 숫자다. 메모리의 GB와 코어 개수는 서로 바꿔 쓸 수 없다. 282GB를 모든 GH200 제품에 들어간 단일 칩의 사양으로 옮기거나, 서버 전체의 모든 종류의 메모리를 더한 값이라고 읽어도 발표의 범위를 벗어난다.[1][2]
용량과 대역폭이 답하는 질문
용량은 데이터가 동시에 얼마나 들어가는지 설명한다. 대역폭은 단위 시간에 얼마나 많은 데이터를 옮길 수 있는지 설명한다. 인공지능 작업에 비유하면 모델의 매개변수나 처리할 데이터가 메모리에 어느 정도 들어가는지와, 계산 장치가 필요로 할 때 데이터를 얼마나 빠르게 전달할 수 있는지는 별개의 문제다. 한쪽 수치가 커져도 다른 쪽이나 계산 속도가 같은 비율로 달라진다는 결론은 나오지 않는다.[1][2]
가상의 서버가 메모리에 100GB를 담을 수 있고 초당 20GB를 전송한다고 가정해 보자. 80GB를 한 번 순서대로 옮기는 데 걸리는 이론상 시간은 4초다. 저장 공간만 200GB로 늘고 전송률이 그대로라면 80GB를 옮기는 시간은 그대로다. 반대로 전송률만 초당 40GB로 늘면 가정한 시간은 2초가 되지만 메모리에 들어갈 수 있는 양은 여전히 100GB다. 실제 장치의 성능 측정이 아니라 단위의 차이를 보여 주는 예다.[1][2]
최대 배수의 비교 조건
엔비디아는 차세대 두 칩 구성에 대해 당시 제공 제품 대비 최대 3.5배의 메모리 용량과 3배의 대역폭을 제시했다. 여기서 최대라는 말과 두 칩 구성이라는 조건이 중요하다. 회사가 발표한 비교에서 메모리 용량과 대역폭 각각의 값이 크다는 뜻이지, 모든 모델이 같은 비율로 빨라진다는 벤치마크는 아니다. 실행 성능은 실제 연산이 어느 부분에서 기다리는지에도 달려 있다.[1][2]
예를 들어 동일한 가상 작업이 데이터를 가져오는 데 6초, 실제 계산에 4초를 써서 10초가 걸린다고 하자. 다른 조건을 두고 전송만 세 배 빨라진다고 해도, 전송 시간이 2초로 줄어 전체는 6초가 된다. 이 경우 전체 속도는 약 1.67배다. 실제 GH200 성능을 뜻하는 수치가 아니다. 두 시간이 겹치는 방식이나 계산량이 달라져도 결과는 달라질 수 있다.[1][2]
발표 일정과 제품 검증은 별개다
회사는 이 플랫폼을 채택한 주요 제조사의 시스템을 2024년 달력 기준 2분기에 공급할 것으로 기대한다고 밝혔다. 2023년 8월 8일 당시 알려진 것은 설계와 사양, 예상 일정이다. 특정 제조사의 제품이 어느 날 어느 가격에 출하됐는지는 그 발표에서 확인할 수 없다. 새 구성이 나왔다는 발표를 읽을 때 공개 날짜와 예상 공급 시기를 구별하면 발표 당시의 사실을 뒤섞지 않는다.[1][2]
한 서버의 사양을 평가할 때도 단일 칩의 구성과 여러 칩을 묶은 구성을 나눌 수 있다. 프로그램이 연결된 메모리를 얼마나 활용하는지, 작업이 데이터 전송보다 연산에 더 오래 걸리는지에 따라 같은 사양의 의미가 달라진다. 282GB라는 발표 값은 어떤 서버 구성을 설명하는지는 알려 주지만, 특정 프로그램이 그 공간을 모두 효율적으로 썼는지까지 보여 주지는 않는다.[1][2]
여러 칩을 연결했을 때 달라지는 것
회사는 두 칩을 연결하는 기술로 NVLink를 제시했다. 메모리 칩을 한 모듈에 더 붙이는 방식과, 여러 계산 장치를 이어 함께 사용하는 방식은 설계에서 다른 문제를 푼다. 첫째는 각 장치 가까이에 있는 공간과 전송 능력을 바꾸는 문제이고, 둘째는 장치 사이에서 일을 나누고 데이터를 주고받는 문제다. 두 칩 구성을 설명한 발표 수치만으로 한 프로그램이 장치 사이를 오가며 얻는 실제 전송률까지 계산할 수는 없다.[1][2]
회사 자료에서 282GB는 두 칩 구성의 HBM3e이고, 144개는 같은 구성의 CPU 코어 수다. 행사 기록이 설명한 기존 단일 칩 구성의 72개 CPU 코어를 두 개로 늘린 수와 일치한다. 그렇다고 연산 속도나 대역폭이 코어 수에 따라 정확히 두 배가 된다는 계산은 할 수 없다. 작업을 어떻게 나눌 수 있는지, 동시에 얼마나 많은 데이터가 오가야 하는지에 따라 두 칩의 이점이 달라지기 때문이다.[1][2]
사양표의 어느 줄부터 읽을까
한 작업에 필요한 데이터가 가상의 장치 용량을 초과한다면, 먼저 동시에 올려둘 데이터의 양이나 작업을 나눌 수 있는지를 따져야 한다. 반대로 충분히 들어가는데 계산 장치가 데이터를 기다린다면, 전송률과 접근 방식이 더 직접적인 조건이 된다. 두 문제는 동시에 생길 수도 있다. 새 플랫폼이 용량과 대역폭을 모두 강조했다고 해서 모든 작업의 병목이 같은 곳에 있었다는 뜻은 아니다.[1][2]
장치를 비교할 때에는 단일 모듈과 서버 단위를 먼저 맞추고, 같은 종류의 메모리를 비교하고 있는지 확인할 수 있다. 비교 기준을 맞춘 뒤에는 용량에는 GB를, 전송률에는 초당 전송량 단위를 붙여 따로 기록하는 편이 낫다. 발표에 나온 두 칩의 합산 용량과 회사가 제시한 최대 성능 배수를 같은 항목으로 놓지 않아야, 나중에 특정 작업의 측정 결과와 발표 당시의 사양을 올바르게 연결할 수 있다.[1][2]
