SK하이닉스는 2026년 11월 20일 미국 시카고에서 열린 슈퍼컴퓨팅 2026에서 메모리 중심 AI 랙 MARS와 CXL 기반 데이터 공유·재사용 기술을 시연했다고 밝혔다. 여러 서버를 묶는 이 기술은 무엇을 함께 쓰게 하며, 그것이 AI 운영 효율과 어떻게 연결될까. 이번 발표의 답은 저장 용량 확대에만 있지 않고, 이미 처리한 정보를 다른 작업에 다시 쓰는 경로에 있다.[1][2] [1]
다만 MARS가 이번에 처음 등장한 것은 아니다. 10월 16일 보도에는 OCP 글로벌 서밋에서 계산 자원과 메모리 자원을 조정하는 랙 규모 구조를 소개했다는 내용이 나온다. 11월의 새 전개는 그 구상을 캐시 공유, 서버·GPU 간 재사용, CPU 서버의 토큰 공유라는 구체적인 시연으로 보여줬다는 점이다.[2][3] [3]
10월의 구조 소개에서 11월의 처리 과정으로
두 발표는 같은 MARS를 대상으로 하지만 설명의 초점이 다르다. 10월 자료가 계산과 메모리를 분리해 조정하는 전체 구조를 소개했다면, 11월 회사 제공 자료는 그 구조 안에서 어떤 정보를 보관하고 옮기며 재사용했는지 설명한다. 따라서 이번 뉴스를 ‘새 랙의 최초 공개’로 읽으면 이전 발표와 이번 시연의 차이를 놓친다.[2][3] [3]
여기서 랙은 서버와 관련 장비를 함께 구성하는 단위다. 회사는 MARS를 메모리를 중심으로 협력사 솔루션을 하나의 랙에 통합하는 시스템으로 설명했다. 이번에 살펴볼 대상도 메모리 칩 한 개의 속도가 아니라, 여러 처리 장치 사이에서 정보가 이동하고 다시 쓰이는 방식이다. 제품 전시와 시스템 작동 시연을 구분해야 하는 이유다.[2] [2]
첫 시연: 캐시를 어디에 두고 언제 꺼냈나
첫 시연은 CXL 메모리와 CXL 하이브리드 메모리를 결합해 랙 단위로 KV 캐시를 공유하는 방식이었다. KV 캐시는 AI가 앞서 처리한 내용을 다음 계산에 활용하도록 보관한 중간 정보다. 회사는 계속 생성되는 대규모 캐시를 하이브리드 메모리 안의 SSD에 두고, 대화·작업 이력을 바탕으로 다시 필요할 정보를 예측해 D램으로 불러왔다고 설명했다.[2] [2]
이 시연의 논리는 저장 장소와 사용할 시점을 연결하는 데 있다. 모든 정보를 같은 곳에 유지하는 대신, 보관 중인 정보에서 곧 쓸 대상을 골라 준비한다는 것이다. 여기서 판단할 질문은 ‘얼마나 많이 저장했나’와 ‘필요할 때 얼마나 적절하게 준비했나’로 나뉜다. 회사가 설명한 구조만으로 두 질문의 답이 항상 함께 좋아진다고 볼 수는 없다.[2] [2]
같은 전시의 별도 기술 소개인 ‘KV Cache Offloading over CXL’은 이러한 배치 원칙을 더 구체적으로 제시했다. 곧 사용할 캐시는 HBM과 D램에 먼저 배치하고, 나중에 다시 부를 캐시는 CXL 메모리 풀에 둔다는 설명이다. 회사는 재사용 빈도, 최근 사용 시점, 정보 크기와 복원 비용 등을 배치 판단에 고려한다고 밝혔다.[2] [2]
이를 첫 시연과 완전히 같은 시험으로 합쳐 읽어서는 안 된다. MARS의 첫 시연은 SSD와 D램 사이에서 캐시를 준비하는 과정을 보여줬고, 별도 소개는 AI 메모리 전체에서 캐시를 배치하는 원칙을 설명했다. 서로 연결되는 기술 방향이지만, 공개 자료는 두 설명에 동일한 장비·작업·측정 조건을 적용한 성능표를 제공하지 않는다.[2] [2]
둘째 시연: 서버 사이에서 다시 계산할 일을 줄였나
둘째 시연에서는 연산 기능을 갖춘 메모리 풀로 여러 서버와 GPU를 연결했다. 메모리 풀은 여러 장치가 활용할 메모리 자원을 묶은 구성으로 이해하면 된다. 회사는 그 안에서 필요한 KV 캐시를 선택적으로 전달하거나 재사용해, 네트워크 통신에 의존하는 기존 방식보다 AI 에이전트 서비스의 성능을 개선했다고 설명했다.[2] [2]
이때 ‘연결했다’와 ‘효율이 높아졌다’ 사이에는 확인할 단계가 있다. 어떤 작업이 앞서 만든 캐시를 필요로 하는지 파악하고, 그 캐시를 가져오는 부담이 다시 처리하는 부담보다 유리해야 한다. 이는 시연 구조에서 도출되는 적용 조건이지, 공개 자료가 모든 AI 작업에 대해 입증한 결과는 아니다. 재사용 가능한 정보의 비중이 다른 작업끼리는 효과도 따로 측정해야 한다.
이 대목에서 공유를 단순한 용량 합산으로 이해하면 부족하다. 이번 자료가 강조한 것은 같은 정보를 다른 처리 과정에서 다시 활용하는 기능이다. 반대로 이 시연만으로 모든 서버가 모든 메모리 영역에 동시에 접근한다거나, 모든 소프트웨어에서 별도 조정 없이 작동한다고 확장해서 해석할 근거는 없다. 초안에 있던 풀링과 공유의 엄밀한 표준상 구별은 제공된 원문만으로 확정하지 않는다.[2] [2]
셋째 시연: CPU의 준비 작업이 GPU를 기다리게 할 때
셋째 시연은 CPU 서버들이 만든 토큰을 CXL 메모리 풀을 통해 공유하는 내용이다. 토큰은 AI가 처리하는 입력의 단위이며, 이를 만드는 준비 작업이 늦어지면 뒤에서 계산할 GPU가 기다릴 수 있다. 회사는 요청 데이터와 토큰의 공유로 중복 처리를 줄이고 CPU 작업 배치를 개선해, GPU의 유휴 시간을 단축했다고 설명했다.[2] [2]
원인에서 결과로 이어지는 경로는 ‘준비 작업의 중복 감소→후속 계산에 필요한 입력의 공급 개선→GPU 대기 시간 감소’다. 여기서 GPU 자체의 계산 능력이 달라졌다고 설명할 필요는 없다. 같은 장비라도 일을 받지 못해 쉬는 시간이 줄면 서비스 처리에 쓰이는 시간이 늘어날 수 있다는 뜻이다. 이 작동 경로는 회사가 제시한 셋째 시연의 핵심이다.[2] [2]
이를 실제 도입 판단에 적용한다면 먼저 느린 구간을 찾아야 한다. 입력 준비가 지연되는 서비스라면 이번 시연이 검토할 문제와 맞닿아 있다. 그러나 입력이 이미 충분히 공급되고 있다면 CPU 쪽 중복 처리 감소만으로 전체 응답 시간이 크게 바뀐다고 예상하기 어렵다. 이는 추가 측정이 필요한 조건부 해석이며, 특정 고객이 그런 효과를 얻었다는 사례는 아니다.
무엇을 같게 두고 비교해야 효과를 알 수 있나
발표 전후 비교와 성능 비교는 서로 다른 질문이다. 같은 MARS를 기준으로 발표 내용을 비교하면 10월에는 자원 조정 구조, 11월에는 캐시와 토큰을 공유하는 처리 과정이 구체화됐다. 반면 회사가 설명한 둘째 시연의 성능 비교는 네트워크 통신 중심 방식과 CXL 기반 메모리 활용 방식을 대비한 것이다. 전자는 공개 내용의 변화이고 후자는 기술 효과에 관한 회사 주장이다.[2][3] [3]
후자를 평가할 때는 모델, 입력 길이, 동시에 처리한 요청과 장비 구성을 같게 두고 데이터 전달 방식을 바꿨는지 확인해야 한다. 조건이 달라지면 개선이 공유 방식에서 왔는지, 투입 자원이 늘어서 생겼는지 구분하기 어렵기 때문이다. 이번 자료에는 그런 조건을 모두 고정한 비교표와 비용 산정이 없으므로, 개선 방향을 설명한 시연과 고객의 투자 효과를 동일시해서는 안 된다.[2] [2]
또한 회사는 별도 캐시 오프로딩 기술을 SK텔레콤과 실제 대규모언어모델 추론 환경에서 검증했다고 밝혔다. 따라서 모든 내용이 실험실 구상에만 머물렀다고 쓰는 것도 부정확하다. 다만 이 설명은 MARS 전체의 고객별 운영 성과나 상용 공급 개시와 같은 뜻은 아니다. 기술 검증의 대상과 사업화의 범위를 나눠 읽어야 한다.[2] [2]
한국 기업과 이용자가 확인할 도입 조건
한국 산업에 연결되는 관찰 지점은 칩 판매 외에 서버 구성과 소프트웨어가 함께 바뀌는가다. 이번 전시에는 MARS 시연과 함께 HBM·서버 D램·기업용 SSD 제품이 소개됐다. 이를 바탕으로 보면 메모리의 가치는 개별 제품 사양뿐 아니라 시스템에서 맡는 역할로도 평가할 필요가 있다. 다만 전시된 제품이 모두 특정 MARS 고객에게 공급됐다는 의미는 아니다.[1][2] [1]
AI 서비스를 운영하는 국내 기업에는 재사용할 정보의 성격, 장비·소프트웨어의 대응 범위, 추가 구성 비용이 검토 항목이 된다. 이용자에게 돌아갈 응답 속도나 요금 변화는 그다음 문제다. 기술적 효율이 개선되더라도 도입 비용과 서비스 운영 판단을 거쳐야 하므로, 이번 시연에서 소비자 요금 인하나 국내 기업의 매출 증가를 바로 계산할 수는 없다.
원문과 자기 업무를 대조할 때는 다음 항목을 순서대로 확인하면 된다.
- 공유 대상이 저장 용량인지, KV 캐시인지, CPU가 만든 토큰인지 구분한다.
- 성능 비교에서 작업과 장비 조건을 같게 두었는지 살핀다.
- 회사의 시연 설명, 실제 환경의 기술 검증, 고객 도입을 각각 나눠 확인한다.
- 도입 일정과 전체 운영비 자료가 있는지 확인한 뒤 비용 효과를 판단한다.
