AI 반도체 이야기를 하다 보면 빠지지 않고 등장하는 것이 HBM입니다. GPU가 아무리 빠르게 계산해도 필요한 데이터를 제때 공급받지 못하면 제 성능을 낼 수 없기 때문에, GPU 가까이에서 많은 데이터를 빠르게 주고받는 HBM이 중요해졌습니다. 그런데 생성형 AI가 실제 서비스에 널리 사용되면서 또 다른 문제가 나타나고 있습니다. 빠른 메모리뿐 아니라 엄청나게 많은 메모리도 필요해지기 시작한 것입니다.
챗GPT 같은 생성형 AI를 생각해보면 이해하기 쉽습니다. 한두 사람이 짧은 질문을 하는 것과 수많은 사람이 동시에 긴 대화를 이어가는 것은 필요한 메모리의 양부터 다릅니다. 그렇다고 모든 서버에 앞으로 필요할 최대 용량을 예상해 메모리를 잔뜩 넣어두면 평소에는 사용하지 않는 메모리가 많아집니다. 반대로 필요한 만큼만 설치했다가 사용량이 갑자기 늘어나면 메모리가 부족할 수 있습니다.
그렇다면 서버가 원래 가지고 있는 메모리 외에 별도의 대용량 메모리를 추가해 필요할 때 사용할 수는 없을까요? 실제로 그런 방법이 개발되고 있습니다. 별도의 DRAM 메모리를 추가하고, 서버가 이 추가 메모리를 사용할 수 있도록 연결하는 것입니다. 이때 서버와 추가 메모리를 연결해 데이터를 빠르게 주고받도록 해주는 기술이 CXL(Compute Express Link)입니다.
메모리는 따로 있고, CXL은 그곳으로 가는 길입니다
여기서 가장 먼저 구분해야 할 것이 있습니다. CXL 자체가 메모리는 아닙니다. 실제 데이터를 담는 메모리는 따로 있습니다. 우리가 잘 알고 있는 DRAM을 이용해 서버가 추가로 사용할 수 있는 메모리 공간을 만드는 것입니다. 그리고 서버가 그 추가 메모리에 접근해 데이터를 주고받을 수 있도록 연결해주는 기술이 CXL입니다.
아파트를 떠올려보겠습니다. 각 가정에는 원래 자기 집에서 사용하는 창고가 있습니다. 그런데 앞으로 짐이 얼마나 늘어날지 모르니 모든 집이 아주 큰 창고를 미리 만들어놓는다면 어떤 집은 창고가 꽉 차고, 어떤 집은 절반 이상이 비어 있을 겁니다. 그렇다고 옆집 벽에 붙어 있는 창고를 떼어다가 우리 집으로 가져올 수도 없습니다.
그래서 아예 아파트에 별도의 대형 공동창고를 하나 더 만든다고 생각해보겠습니다. 각 집의 개인 창고는 그대로 있습니다. 평소에는 자기 창고를 사용하다가 짐이 많아지면 공동창고의 공간을 추가로 이용합니다.
여기서 공동창고가 추가 메모리이고, 각 가정과 공동창고를 연결하는 전용도로가 CXL이라고 생각하면 됩니다. 공동창고는 실제 물건을 보관하는 공간이고, 도로는 그 창고를 이용하기 위해 오가는 길입니다. 둘은 전혀 다른 것이지만 공동창고를 제대로 이용하려면 둘 다 필요합니다.
그래서 뉴스에서 흔히 말하는 ‘CXL 메모리’는 CXL이라는 새로운 종류의 메모리가 아닙니다. CXL이라는 연결 방식을 이용해 서버에 추가로 연결한 메모리라는 뜻입니다.
그렇다면 ‘메모리 풀링’은 또 무엇일까요?
여기까지 이해했다면 다음 계단은 어렵지 않습니다. 서버가 추가로 사용할 메모리 장치를 하나만 연결할 수도 있지만, 여러 개의 추가 메모리를 연결해 하나의 큰 메모리 공간처럼 구성할 수도 있습니다. 그리고 여러 서버가 필요에 따라 이 추가 메모리 자원을 활용하도록 만들 수 있습니다. 이것을 **메모리 풀링(memory pooling)**이라고 합니다.
다시 아파트로 돌아가보겠습니다. 공동창고에 작은 창고방이 여러 개 있다고 생각하면 됩니다. 각각 따로 놀게 두는 대신 전체를 하나의 큰 공동 보관공간처럼 운영합니다. 1호 집에 짐이 많아지면 더 많은 공간을 배정하고, 나중에 3호 집에 공간이 필요해지면 그쪽에도 필요한 공간을 배정하는 식입니다.
중요한 것은 각 집의 기존 창고를 서로 나눠 쓰는 것이 아니라는 점입니다. 각 집의 창고는 그대로 있습니다. 그 밖에 별도의 공동창고를 추가하고 필요할 때 이용하는 것입니다. 마찬가지로 CXL 메모리 풀링도 기존 서버에 들어 있는 메모리의 남는 부분을 떼어 모으는 것이라고 생각하면 정확하지 않습니다. 별도로 추가한 메모리들을 CXL을 통해 연결하고, 이 추가 메모리 자원을 여러 서버가 보다 유연하게 활용하도록 만드는 것입니다.
AI는 왜 이렇게 많은 메모리가 필요할까요?
여기까지가 CXL의 기본 구조라면 이제 중요한 질문이 남습니다. “그런데 굳이 왜 이런 복잡한 일을 해야 하지?” 이유는 AI가 사용하는 메모리의 양이 크게 늘어나고 있기 때문입니다.
생성형 AI는 사용자의 질문에 답하면서 앞에서 처리했던 내용을 일정 부분 기억해두고 다시 활용합니다. 우리가 대화하면서 앞에서 무슨 이야기를 했는지 전혀 기억하지 못한다면 대화가 제대로 이어지지 않는 것과 비슷합니다. AI 역시 앞서 처리한 정보를 일정 부분 메모리에 저장해두고 다음 답변을 만들 때 활용합니다.
이렇게 AI가 작업 과정에서 잠시 정보를 저장해두는 공간을 기술적으로 KV Cache라고 합니다. 이름은 외우지 않아도 됩니다. 그냥 ‘AI가 대화를 이어가기 위해 사용하는 임시 메모장’이라고 생각하면 됩니다. 사용자가 적고 대화가 짧으면 작은 메모장으로 충분합니다. 하지만 수많은 사람이 동시에 이용하고 대화가 길어진다면 필요한 메모리도 빠르게 늘어납니다.
결국 AI 서비스가 커질수록 문제가 생깁니다. GPU 주변의 빠른 메모리와 서버가 원래 가지고 있던 메모리만으로는 부족해질 수 있기 때문입니다. 그래서 서버가 추가로 사용할 수 있는 큰 메모리 공간을 만들고, 그것을 CXL을 통해 연결해 활용하는 방법이 주목받는 것입니다.
HBM이 있는데 CXL 메모리까지 필요한 이유
여기서 자연스럽게 이런 의문이 생깁니다. “HBM이 그렇게 빠르고 좋은 메모리라면서 HBM을 더 많이 넣으면 되는 것 아닌가?” 하지만 HBM과 CXL로 연결한 추가 메모리는 하는 일이 조금 다릅니다.
HBM은 GPU 바로 가까이에서 엄청난 양의 데이터를 매우 빠르게 주고받는 데 강점이 있습니다. 그래서 HBM을 ‘지금 당장 사용할 자료를 펼쳐놓는 아주 빠른 책상’이라고 생각해보겠습니다. 일을 빨리하려면 지금 필요한 자료가 손을 뻗으면 바로 닿는 곳에 있어야 합니다. 하지만 처리해야 할 자료가 계속 늘어난다고 해서 책상을 끝없이 넓힐 수는 없습니다.
그러면 책상 근처에 큰 자료실을 하나 더 만드는 방법을 생각할 수 있습니다. 이 자료실이 추가 메모리라면, 책상과 자료실을 연결해 필요한 자료가 오갈 수 있도록 만든 통로가 CXL입니다.
그래서 HBM과 CXL은 서로 경쟁해서 하나가 다른 하나를 없애는 기술이라고 보면 안 됩니다. HBM은 GPU에 데이터를 얼마나 빠르게 공급할 것인가가 중요하고, CXL을 이용한 추가 메모리는 부족한 메모리 용량을 어떻게 더 유연하게 늘려 사용할 것인가에 초점이 있습니다.
실제 AI 서버에서도 효과가 있을까요?
새로운 기술을 볼 때 가장 중요한 질문은 결국 이것입니다. “그래서 실제로 써보니 되는가?” 원리가 아무리 훌륭해도 실제 AI 서버에서 성능이 크게 떨어지거나 비용이 너무 많이 든다면 널리 사용되기 어렵기 때문입니다.
삼성전자는 최근 여러 개의 CXL 기반 메모리를 연결해 총 1TB 규모의 추가 메모리 공간을 만들고, AI가 작업하면서 기억해야 하는 정보를 이곳에 저장하는 실험을 진행했습니다. 쉽게 말하면 AI 서버 옆에 큰 추가 자료실을 만들고 CXL이라는 통로를 통해 실제로 사용해본 것입니다.
삼성전자에 따르면 특정 시험 환경에서 여러 GPU를 사용하는 경우에도 기존 서버 메모리를 이용했을 때와 비교해 약 92% 수준의 성능을 유지하면서 더 큰 메모리 공간을 제공했습니다. 물론 이 숫자 하나만 보고 CXL을 이용한 추가 메모리가 기존 메모리를 대체한다고 생각해서는 안 됩니다. 특정 장비와 프로그램을 이용한 시험 결과이고 실제 성능은 서버 구성이나 작업에 따라 달라질 수 있습니다.
중요한 것은 AI 서비스에서 메모리 부족이라는 문제가 실제로 커지고 있고, 별도의 추가 메모리를 CXL로 연결해 사용하는 방식이 그 문제를 해결할 하나의 방법으로 시험되고 있다는 점입니다.
CXL이 주목받는 진짜 이유는 ‘효율’입니다
데이터센터를 운영하는 회사의 입장에서 생각하면 CXL의 의미가 더 분명해집니다. 서버마다 앞으로 얼마나 많은 메모리가 필요할지 정확하게 예측하기는 어렵습니다. 부족할까 걱정해 모든 서버에 많은 메모리를 미리 설치하면 사용하지 않는 메모리가 생기고 비용도 늘어납니다. 반대로 너무 적게 설치하면 이용자가 갑자기 늘었을 때 메모리가 부족해질 수 있습니다.
여기에 별도의 추가 메모리 공간을 만들어 여러 서버가 필요할 때 활용할 수 있다면 선택지가 하나 더 생깁니다. 각 서버에는 기본적으로 필요한 메모리를 설치하고, 추가로 필요한 메모리는 CXL을 통해 연결된 메모리 공간에서 확보하는 방식입니다.
다시 아파트로 돌아가면 간단합니다. 네 가구가 혹시 짐이 늘어날까 봐 각각 거대한 창고를 하나씩 만드는 것보다, 각자 평소 필요한 개인 창고를 가지고 있으면서 별도의 공동창고를 하나 마련하고 필요할 때 이용하는 것입니다. CXL이 관심을 받는 이유도 결국 메모리의 용량을 늘리는 것뿐 아니라 비싼 메모리 자원을 필요한 곳에서 보다 효율적으로 활용할 가능성을 열어주기 때문입니다.
삼성전자와 SK하이닉스가 CXL에 관심을 갖는 이유
AI 시대의 메모리 시장은 지금까지 HBM을 중심으로 움직였습니다. 하지만 AI 서비스가 커지면서 빠른 메모리뿐 아니라 더 많은 메모리도 필요해지고 있습니다. 그렇다면 메모리를 만드는 삼성전자와 SK하이닉스 같은 기업에는 HBM 이외에 서버용 추가 메모리라는 새로운 시장이 성장할 가능성이 있습니다.
다만 CXL이 중요하다고 해서 곧바로 거대한 시장이 만들어졌다고 판단해서는 안 됩니다. CXL을 실제 데이터센터에서 널리 사용하려면 서버와 CPU, 메모리, 프로그램 등 여러 부분이 함께 지원해야 합니다. 실제로 사용했을 때 비용을 얼마나 줄일 수 있는지, 성능은 충분한지에 대한 검증도 필요합니다. 지금은 ‘CXL이 HBM 다음의 거대한 시장이다’라고 단정하기보다, AI 시대의 메모리 부족 문제를 해결할 유력한 방법 가운데 하나가 실제 시험대로 올라오고 있다고 보는 편이 적절합니다.
투자자의 입장에서도 당장 ‘CXL 관련주’를 찾기보다 앞으로 AI 데이터센터에서 CXL로 연결하는 추가 메모리가 실제로 얼마나 많이 사용되는지를 보는 것이 중요합니다. 기술이 등장하는 것과 기업이 그 기술로 큰돈을 벌기 시작하는 것 사이에는 상당한 시간이 걸릴 수 있기 때문입니다.
HBM 다음에는 ‘메모리를 어떻게 연결하고 쓸 것인가’도 중요합니다
AI 반도체를 처음 공부하면 GPU와 HBM이 가장 먼저 눈에 들어옵니다. GPU가 계산하고 HBM이 데이터를 빠르게 공급하니 둘만 잘 만들면 될 것처럼 보입니다. 하지만 하나씩 들여다보면 AI 서버는 훨씬 복잡합니다. GPU와 HBM을 연결하는 첨단 패키징이 필요하고, 엄청난 데이터를 저장할 SSD가 필요하며, 이제는 늘어나는 메모리를 어떻게 효율적으로 확장하고 활용할 것인가라는 문제까지 등장하고 있습니다.
CXL이 흥미로운 이유가 여기에 있습니다. 앞으로 CXL이 얼마나 큰 시장으로 성장할지는 아직 지켜봐야 합니다. 하지만 AI 반도체 시장을 이해하려면 한 가지 변화는 기억해둘 만합니다. AI 시대의 메모리 경쟁은 단순히 ‘누가 더 빠른 메모리를 만드느냐’에서 끝나지 않고 ‘필요한 메모리를 어떻게 연결하고 효율적으로 활용하느냐’의 경쟁으로 넓어지고 있습니다.
그래서 CXL이라는 낯선 세 글자를 어렵게 외울 필요는 없습니다. 뉴스에서 CXL이라는 말이 다시 등장한다면 세 가지만 떠올리면 됩니다.
추가 메모리는 실제 데이터를 담는 공간입니다.
CXL은 서버와 그 추가 메모리를 연결하는 통로입니다.
메모리 풀링은 여러 추가 메모리를 묶어 필요한 서버가 활용하도록 만드는 방식입니다.
이 세 개의 계단만 밟으면 CXL이라는 상당히 전문적인 기술의 기본 구조는 이해한 것입니다.
Q&A
Q1. CXL 자체가 메모리인가요?
아닙니다. 실제 데이터를 저장하는 메모리는 별도로 존재합니다. CXL은 서버와 그 추가 메모리를 연결해 데이터를 주고받을 수 있도록 해주는 연결 기술입니다. 흔히 ‘CXL 메모리’라고 부르는 것은 CXL이라는 방식을 통해 서버에 연결해서 사용하는 메모리를 뜻합니다.
Q2. CXL 메모리는 기존 서버에서 남는 메모리를 모아서 만든 것인가요?
그렇게 이해하면 정확하지 않습니다. 각 서버가 원래 가지고 있는 메모리는 그대로 두고, 별도의 추가 메모리를 마련해 CXL을 통해 연결합니다. 여러 추가 메모리를 하나의 큰 공간처럼 구성해 여러 서버가 활용할 수도 있습니다.
Q3. HBM이 있는데 왜 CXL로 연결한 추가 메모리가 필요한가요?
역할이 다릅니다. HBM은 GPU 가까이에서 데이터를 매우 빠르게 공급하는 데 강점이 있습니다. CXL은 별도의 추가 메모리를 서버에 연결해 사용할 수 있도록 함으로써 부족한 메모리 용량을 보다 유연하게 확장하는 데 중요한 역할을 합니다.
Q4. CXL은 앞으로 크게 성장할 기술인가요?
AI 서비스가 커질수록 필요한 메모리 용량도 증가하기 때문에 CXL이 주목받을 가능성은 있습니다. 하지만 아직 성장 중인 시장이므로 실제 데이터센터의 도입 규모와 비용 절감 효과, 관련 생태계의 확대를 함께 지켜볼 필요가 있습니다.
함께 보면 좋은 글
.메모리 반도체, 올해 전체 시장 60% 차지…2028년까지 공급 부족
태그: CXL, CXL 메모리, 메모리 풀링, AI 서버, AI 반도체