(현장+)'독파모'도 학습…AI 데이터센터 'NHN 팩토리X 서울'

엔비디아 B200 7657장 집적해 대규모 AI 컴퓨팅 자원 제공GPU 클러스터 환경 구축하고, 국내 최초 수랭식 냉각 적용도

[뉴스토마토 안창현 기자] 서울 영등포구 양평동에 위치한 인공지능(AI) 데이터센터 'NHN 팩토리X 서울'. 최신 AI 가속기인 엔비디어 B200 그래픽처리장치(GPU) 총 7656장을 기반으로 구축된 이곳은 생성형 AI 모델 학습과 추론, 기업과 공공 분야 AI 서비스에 필요한 대규모 연산 자원을 제공하고 있습니다. 정부가 추진한 AI 인프라 사업을 통해 조성된 센터에는 전체 3층부터 10층까지 GPU 서버를 운영하는 데이터홀이 자리했습니다. 이 중 NHN 팩토리X 서울은 NHN클라우드가 3~6층 데이터홀을 운영하면서 지난 4월부터 GPU 자원을 공급하는 중입니다.

 

NHN이 지난 18일 공개한 6층 데이터홀 안에는 사람 키를 훌쩍 넘는 서랍처럼 생긴 GPU 서버 랙들이 수십 대 줄지어 섰습니다. 서버 랙 1대에는 GPU 서버 6대가 모여 있고, 서버 1대당 GPU 8장이 들어간 형태였습니다. 48장의 B200 GPU가 결합되면서 랙 1대 가격은 60억원에 달한다는 설명입니다. NHN 팩토리X 서울이 운영하는 4개 층에 이런 서버가 총 957대, B200 GPU가 7656장 집적돼 있는 겁니다.

 

서울 영등포구 양평동 소재 'NHN 팩토리X 서울' 내부. (사진=NHN)

 

AI 데이터센터 운영의 핵심 경쟁력은 GPU 규모뿐 아니라 안정적인 전력 공급과 냉각기술이 꼽힙니다. 특히 GPU 성능을 최대화하기 위해선 효율적으로 GPU 발열을 억제하는 냉각기술이 중요합니다. NHN클라우드는 데이터센터 발열량의 70~80%를 차지하는 GPU와 중앙처리장치(CPU)에 국내 최초로 직접수랭식(DLC) 냉각 방식을 적용했습니다. 발열 부품에 콜드 플레이트를 밀착시키고 플레이트 내부에서 냉매를 통해 열을 흡수하는 방식입니다. 발열이 심하지 않은 메모리와 네트워크 장비 등은 별도로 공랭식 냉각 방식을 혼합해 사용하고 있습니다.

 

이 때문에 데이터홀의 층고는 약 8m가량으로, 일반 전산실이 3m 수준인 데 비해 높았습니다. 위쪽 공간을 확보해 냉각수 배관과 전력 케이블을 설치하고, 열을 순환시킨 통풍 공간을 충분히 마련해야 하기 때문입니다. 실제 천장 쪽으로 굵은 냉각수 배관과 케이블들이 배치됐고, 각 서버 랙들 뒤편으로 냉각 호스와 케이블들이 촘촘하게 연결돼 있었습니다.

 

이일준 NHN클라우드 기술사업부장은 "AI 데이터센터는 한정된 공간 안에 더 많은 GPU를 배치하고 높은 연산 성능을 확보해야 하기 때문에 기존 공랭 방식만으로 발열량을 관리하는 데 한계가 있다"며 "수랭식 냉각은 고밀도 GPU 서버 환경에서 데이터센터의 공간 활용성과 에너지 효율을 높이는 핵심 인프라 기술"이라고 말했습니다. 그러면서 "보통 GPU 발열이 70도를 넘어서면 스스로 연산량을 낮추도록 설계되는데, 이곳은 약 50도 수준으로 관리하고 있어 GPU가 낼 수 있는 최적의 성능을 유지하도록 하고 있다"고 설명했습니다.

 

이일준 NHN클라우드 기술사업부장이 지난 18일 서울 영등포구 'NHN 팩토리X 서울'에서 인공지능(AI) 데이터센터 운영 방식에 대해 설명하고 있다. (사진=NHN)

 

NHN 팩토리X 서울 6층은 NHN클라우드가 자체 AI 클라우드 서비스와 GPU 인프라를 운영하고 있습니다. 반면, 3~5층은 정부 AI 컴퓨팅 자원을 운영하는 공간으로 활용됩니다. 정부의 '독자 AI 파운데이션 모델(독파모)' 프로젝트를 통해 개발 중인 AI 모델들도 이곳에서 정부가 지원하는 컴퓨팅 자원을 사용하고 있습니다.

 

NHN클라우드는 이 공간에 대규모 GPU 자원을 통합 클러스터 환경으로 구성하고, 현재 'NIPA-CL1'과 'NIPA-CL2' 클러스터를 구축해 운영을 지원합니다. 두 클러스터는 세계 슈퍼컴퓨터 성능 순위 '톱500'에서 각각 20위와 40위를 기록하고 있습니다. 이 기술사업부장은 "AI 모델의 규모가 커질수록 단일 GPU 성능뿐 아니라 여러 GPU를 동시에 활용하는 병렬 처리 기술과 클러스터 운영 역량이 중요하다"며 "두 클러스터는 대규모 AI 모델 학습과 추론 작업을 수행할 수 있도록 설계됐다"고 했습니다.

 

안창현 기자 [e-mail]

이 기사는 뉴스토마토 보도준칙 및 윤리강령에 따라 김충범 테크지식산업부장이 최종 확인·수정했습니다.