테크니컬 스토리

가성비 좋은 MLOps 고속 네트워크 구성 환경 B사 MLOps 구성 (GPU Node 65대 / OPA 100Gbps 환경) 최근 MLOps 구성 관련하여 고객 요청이 많아지고 있습니다.GPU 서버 단순 사용 환경은 장점도 많지만, 분명한 한계가 있습니다. MLOps는 리소스 관리, 사용자 관리, 잡 관리, 하드웨어 관리 등을 효율적으로 해결할 수 있어 최근 고객 니즈에 가장 알맞은 인프라입니다. B사에서는 “GPU 서버를 연구원 1명에게 1:1 할당” 하여 사용하던 기존 방식에서 MLOps를 도입하였고, 도입까지의 고려할 만한 이슈에 대해 사례로 안내드립니다. 기존 구성 B사는 서울에 위치한 IDC에 총 61대의 8GPU 서버를 사용 중이고, 사내 전산실에 4대의 8GPU 서버를 사용 중입니다. GPU 종류는 총 3가지로 GeForce RTX3090, Quadro RTX A5000, Tesla A40을 각각 사용하고 있었습니다. 사내 전산실에 위치한 서버는 사내 프로젝트에서 사용되었고, 데이터 센터에 위치한 서버는 연구원에게 할당되었습니다. 개발자의 자유가 큰 방식이지만, 개발 환경에 대한 통일이 되지 않았고, 전체 서버의 관리가 매우 어려운 방식입니다. 해당 방법은 서버 수가 작은 규모라면 충분한 가성비와 효율이 있는 방식이지만, 서버 수가 많아질수록 장점보다는 단점이 부각되는 방식입니다. MLOps 도입 옵션 검토 이러한 이유로 MLOps 도입을 검토하셨고 가장 먼저, MLOps 도입에 필요한 옵션들을 정리해 보았습니다. 1.(선택) 고속 네트워크 (자체망 고속망 구축) 고속 네트워크는 100Gbps OPA 또는 200Gbps EDR 과 같은 인피니밴드 구성을 뜻합니다. 자체망으로 구성되며 인터넷과 연결되지 않습니다. 표현은 네트워크라 표현하였지만, 네트워크가 아닌 고속망입니다. RDMA 등의 연산 성능을 최대화하는 옵션 등이 포함되어 있습니다. 고속 네트워크는 필수로 구성되지 않아도 됩니다. 하지만 NCCL, Horovod 등과 같은 타 노드 간 고속 연산이 필요하다면 성능 차이가 확연히 납니다. 2.(필수) 기존 네트워크 (10Gbps 이상) 고속 네트워크를 사용한다면 1Gbps로 구성해도 괜찮지만, 고속 네트워크 구성이 없다면 기존 네트워크를 10Gbps 이상으로 구성하는 것은 필수입니다. 3.(선택) Master Node 마스터 노드는 클러스터 구성에서 컨트롤러 역할을 합니다. 1대만 사용해도 되고 로드밸런스 하여 2-3대를 사용해도 됩니다. 보통 10대 이하의 클러스터 구성에서는 1-2대 구성, 10대 이상의 클러스터 구성에서는 2-3대 구성을 권장합니다. 필수 구성은 아니지만 마스터 노드를 선택하지 않는다면, 워커 노드에 컨트롤러를 설치하여 구성할 수 있습니다. 4.(필수) Worker Node 워커 노드는 기존 사용 워커 노드를 그대로 사용합니다. 다만, OS 등의 구성은 클러스터 환경으로 다시 구성됩니다. 5.(선택) Storage 스토리지를 외부에 두는 것보다는 워커 노드의 빈 디스크 슬롯에 채워 스토리지 클러스터를 만드는게 가장 성능이 좋습니다. 만약 GPU 서버에 스토리지 추가 장착이 되지 않는다면, 파일서버를 두어 클러스터에 포함시키는 것이 좋습니다. 6.(필수) MLOps 소프트웨어 MLOps 소프트웨어는 몇 가지 종류가 있습니다. 오픈소스인 Kubeflow를 선택해도 되고, 상용 솔루션인 Uyuni를 선택해도 됩니다. 기능이나 관리적인 측면으로 본다면 상용 솔루션이 어느 정도 커스텀도 제공하고 좋지만, 비용이 낮아야 하고 kubeflow의 기능만으로 충분하다면 kubeflow 도 훌륭한 대안이 될 수 있습니다. 구성안 A 고속 네트워크를 OPA로 선택하였고, 100Gbps로 구성합니다. 본 구성에서는 데이터 센터에 있는 61개의 워커 노드를 1개의 클러스터로 구성하고, 사내 전산실에 있는 4개의 워커 노드를 1개의 클러스터로 구성하였습니다. 데이터 센터와 사내 전산실의 고속 네트워크 연결은 가능하지 않습니다. 워커 노드에 디스크를 추가하여 클러스터 스토리지를 추가로 하여 스토리지 안정성과 성능을 확보할 수 있습니다. MLOps는 상용 솔루션으로 Uyuni MLOps Cluster로 구성했습니다. OPA 스위치 이슈 OPA는 일반 네트워크 스위치처럼 스태킹이 가능하지 않습니다. 96포트 사용을 위해서 48포트 스위치 2개가 아닌 총 6개의 스위치가 필요합니다. 구성안 B 구성안 B는 구성안 A에서 OPA를 코어/엣지로 나누지 않고, 클러스터를 GPU 별로 쪼개 OPA 스위치를 분리했습니다. 구성안 A보다 스위치 비용이 저렴해지지만, 클러스터를 나누게 되어 접속 사용자를 이중으로 관리해야 하는 단점이 있습니다. 장점으로는 가격이 매우 저렴해지고 OPA Core 스위치 장애에 모든 시스템이 먹통 되는 이슈를 피할 수 있습니다. 최종 구성 B사는 최종적으로 구성안 B를 선택하셨고, 3개의 클러스터를 용도별로 나누어 사용 중입니다. 추가로 도입된 제품 OPA 스위치 x 3EA OPA HCA x 71EA Master Node Server x 6EA 3.84TB SSD x 195EA (Ceph Storage Cluster) MLOps SW x 71Node License