<aside> 💡 Linkedin의 원저자(Sharada Yeluri)의 허락을 받아 원문을 번역 및 검수중입니다.

</aside>

<aside> 🚧 번역 오류 발견시 알려주시면 수정하겠습니다.

</aside>

원문 저자: Sharada Yeluri

번역: 신종훈

원문을 번역하고 일부 링크를 추가하였습니다. 해당 글의 1인칭은 원문 저자를 지칭합니다.

원문(Original English Post by Sharada Yeluri):

GPU Fabrics for GenAI Workloads

목차

서론

이 글은 제가 이전에 쓴 "LLMs - the hardware connection"에 이은 글입니다. 이 글에서는 GPU 클러스터 규모, 모델 파티셔닝, 그리고 GenAI 훈련 워크로드를 위한 GPU 간 트래픽 패턴에 대해 다룹니다.

많은 하이퍼스케일러들이 GenAI 훈련 워크로드의 모든 변형을 수용하기 위해 64K 이상의 GPU를 갖춘 대규모 GPU 클러스터를 구축하려고 경쟁하고 있습니다. 이러한 대형 트랜스포머 모델과 데이터 세트의 크기가 수천 개의 GPU 훈련을 필요로 할 수도 있지만, GPU 간의 any-to-any non-blocking 네트워크 연결을 제공하는 것은 과도한 설계일 수 있습니다. GenAI 훈련 워크로드를 위한 모델 파티셔닝과 트래픽 패턴을 이해함으로써 네트워크 토폴로지를 최적화하고 상용 이더넷 스위치를 GPU 패브릭에 효율적으로 사용할 수 있습니다.

저는 또한 genAI 훈련 워크로드에 최적화된 다양한 네트워크 토폴로지를 검토합니다. 강력한 종단 간(end-to-end) 혼잡 제어는 훈련 성능을 향상시키고 GPU를 효과적으로 활용하는 데 중요합니다. 저는 네트워크 하드웨어에 미치는 영향과 함께 혼잡 제어의 다양한 방법을 검토하려고 합니다.

주의: 이 글은 내용이 풍부한 긴 글입니다. 두 부분으로 나누는 것을 고려했지만 그렇게 하지 않기로 결정했습니다. 북마크하시고 편한 시간에 천천히 읽어보세요.

모델 수학 - 심층 이해

LLM 모델 훈련을 위한 GPU 클러스터 크기와 패브릭 토폴로지는 다음에 크게 의존합니다:

• 워크로드의 특성 (파라미터 크기, 데이터 세트 크기 및 모델 아키텍처)
• 최적의 훈련 시간 및 훈련 빈도. 즉, 모델이 얼마나 자주 업데이트되어야 하는가?
• 모델 파티셔닝. 파라미터와 데이터 세트의 상태 공간이 클 때, 네트워크 토폴로지를 인식하고 다양한 파티션 선택을 반복적으로 평가하여 계산과 통신 간 좋은 균형을 제공하는 선택을 하는 컴파일러/옵티마이저가 필수적입니다.