슬롯 사이트 AI 버전 v2.4의 최신 릴리스는 기술 미리보기로 기계 학습을위한 분산 학습을 달성하는 능력을 추가합니다.
이 기능은 CodeFlare 프로젝트에 의해 개발되었으며 CodeFlare SDK, MCAD, Instascale 및 Kuberay와 같은 구성 요소로 구성됩니다.
분산 학습은 CodeFlare SDK를 사용하여 Ray 클러스터의 리소스를 정의하고 MCAD로 보냅니다.
Ray 클러스터가 만들어지면 학습 작업을 정의하고 실행할 수 있습니다.
이 프로세스는 DDP (분산 데이터 병렬)를 사용하여 Ray 클러스터의 각 작업자에 대한 데이터를 분할하고 처리합니다.
대규모 모델과 미세 조정을 위해 CodeFlare를 사용한 분산 학습의 필요성이 증가함에 따라 향후 업데이트도 관심을 끌고 있습니다.