[로컬 LLM 구현의 도로] 3 부 : 슬롯 게임 컨테이너 툴킷 - 컨테이너와 함께 GPU를 사용하려면 | 슬롯 게임 GPU 솔루션

소개

안녕하세요. 이것은 SCSK의 Matsutani입니다. 이것은 새로운 졸업생으로 2 년째를 표시 할 것이며 올해는 SCSK에서의 두 번째 해가 될 것입니다.

이 시리즈에서는 로컬 LLM을 구현하기위한 검증 프로세스에서 얻은 특정 작업과 지식을 공유 할 것입니다.
파트 0에 설명 된 로컬 LLM을 구현하기위한 단계는 다음과 같습니다.

이번에는 세 번째 할부 인 NVIDIA 컨테이너 툴킷이 검증 환경을 구축하기위한 작업의 일부로 검증 시스템으로 설치된 시점에 대한 세부 사항을 설명합니다.

NVIDIA 컨테이너 툴킷은 GPU를 사용하는 컨테이너를 실행하는 소프트웨어입니다. 공식 웹 사이트는 다음을 설명합니다.

슬롯 게임 컨테이너 툴킷을 사용하면 사용자가 GPU로 된 컨테이너를 구축하고 실행할 수 있습니다. 툴킷에는 컨테이너 런타임 라이브러리와 슬롯 게임 GPU를 활용하도록 컨테이너를 자동으로 구성하는 유틸리티가 포함되어 있습니다.

컨테이너에서 GPU를 사용하려면 검증 시스템에 슬롯 게임 컨테이너 툴킷을 설치하십시오.

공식 문서의 설치 지침을 확인하십시오. 검증기의 OS는 Rocky Linux이므로 "YUM 또는 DNF로 설치"섹션을 참조하십시오.

저장소 설정

[root@aitest ~]# curl -s -l https://슬롯 게임.github.io/lib슬롯 게임-container/stable/rpm/슬롯 게임-

슬롯 게임 컨테이너 툴킷 설치

[root@aitest ~]# yum 설치 슬롯 게임-container-toolkit

Docker는 슬롯 게임 컨테이너 런타임을 사용하도록 활성화합니다 (슬롯 게임-ctk 명령으로/etc/docker/daemonjson 파일 변경)

[root@aitest ~]# 슬롯 게임-ctk 런타임 구성 ---runtime = docker

Docker 데몬을 다시 시작하여 발효

[root@aitest ~]# SystemCTL Docker

컨테이너에서 GPU를 사용할 수 있는지 확인하십시오

[root@aitest ~]# docker run ---rm ---runtime = 슬롯 게임-gpus all ubuntu 슬롯 게임-smi

슬롯 게임 컨테이너 툴킷이 성공적으로 설치되고 설정이 완료되었습니다! !

이번에는 "슬롯 게임 컨테이너 툴킷 설치"세 번째 설치로 중점을 두었습니다.
슬롯 게임 컨테이너 툴킷을 설치할 때 도움이되기를 바랍니다.

이번에는 로컬 LLM 검증 환경을 구축하는 작업이 완료되었습니다. 다음 번부터 우리는 마침내 로컬 LLM을 운영하기 위해 노력할 것입니다! 계속 지켜봐!

Matsutani Kohei
SCSK Co., Ltd. 인프라 엔지니어
2023 년에 새로운 졸업생으로 합류했으며 현재 고객을위한 인프라 환경을 구축하고 있습니다.
조직과 제휴 한 조직은 AI 검증 활동에 적극적으로 참여하고 있습니다.