[로컬 LLM 구현의 도로] 2 부 : 피망 슬롯를 사용하여 컨테이너 환경 설정 | NVIDIA GPU 솔루션

소개

안녕하세요. 이것은 SCSK의 Matsutani입니다. 이것은 새로운 졸업생으로 2 년째를 표시 할 것이며 올해는 SCSK에서의 두 번째 해가 될 것입니다.

이 시리즈에서는 로컬 LLM을 구현하기위한 검증 프로세스에서 얻은 특정 작업과 지식을 공유 할 것입니다.
파트 0에 설명 된 로컬 LLM을 구현하기위한 단계는 다음과 같습니다.

1. CUDA 툴킷, NVIDIA 드라이버 설치[로컬 LLM 구현 도로] 1 부 : Cuda Toolkit의 슬롯 사이트 절차에 대한 자세한 설명! | NVIDIA GPU 솔루션 | Scsk Co., Ltd.
2. 피망 슬롯 (2nd) 설치 ← 이번에는 여기에 있습니다!
3. NVIDIA 컨테이너 툴킷 설치[로컬 LLM 구현의 도로] 3 부 : 피망 슬롯 게임 컨테이너 툴킷 - 컨테이너와 함께 GPU를 사용하려면 | 피망 슬롯 게임 GPU 솔루션 | SCSK Corporation
4. Ollama와 함께 로컬 LLM 실행[로컬 LLM 구현으로가는 도로] 4 부 : 로컬 LLM 피망 슬롯 | NVIDIA GPU 솔루션 | SCSK Corporation
5. Ollama + Open Webui와 함께 로컬 LLM 실행[로컬 LLM 구현 도로] 5 부 : 웹 피망 슬롯 사이트 추천 인터페이스를 통해 로컬 LLM 피망 슬롯 사이트 추천 | NVIDIA GPU 솔루션 | SCSK Corporation

이번에는 검증 환경을 구축하기위한 작업의 일환으로 Docker가 검증 시스템으로 설치된 시점에 대한 세부 사항을 설명합니다.

검증기 사양

	항목	설명
1	OS	Rocky Linux 8.10 (Green Obsidian)
2	CPU 코어 수	8
3	메모리 용량	32GB
4	디스크 용량	300GB
5	gpu	NVIDIA A100 PCIE 40GB

Docker 소개

피망 슬롯는 컨테이너 기술을 사용하는 소프트웨어입니다. AL 검증에서 Kosotena 기술을 사용하는 장점에는 다음이 포함됩니다.

1. 환경 구성을 단순화하고 가속화하십시오

컨테이너 기술을 사용하면 사용하려는 소프트웨어와 컨테이너 이미지로 필요한 라이브러리 및 도구를 패키지 할 수 있습니다. 이것은 환경 구축의 번거 로움을 크게 줄입니다.

2. 단순화 된 버전 제어

컨테이너 기술에 따라 다양한 버전의 소프트웨어 및 라이브러리를 사용할 수 있습니다. 예를 들어, 소프트웨어 A와 소프트웨어 B에 필요한 CUDA 버전이 다르더라도 각 컨테이너에서 분리하여 서로 영향을 미치지 않고 작동 할 수 있습니다.

3. 이식성

컨테이너 이미지에는 사용하려는 소프트웨어와 필요한 라이브러리 및 도구가 포함되어 있습니다. 이를 통해 모든 환경에서 동일한 작업을 수행하여 검증 환경에서 생산 환경으로 마이그레이션 할 때 문제를 최소화합니다.

Al Verification의 경우 피망 슬롯가 위의 이점을 누리도록 검증기에 설치됩니다.

도커 설치

설치 방법 결정

피망 슬롯 Engine을 설치하는 세 가지 방법이 있습니다 :

1. 피망 슬롯 저장소를 설치하고 설치하고 업그레이드하여

2. RPM 패키지 다운로드 및 설치 및 업그레이드 수동

3. 자동화 스크립트를 사용하여 설치

공식 권장 방법은 피망 슬롯 리포지토리를 설정하고 거기에서 설치 및 업그레이드하는 것이므로 이번에는이 방법을 사용하여 설치합니다.

설치 지침 확인

설치 방법이 결정되었으므로 설치 지침은 공식 문서를 확인하십시오.

매뉴얼 | 피망 슬롯 Docs

피망 슬롯 Engine 탭 → 설치 탭을 클릭하여 지원되는 각 배포에 대한 탭을보십시오.

검증 자의 OS 인 Rockylinux 용 탭은 없지만 Rockylinux는 CentOS 호환성이므로 Centos의 설치 지침을 참조합니다.

설치 작업

피망 슬롯 엔진 설치는 다음 단계를 사용하여 수행됩니다.

저장소 설정

[root@aitest ~]# yum yum-utils를 설치합니다

도커 엔진 설치

[root@aitest ~]# yum 설치 피망 슬롯-ce 피망 슬롯-ce-cli containerd.io 피망 슬롯-buildx-plugin

피망 슬롯 시작

[root@aitest ~]# systemctl start 피망 슬롯

설치가 성공적으로 완료되었는지 확인

[root@aitest ~]# 피망 슬롯 컨테이너 hello-world

"이 관리자는 설치가 올바르게 작동하는 것으로 보입니다." 표시되어 피망 슬롯를 성공적으로 설치할 수있었습니다.

설치 후 설정

시스템이 시작될 때 피망 슬롯를 자동으로 시작하도록 설정

[root@aitest ~]# systemctl acable 피망 슬롯.service

뿌리가 아닌 사용자가 도커를 실행하도록 설정하십시오.

"피망 슬롯"라는 그룹이 생성되었는지 확인하십시오 (그렇지 않은 경우 GroupAdd 피망 슬롯로 작성)

[root@aitest ~]# grep 피망 슬롯 /etc /group

피망 슬롯를 "피망 슬롯"그룹에 사용할 수 있도록하려는 사용자 추가 (이번에는 사용자 "Matsutani"가 추가되었습니다)

[root@aitest ~]# usermod -ag 피망 슬롯 matsutani

"피망 슬롯"그룹에 추가 된 "Matsutani"가 피망 슬롯를 사용할 수 있는지 확인하십시오

[matsutani@aitest ~] $ 피망 슬롯 컨테이너 hello-world

피망 슬롯가 설치되어 설정이 완료되었습니다!

결론

이번에는 두 번째 할부로서 "피망 슬롯 Installation"에 중점을 두었습니다.
이것이 피망 슬롯를 설치하는 데 도움이되기를 바랍니다.
다음 번에는 검증 환경을 구축하기위한 작업의 일부로 "NVIDIA 컨테이너 툴킷 설치"라는 주제에 대해 글을 쓸 것입니다. 계속 지켜봐!

다음 (3 번째) 열은[로컬 LLM 구현의 도로] 3 부 : 피망 슬롯 게임 컨테이너 툴킷 - 컨테이너와 함께 GPU를 사용하려면 | 피망 슬롯 게임 GPU 솔루션 | SCSK Corporation