[로컬 LLM 구현 도로] 1 부 : Cuda Toolkit의 슬롯 사이트 절차에 대한 자세한 설명! | NVIDIA GPU 솔루션

소개

안녕하세요. 이것은 SCSK의 Matsutani입니다. 이것은 새로운 졸업생으로 2 년째를 표시 할 것이며 올해는 SCSK에서의 두 번째 해가 될 것입니다.

이 시리즈에서는 로컬 LLM 구현을위한 검증 프로세스에서 얻은 특정 작업과 지식을 공유 할 것입니다.
파트 0에 설명 된 로컬 LLM을 구현하기위한 단계는 다음과 같습니다.

1. Cuda Toolkit, Nvidia 드라이버 슬롯 사이트 (1st Episode) ← 이번에는 여기!
2. 도커 슬롯 사이트[로컬 LLM 구현의 도로] 2 부 : 피망 슬롯 사이트를 사용하여 컨테이너 환경 설정 | NVIDIA GPU 솔루션 | Scsk Co., Ltd.
3. NVIDIA 컨테이너 툴킷 슬롯 사이트[로컬 LLM 구현의 도로] 3 부 : 슬롯 사이트 게임 컨테이너 툴킷 - 컨테이너와 함께 GPU를 사용하려면 | 슬롯 사이트 게임 GPU 솔루션 | SCSK Corporation
4. Ollama와 함께 로컬 LLM 실행[로컬 LLM 구현으로가는 도로] 4 부 : 로컬 LLM 슬롯 사이트 | NVIDIA GPU 솔루션 | SCSK Corporation
5. Ollama + Open Webui와 함께 로컬 LLM 실행[로컬 LLM 구현 도로] 5 부 : 웹 슬롯 사이트 추천 인터페이스를 통해 로컬 LLM 슬롯 사이트 추천 | NVIDIA GPU 솔루션 | SCSK Corporation

이번에는 검증 환경을 구축하기위한 작업의 일환으로 검증 머신에 CUDA 툴킷 및 NVIDIA 드라이버 설치에 대한 세부 사항을 설명합니다.

검증기 사양

	항목	설명
1	OS	Rocky Linux 8.10 (Green Obsidian)
2	CPU 코어 수	8
3	메모리 용량	32GB
4	디스크 공간	300GB
5	gpu	NVIDIA A100 PCIE 40GB

CUDA 툴킷 정보

CUDA 툴킷은 NVIDIA가 개발하고 제공하는 GPU의 개발 환경입니다. CUDA 툴킷은 다음 구성 요소로 구성됩니다.

GPU 가속 라이브러리 : 딥 러닝 라이브러리 (CUDNN) 등
디버그 및 최적화 도구 : 디버깅 및 최적화에 도움이되는 도구
C/C ++ 컴파일러 : C/C ++ 코드를 GPU에서 실행 가능한 코드로 변환하는 CUDA 컴파일러 (NVCC)
런타임 라이브러리 : GPU와 상호 작용할 CUDA 응용 프로그램의 API

AI를 확인할 때 추론 할 때 GPU의 컴퓨팅 전력을 활용하려는 이유 때문에 검증기에 CUDA 툴킷을 슬롯 사이트합니다.

CUDA 툴킷 슬롯 사이트

슬롯 사이트할 버전 결정

검증 시스템에 설치된 NVIDIA A100 PCIE 40GB를 지원하는 CUDA 툴킷의 버전을 식별하고 설치할 버전을 결정합니다.

아래 공식 웹 사이트에서 NVIDIA A100 PCIE 40GB의 컴퓨팅 기능을위한 연구.

CUDA GPUS- 컴퓨팅 기능 | nvidia 개발자

NVIDIA A100의 컴퓨팅 기능은 8.0임을 발견했습니다.

Wikipedia에는 CUDA 툴킷 및 컴퓨팅 기능에 대한 이해하기 쉬운 호환성 테이블이 있으므로 NVIDIA A100이 지원하는 CUDA 툴킷 버전을 확인하십시오.

Cuda -Wikipedia

위 표에서 Compute Capability 8.0이있는 NVIDIA A100은 CUDA 툴킷 버전 11.0 ~ 12.5와 호환되는 것이 분명합니다. 이번에는 지원되는 최신 12.5 버전을 슬롯 사이트합니다.

슬롯 사이트 방법 결정

다음은 CUDA 툴킷을 슬롯 사이트하는 방법과 각각의 장점과 단점입니다.

1. 분포 별 패키지 (RPM 및 DEB 패키지)를 사용한 슬롯 사이트

a. 혜택 : 배포의 기본 패키지 관리 시스템 (APT 및 YUM)과 함께 작동하여 패키지 관리 시스템을 통해 쉽게 슬롯 사이트, 업데이트 및 제거 할 수 있습니다.
b. 단점 : 특정 Linux 배포판과 호환 가능

2. 배포 독립 패키지 (runfile 패키지)를 사용한 슬롯 사이트

a. 혜택 : 광범위한 Linux 배포와 호환
b. 단점 : 배포의 기본 패키지 관리 시스템 (APT 또는 YUM)과 함께 작동하지 않으므로 수동 업데이트 및 제거가 필요할 수 있습니다

공식 권장 사항은 가능할 때마다 배포 별 패키지를 사용하여 슬롯 사이트하는 것이므로 이번에는이 방법을 사용하여 슬롯 사이트합니다.

슬롯 사이트 지침 확인

이제 슬롯 사이트 방법이 결정되었으므로 다음 두 공식 웹 사이트의 슬롯 사이트 지침을 확인합니다.

1. 소개 - Linux 설치 안내서 12.5 문서

Cuda Toolkit 12.5 다운로드 | nvidia 개발자

"Cuda Toolkit Archive"를 검색하고 나타나는 사이트를 클릭하고 특정 버전을 선택하여 두 공식 사이트를 모두 찾을 수 있습니다.

두 번째 공식 웹 사이트에서 슬롯 사이트할 정보를 입력하면 슬롯 사이트 방법이 다음과 같이 표시됩니다.

우리가 두 개의 공식 웹 사이트를 참조하는 이유는 한쪽의 내용이 다른쪽에 나열되어 있지 않기 때문입니다.
두 가지를 언급하면서 슬롯 사이트 작업을 수행하는 것이 가장 좋다고 생각합니다.

슬롯 사이트 작업

다음 단계를 사용하여 NVIDIA 드라이버 및 CUDA 툴킷 슬롯 사이트 :

Epel 저장소 패키지 슬롯 사이트
(NVIDIA 드라이버는 DKMS 및 LIBVDPAU와 같은 타사 저장소에서만 제공되는 외부 패키지에 의존하기 때문에

[root@aitest ~]# dnf 슬롯 사이트 https://dl.fedoraproject.org/pub/epel/epel-release-latest-8.noarch.rpm

오래된 서명 키 제거

[root@aitest ~]# rpm -Erase gpg-pubkey-7fa2af80*

Cuda 저장소 패키지 슬롯 사이트

[root@aitest ~]# wget https://developer.download.nvidia.com/compute/cuda/12.5.0/local_installers/cuda-repo-rhel8-12-5-local-12.5.0_5555555.42.02-1.x86_64.rpm

지울 패키지 관리 시스템 캐시

[root@aitest ~]# dnf clean all

NVIDIA 드라이버 및 CUDA 툴킷 슬롯 사이트

[root@aitest ~]# dnf 모듈 설치 nvidia-driver : 최신 dkms

슬롯 사이트된 드라이버 및 라이브러리 재부팅 및로드

[root@aitest ~]# reboot

환경 변수 설정

[root@aitest ~]# vi /etc /프로파일

작동 확인

[root@aitest ~]# nvcc -v

문제없이 NVIDIA 드라이버 및 CUDA 툴킷을 슬롯 사이트할 수있었습니다.

결론

이번에는 첫 번째 할부로 "CUDA 툴킷 슬롯 사이트"에 중점을 두었습니다.
공식 웹 사이트간에 슬롯 사이트 절차가 다른 데 어려움을 겪었지만 슬롯 사이트했습니다.
CUDA 툴킷을 슬롯 사이트할 때 도움이되기를 바랍니다.
다음 번에는 검증 환경을 구축하기위한 작업의 일부로 "Docker 슬롯 사이트"에 대해 글을 쓸 것입니다. 계속 지켜봐!

다음 (2 차) 열은[로컬 LLM 구현의 도로] 2 부 : 피망 슬롯 사이트를 사용하여 컨테이너 환경 설정 | NVIDIA GPU 솔루션 | Scsk Co., Ltd.