[로컬 LLM 구현으로가는 도로] 4 부 : 로컬 LLM 슬롯

소개

안녕하세요. 이것은 SCSK의 Matsutani입니다. 이것은 새로운 졸업생으로 2 년째를 표시 할 것이며 올해는 SCSK에서의 두 번째 해가 될 것입니다.

이 시리즈에서는 로컬 슬롯 구현을위한 검증 프로세스에서 얻은 특정 작업과 지식을 공유 할 것입니다.
파트 0에 설명 된 로컬 LLM을 구현하기위한 단계는 다음과 같습니다.

• 1. CUDA 툴킷, NVIDIA 드라이버 설치[로컬 LLM 구현 도로] 1 부 : Cuda Toolkit의 슬롯 사이트 절차에 대한 자세한 설명! | NVIDIA GPU 솔루션 | Scsk Co., Ltd.
• 2. Docker 설치[로컬 LLM 구현의 도로] 2 부 : 피망 슬롯를 사용하여 컨테이너 환경 설정 | NVIDIA GPU 솔루션 | Scsk Co., Ltd.
• 3. NVIDIA 컨테이너 툴킷 설치[로컬 LLM 구현의 도로] 3 부 : 슬롯 게임 컨테이너 툴킷 - 컨테이너와 함께 GPU를 사용하려면 | 슬롯 게임 GPU 솔루션 | SCSK Corporation
• 4. Ollama (4 부)와 함께 로컬 슬롯을 운영 ← 이번에는 여기!
• 5. Ollama + Open Webui와 함께 로컬 LLM 슬롯[로컬 LLM 구현 도로] 5 부 : 웹 슬롯 사이트 추천 인터페이스를 통해 로컬 LLM 슬롯 사이트 추천 | NVIDIA GPU 솔루션 | SCSK Corporation

이번에는 네 번째 작품 인 "Ollama"라는 소프트웨어를 사용하여 Local LLM을 실행하는 내용을 설명합니다.

검증기 사양

Ollama 소개

Ollama는 오픈 소스 대규모 언어 모델 (예 : llama3 및 gemma2)을 다운로드하고 지역 환경에서 슬롯하기위한 오픈 소스 명령 줄 인터페이스 (CLI) 도구입니다. 아래와 같이 Docker와 같은 것으로 생각하는 것이 좋다고 생각합니다.

• Docker는 Docker Hub 및 슬롯 컨테이너와 같은 저장소에서 이미지를 다운로드
• Ollama는 Ollama의 저장소에서 모델을 다운로드하고 모델을 슬롯합니다
• docker, 다운로드 이미지 : Docker 이미지 풀 이미지 이름, 슬롯 이미지 : Docker 컨테이너 슬롯 이미지 이름
• Ollama 다운로드 모델 : Ollama 풀 모델 이름, 모델 슬롯 모델 이름

Ollama를 사용하여 누구나 현지 LLM을 쉽게 사용할 수 있습니다. 이번에는이 Ollama Docker 컨테이너를 사용하여 로컬 LLM을 슬롯할 것입니다!

Ollama에서 로컬 LLM을 슬롯

실라마 컨테이너 슬롯

Docker Hub에서 "Ollama"를 검색하고 상단에 나타나는 것을 클릭하여 Ollama 컨테이너를 실행하는 방법을 확인하십시오. (이미지 이름은 Ollama/Ollama)

확인대로 Ollama 컨테이너를 슬롯하십시오. ([로컬 LLM 구현 도로] 1 부 : Cuda Toolkit의 슬롯 사이트 절차에 대한 자세한 설명! | NVIDIA GPU 솔루션 | Scsk Co., Ltd.,[로컬 LLM 구현의 도로] 2 부 : 피망 슬롯를 사용하여 컨테이너 환경 설정 | NVIDIA GPU 솔루션 | Scsk Co., Ltd.,[로컬 LLM 구현의 도로] 3 부 : 슬롯 게임 컨테이너 툴킷 - 컨테이너와 함께 GPU를 사용하려면 | 슬롯 게임 GPU 솔루션 | SCSK Corporation완료되었습니다. )

[root@aitest ~] $ docker run -d -gpus = all -v ollama : /root/.ollama -p 11434 : name ollama ollama/ollama

실행 된 명령의 해석은 docker run -d -gpus = all -v ollama : /root/.ollama -p 11434 : 11434-- name ollama ollama/ollama입니다 :

Ollama 컨테이너가 시작되었고 로컬 LLM을 슬롯할 준비가되었습니다!

슬롯할 모델 선택

이제 로컬 LLM을 슬롯할 준비가되었으므로 실제로 슬롯할 모델을 결정하려고합니다.

아래 공식 웹 사이트에서 Ollama가 지원하는 모델을 확인하십시오.
도서관 (ollama.com)
이번에는 메타가 제공 한 "llama3.1"을 선택합니다.

llama3.1에는 8b, 70b 및 405b의 세 가지 매개 변수가 제공됩니다. 매개 변수가 많을수록 성능이 더 좋을 수 있지만 컴퓨팅 리소스가 더 필요하기 때문에 이제 8B로 LLAMA3.1을 선택합니다.
[8B]를 선택하여 슬롯 방법을 확인하십시오.

슬롯 모델

발사 된 Ollama 컨테이너에 연결하고 모델을 검색하고 슬롯하십시오.

  [root@aitest ~]# docker container exec -it ollama /bin/bash
  root@fb6e2190e344:/# ollama run llama3.1
  pulling manifest
  ⋮
  verifying sha256 digest
  writing manifest
  removing any unused layers
  success
  >>>
  モデルのダウンロードが終了し、 >>> が表示されるとチャットを行うことができる状態です。チャット終了時は[Ctrl + d]を入力します。
  >>> AIに関する知見を得るにはどうしたらいいですか？
  以下のステップを参考にしてください：
  1. **オンラインコースを受講**: Udemy、Coursera、edXなどのプラットフォームで提供されているAI関連のオンラインコースを受講してみましょう。学習コンテンツは豊富にあり、専門家によるレクチャーもあります。
  2. **本を読む**: AIに関する本や論文を読んで知識を深めましょう。特にAIの基礎となる数学と統計学の知識が必要な場合は、関連する分野の研究論文を読むことが役立ちます。
  3. **セミナー・ワークショップに参加**: AIに関するセミナーやワークショップには、アクティブなディスカッションや実践的なアプローチが多くあり、これは知見の獲得に非常に役立ちます。
  4. **研究グループへの参加**: AIを専門とする研究グループへの参加も、最新のAIに関する情報と知識を取得するための良い方法です。研究者とディスカッションを行い、彼らが取り組んでいるプロジェクトについて学びましょう。
  5. **オープンソースのライブラリやフレームワーク**: オープンソースのライブラリやフレームワークを使ってAIの実装を試みてみましょう。PyTorch、TensorFlow、scikit-learnなどは人気のあるライブラリです。
  6. **関連する企業へのインターンシップまたはジョブ**: AIに関係する企業にインターンシップやジョブを受けてみましょう。これはAIに関する知識を実践的に活かすための良い機会です。

  以上が、AIに関する知見を得るために利用できる方法です。

  >>>Ctrl + d

위와 같이 채팅 할 수있었습니다!

결론

이번에는 우리는 네 번째 할부의 일환으로 "로컬 LLM을 슬롯"하는 데 중점을 두었습니다.
벽 하이킹 아이디어와 같은 목적으로 사용하는 것이 정확하고 반응이 좋았으므로 일상적인 작업에서도 적극적으로 사용하겠습니다!
(응답 속도는 설치된 GPU의 성능에 따라 다릅니다 ...)
이것이 Ollama를 사용하여 지역 슬롯을 운영하는 데 도움이되기를 바랍니다.

다음에, 나는 로컬 LLM이 웹 사용자 인터페이스를 통해 실행될 수있는 방법을 설명합니다.
그것을 기대하십시오!

다음 (5 번째) 열은[로컬 LLM 구현 도로] 5 부 : 웹 슬롯 사이트 추천 인터페이스를 통해 로컬 LLM 슬롯 사이트 추천 | NVIDIA GPU 솔루션 | SCSK Corporation

저자 프로필

Matsutani Kohei
SCSK Co., Ltd. 인프라 엔지니어
2023 년에 새로운 졸업생으로 합류했으며 현재 고객을위한 인프라 환경을 구축하고 있습니다.
와 관련된 조직은 AI 검증 활동에 적극적으로 참여하고 있습니다.

정보 요청/정보 요청