[로컬 LLM 구현 도로] 5 부 : 웹 슬롯 사이트 추천 인터페이스를 통해 로컬 LLM 사용

소개

안녕하세요. 이것은 SCSK의 Matsutani입니다. 이것은 새로운 졸업생으로서 3 년째를 표시 할 것이며 올해는 SCSK에서 3 년이 될 것입니다.

이 시리즈에서는 로컬 LLM 구현을위한 검증 프로세스에서 얻은 특정 작업과 지식을 공유 할 것입니다.
파트 0에 설명 된 로컬 LLM을 구현하기위한 단계는 다음과 같습니다.

• 1. CUDA 툴킷, NVIDIA 드라이버 설치[로컬 LLM 구현 도로] 1 부 : Cuda Toolkit의 슬롯 사이트 절차에 대한 자세한 설명! | NVIDIA GPU 솔루션 | Scsk Co., Ltd.
• 2. 도커 설치[로컬 LLM 구현의 도로] 2 부 : 피망 슬롯를 슬롯 사이트 추천하여 컨테이너 환경 설정 | NVIDIA GPU 솔루션 | Scsk Co., Ltd.
• 3. NVIDIA 컨테이너 툴킷 설치[로컬 LLM 구현의 도로] 3 부 : 슬롯 게임 컨테이너 툴킷 - 컨테이너와 함께 GPU를 슬롯 사이트 추천하려면 | 슬롯 게임 GPU 솔루션 | SCSK Corporation
• 4. Ollama와 함께 로컬 LLM 실행[로컬 LLM 구현으로가는 도로] 4 부 : 로컬 LLM 슬롯 사이트 추천 | NVIDIA GPU 솔루션 | SCSK Corporation
• 5. Ollama + Open Webui (5 부)를 사용하여 로컬 LLM 실행 ← 이번에는 여기!

이번에는 다섯 번째 작품 인 이번에는 로컬 LLM을 웹 사용자 인터페이스를 통해 실행할 수있는 "Open WebUI"라는 소프트웨어의 내용을 설명합니다.

검증기 사양

Open WebUI 소개

Open WebUI는 Ollama와 같은 LLM 실행 도구를 지원하는 ChatGpt와 같은 웹 슬롯 사이트 추천 인터페이스입니다. 확장 가능하고 풍부한 기능이 있습니다.

이번에는이 Open WebUI를 사용하여 로컬 LLM을 웹 슬롯 사이트 추천 인터페이스를 통해 실행할 수 있습니다.

Open WebUI 슬롯 사이트 추천

오픈 webui 컨테이너 실행

열린 WebUI를 실행하는 방법을 확인하려면 다음 공식 웹 사이트를 확인하십시오.

Open Webui

기본 구성으로 설치

• Ollama가 컴퓨터에있는 경우이 명령 슬롯 사이트 추천 :

docker run -d -p 3000 : 8080-add-host = host.docker.internal : host-gateway -v open-webui :/app/backend/data----restart 항상 ghcr.io/open-webui/open-webui:main

• NVIDIA GPU 지원으로 Open WebUI를 실행하려면이 명령 슬롯 사이트 추천 :

docker run -d -p 3000 : 8080-gpus all -add-host = host.docker.internal : host-gateway -v open-webui :/app/backend/data---restart always ghcr.io/open-webui/open-webui

Ollama 컨테이너는 네 번째 할부에서 실행 중이므로 [Ollama가 컴퓨터에있는 경우이 명령을 사용하는 경우]

([로컬 LLM 구현 도로] 1 부 : Cuda Toolkit의 슬롯 사이트 절차에 대한 자세한 설명! | NVIDIA GPU 솔루션 | Scsk Co., Ltd.,[로컬 LLM 구현의 도로] 2 부 : 피망 슬롯를 슬롯 사이트 추천하여 컨테이너 환경 설정 | NVIDIA GPU 솔루션 | Scsk Co., Ltd.,[로컬 LLM 구현의 도로] 3 부 : 슬롯 게임 컨테이너 툴킷 - 컨테이너와 함께 GPU를 슬롯 사이트 추천하려면 | 슬롯 게임 GPU 솔루션 | SCSK Corporation,[로컬 LLM 구현으로가는 도로] 4 부 : 로컬 LLM 슬롯 사이트 추천 | NVIDIA GPU 솔루션 | SCSK Corporation완료되었습니다. )

[matsutani@aitest ~] $ docker run -d -p 3000 : 8080 -add -host = host.docker.internal : host -gateway

실행 된 명령은 docker run -d -p 3000 : 8080 -add-host = host.docker.internal : host-gateway -v open-webiui :/app/backend/data-- name open-webiui ---restart ghcr.io/open-webiui/open-webiain-webiain-webiain- webiain-webiain webiui/ Docker Run -D -P 3000 : 8080 --add-host = host.docker.internal : host-gateway -v open-webiui :/app/backend/data---------restart 항상 ghcr.io/open-webiui/open-webiui:main.

개방형 WebUI 컨테이너가 시작되었고 브라우저에서 액세스 할 준비가되었습니다!

Access Open WebUI

http : // 호스트 머신 IP 주소 : 3000 브라우저에서 다음 화면이 나타납니다.

[가입]을 클릭하여 계정을 만들고 로그인하십시오. 처음 생성 된 계정은 관리자가되어 슬롯 사이트 추천 관리 및 시스템 관리에 사용할 수 있습니다 (아래 설명).

로그인하면 chatgpt와 같은 화면을 볼 수 있습니다.

화면 왼쪽 상단의 Ollama에서 다운로드 한 모델을 선택하고 선택하고 채팅 할 수 있습니다.

다양한 기능 정보

Open WebUI에서 제공되는 다양한 기능 중 일부를 소개합니다.

슬롯 사이트 추천 관리

Open WebUI에서 생성 된 첫 번째 계정에는 관리자 권한이 있으며 슬롯 사이트 추천 관리를 수행합니다.

후속 슬롯 사이트 추천가 계정을 작성하면 다음 화면이 나타나고 슬롯 사이트 추천는 "보류중인"상태에 있습니다. 표시된 관리자의 이메일 주소에 대한 승인을 요청하십시오.

관리자가 승인 요청을 받으면 관리자 패널이 슬롯 사이트 추천를 승인합니다.

관리자로 webui를 열기 위해 로그인하고 화면의 오른쪽 상단에서 [Cother Icon]을 클릭하십시오 → [관리자 패널].

승인을 요청한 슬롯 사이트 추천를 "보류 중"이라고합니다. 따라서 해당 부분을 클릭하면 "슬롯 사이트 추천"가됩니다.
현재 사용 가능한 슬롯 사이트 추천에게 연락하십시오.

관리자의 승인을받은 후 슬롯 사이트 추천는 webui를 열기 위해 로그인 할 수 있습니다.

모델 다운로드

모델 다운로드는 Ollama뿐만 아니라 Open Webui에서도 가능합니다.
관리자 계정으로 WebUI를 열고 화면 오른쪽 상단에서 [Cother Icon]을 클릭하십시오 → [설정]을 클릭하십시오.

[관리자 설정]을 클릭하십시오.

모델 탭에서 Ollama.com의 Pull Model에서 Ollama가 지원하는 모델 이름을 입력하고 다운로드 아이콘을 클릭하여 모델을 다운로드 할 수 있습니다.

결론

이번에는 "웹 슬롯 사이트 추천 인터페이스를 통해 로컬 LLM 사용"에 대한 다섯 번째 작품에 중점을 두었습니다.
Open WebUI를 사용하면 웹 슬롯 사이트 추천 인터페이스를 통해 로컬 LLM을 실행할 수 있으므로 로컬 LLM 사용으로의 장애물을 크게 줄였습니다!
나는 우리 조직의 사람들에게 적극적으로 슬롯 사이트 추천하고 싶습니다!

저자 프로필

Matsutani Kohei
SCSK Co., Ltd. 인프라 엔지니어
2023 년에 새로운 졸업생으로 합류했으며 현재 고객을위한 인프라 환경을 구축하고 있습니다.
조직과 제휴 한 조직은 AI 검증 활동에 적극적으로 참여하고 있습니다.

정보 요청/정보 요청