소개
안녕하세요. 이것은 SCSK의 Matsutani입니다. 이것은 새로운 졸업생으로 2 년째를 표시 할 것이며 올해는 SCSK에서의 두 번째 해가 될 것입니다.
이 시리즈에서는 회사 내에서 총 5 개의 (임시) 부품 (잠정적)을 수행 한 로컬 LLM 검증을 소개합니다.
방아쇠는 "지역 슬롯 추천이 실행되도록 노력하십시오!" 처음에는 지역 슬롯 추천 자체를 이해하지 못했고 정직하게 혼란 스러웠습니다. 그러나 다양한 자료와 시행 착오를 읽은 후 지역 슬롯 추천 실행 환경을 성공적으로 구축하여 관련 조직이 사용할 수있는 단계에 도달 할 수있었습니다.
이 시리즈에서는 로컬 슬롯 추천 구현을위한 검증 프로세스에서 얻은 특정 작업과 지식을 공유 할 것입니다.
방금 AI 이니셔티브를 시작하기 시작한 사람들에게 도움이되거나 지역 슬롯 추천에 관심이 있기를 바랍니다.
파트 0으로, 이번에는이 시리즈의 구조와 LOCAL 슬롯 추천이 무엇인지 논의 할 것입니다.
로컬 슬롯 추천은 무엇입니까
LLM (Local Language Models)은 지역 환경 (예 : 개인 PC 또는 회사 서버)에서 실행되는 대규모 언어 모델을 나타냅니다. ChatGpt (소스 코드가 게시되지 않은 대형 언어 모델)에서 사용 된 GPT-4와 같은 폐쇄 된 대규모 언어 모델 대신 공개적으로 게시 된 대규모 언어 모델을 다운로드하고 현재 가지고있는 컴퓨팅 리소스를 사용하여 추론하는 것이 일반적입니다. 로컬 LLM 사용의 장단점 중 일부는 다음과 같습니다.
혜택
1.security
- A. 지역 환경에서 모델을 사용하여 데이터가 외부에 노출되지 않습니다
- B. 클라우드 기반 슬롯 추천 서비스에서 사용할 수없는 데이터를 사용할 수도 있습니다
2.network
- A. A.SARD 데이터가 로컬로 전송되고 수신되므로 의사 소통 지연이 적고 응답 시간이 짧을 수 있습니다
- B. 인터넷 연결이없는 환경에서도 사용됩니다
3.Customization
- a. 당신은 특정 작업에 맞게 모델을 조정할 수 있습니다
단점
1. 하드웨어 리소스
- a. 대규모 언어 모델을 활용하려면 어느 정도의 강력한 하드웨어 리소스가 필요합니다 (예 : GPU)
2. 수업 부하
- a. 모델 등을 관리하려면 인적 자원이 필요합니다.
- b. 시스템을 구축하려면 지식이 필요합니다 (이 부분은이 시리즈에서 어느 정도 해결 될 수 있습니다 !!)
"비용"은 장점과 단점 모두에 적용됩니다. 비용의 장점과 단점에는 다음이 포함됩니다.
장점 : 클라우드 기반 슬롯 추천 서비스의 사용 수수료 감소
단점 : 고성능 GPU 등이 장착 된 하드웨어의 초기 비용이 있습니다.
위에서 언급 한 장점과 단점을 고려하면 로컬 LLM을 사용하는지 여부를 고려하는 것이 좋습니다.
로컬 슬롯 추천 구현 단계
로컬 슬롯 추천을 구현할 때 다음 단계를 진행하십시오.
- 1. CUDA 툴킷, NVIDIA 드라이버 설치[로컬 슬롯 추천 구현 도로] 1 부 : Cuda Toolkit의 슬롯 사이트 절차에 대한 자세한 설명! | NVIDIA GPU 솔루션 | Scsk Co., Ltd.
- 2. 도커 설치[로컬 슬롯 추천 구현의 도로] 2 부 : 피망 슬롯를 사용하여 컨테이너 환경 설정 | NVIDIA GPU 솔루션 | Scsk Co., Ltd.
- 3. NVIDIA 컨테이너 툴킷 설치[로컬 슬롯 추천 구현의 도로] 3 부 : 슬롯 게임 컨테이너 툴킷 - 컨테이너와 함께 GPU를 사용하려면 | 슬롯 게임 GPU 솔루션 | SCSK Corporation
- 4. Ollama와 함께 로컬 슬롯 추천 실행[로컬 슬롯 추천 구현으로가는 도로] 4 부 : 로컬 슬롯 추천 슬롯 | NVIDIA GPU 솔루션 | SCSK Corporation
- 5. Ollama + Open Webui와 함께 로컬 슬롯 추천 실행[로컬 슬롯 추천 구현 도로] 5 부 : 웹 슬롯 사이트 추천 인터페이스를 통해 로컬 슬롯 추천 슬롯 사이트 추천 | NVIDIA GPU 솔루션 | SCSK Corporation
향후 직렬화의 경우 위의 작업을 하나씩 진행할 것입니다. 흐름에 따라 구축하면 로컬 슬롯 추천을 작동시킬 수 있습니다!
결론
이번에는 0 번째 할부의 일부로이 시리즈 인 Local LLM의 구조를 소개했습니다.
우리는 미래에 5 회 (잠정적) 시간에 걸쳐 지역 슬롯 추천을 구현하기위한 검증 프로세스에서 얻은 특정 작업과 지식을 공유 할 것입니다.
협력 해 주셔서 감사합니다!
다음 번에는 검증 환경을 구축하기위한 작업의 일부로 "CUDA 툴킷 설치"라는 주제에 대해 글을 쓸 것입니다. 계속 지켜봐!
Next (1st) 열은[로컬 슬롯 추천 구현 도로] 1 부 : Cuda Toolkit의 슬롯 사이트 절차에 대한 자세한 설명! | NVIDIA GPU 솔루션 | Scsk Co., Ltd.
저자 프로필
Matsutani Kohei
SCSK Co., Ltd. 인프라 엔지니어
2023 년에 새로운 졸업생으로 합류했으며 현재 고객을위한 인프라 환경을 구축하고 있습니다.
조직과 관련된 조직은 AI 검증 활동에 적극적으로 참여하고 있습니다.
정보 요청/정보 요청
![[배너] 저희에게 연락하여 자료를 다운로드하고 POC 신청서로 이동](../img/banner/popup-banner.png)