이 기사에서는 PC에서 LLM (대형 언어 모델)에 연결되는 응용 프로그램을 개발하는 단계를 설명합니다.
사용 된 LLM은 InstructLab으로 조정 된 화강암 모델이며 Podman Desktop을 사용하여 제작되었습니다.
응용 프로그램은 Quarkus를 사용하여 개발되었으며 Podman AI Lab을 사용하여 화강암에 연결합니다.
먼저 Podman 데스크탑에 AI 확장증을 설치하고 Granite 모델을 다운로드 한 후 설치 후 시작하십시오.
모델에 대한 액세스는 Curl 또는 Quarkus를 사용하여 수행되며 실제로 AI로부터 질문을하고 응답을 받게됩니다.
Quarkus 애플리케이션과의 통합은 Quate를 사용하여 화면을 생성하고 모델에서 응답을 처리하는 코드를 소개합니다.
마지막으로 앱을 시작하고 작업을 확인하십시오.