온라인 슬롯 트래픽 학습, 보호 및 모니터링

Open온라인 슬롯, Azure 온라인 슬롯, Cohere, Anthrophic, Llamma, Mistral 등과 같은 인기있는 LLM을 사용, 보호 및 모니터링하기 쉽습니다.

개선 된 온라인 슬롯 컨텍스트 및 프롬프트

고급 프롬프트 엔지니어링을 온라인 슬롯 요청에 통합하고 온라인 슬롯에서 준수 및 거버넌스를 구현하십시오.

코드가없는 온라인 슬롯 통합

새로운 NO 코드 온라인 슬롯 플러그인을 사용하면 온라인 슬롯가 기존 API 트래픽의 처리를 향상시킬 수 있습니다. 응용 프로그램에 코드를 작성할 필요가 없습니다.

코드 없음으로 멀티 -온라인 슬롯 응용 프로그램 개발

하나 이상의 LLM 제공 업체 (클라우드 또는 사내 호스팅)에 대한 온라인 슬롯 통합을 구축 할 때 Kong이 제공하는 Open온라인 슬롯 호환 엔드 포인트를 활용하십시오. 모든 공급자를 지원하며 온라인 슬롯 인증 정보, 로그 등을 중앙에서 관리 할 수 ​​있습니다.

모든 팀을 가속화하기위한 플랫폼 서비스로 온라인 슬롯 제공

Kong Gateway의 간단한 업그레이드로 온라인 슬롯 게이트웨이를 사용할 수 있습니다. 이를 통해 여러 팀이 모든 AI 트래픽을 생성 및 관리하고, 고급 프롬프트를 생성하고, 사기 사용을 감지하고, AI 관찰 가능성을 집계 할 수 있습니다.

비용 모니터링 및 튜닝을위한 온라인 슬롯 트래픽의 L7 관찰 가능성 활용