Not Diamond

Not Diamond이란 무엇인가요?

Not Diamond는 여러 대형 언어 모델(LLM)을 메타-모델로 결합하여 입력에 따라 최적의 LLM을 동적으로 선택하는 고급 AI 라우팅 플랫폼입니다. 주요 벤치마크에서 항상 최고 성능의 모델을 호출하여 출력 품질을 극대화하고, 지능형 라우팅을 통해 비용 및 지연 시간 트레이드오프를 실현합니다. 사용자는 실시간 피드백으로 라우팅을 개인화하고, 자체 데이터셋에 맞는 맞춤형 라우터를 학습시킬 수 있으며, Python, TypeScript, REST API로 손쉽게 통합할 수 있습니다. Not Diamond는 프록시가 아닌 추천 엔진으로 작동하여 클라이언트 측 LLM 호출을 통해 데이터 프라이버시와 유연성을 높입니다.

주요 기능

• 지능형 모델 라우팅

  메타-모델이 방대한 평가 데이터를 기반으로 각 프롬프트에 최적의 LLM을 자동으로 선택하고 호출합니다.

• 비용 및 지연 시간 최적화

  출력 품질을 유지하면서 더 작고 저렴한 모델을 활용할 수 있도록 구성 가능한 트레이드오프를 제공합니다.

• 맞춤형 라우터 학습

  사용자는 평가 데이터셋을 업로드하여 특정 사용 사례에 최적화된 라우터를 빠르게 생성할 수 있습니다.

• 피드백 기반 개인화 라우팅

  개별 사용자 피드백을 실시간으로 반영하여 모델 선택을 개선합니다.

• 유연한 통합

  Python, TypeScript, REST API를 지원하여 다양한 개발 환경에 쉽게 통합할 수 있습니다.

• 프라이버시 중심 아키텍처

  프록시가 아니며, 모든 LLM 요청은 클라이언트 측에서 처리되어, 프라이빗 인프라 배포와 퍼지 해싱을 통한 데이터 보안을 지원합니다.

사용 사례

• AI 애플리케이션 개발 향상 : 개발자와 스타트업은 요청별로 최적의 모델을 동적으로 선택함으로써 AI 출력 품질과 효율성을 높일 수 있습니다.
• 비용 효율적 AI 확장 : 기업은 간단한 쿼리를 더 저렴한 모델로 라우팅하여 운영 비용을 절감할 수 있습니다.
• 맞춤형 AI 솔루션 : 조직은 자체 데이터셋으로 라우터를 학습시켜 고유한 도메인 요구에 맞는 AI 응답을 제공할 수 있습니다.
• 개인화된 사용자 경험 : 플랫폼은 개별 사용자 선호와 피드백을 반영하여 더욱 관련성 높은 AI 응답을 제공합니다.
• 안전한 AI 통합 : 엔터프라이즈는 클라이언트 측에서 LLM 호출을 관리함으로써 데이터 프라이버시를 유지하면서 지능형 라우팅의 이점을 누릴 수 있습니다.

자주 묻는 질문