Evidently AI

Evidently AI이란 무엇인가요?

Evidently AI는 전통적인 머신러닝 모델과 대형 언어 모델(LLM) 애플리케이션을 포함한 신뢰할 수 있는 AI 제품을 구축, 평가, 유지하는 데 도움이 되는 종합 솔루션입니다. 100개 이상의 내장 평가 지표를 제공하는 오픈소스 Python 라이브러리와 AI 테스트, 모니터링, 합성 데이터 생성, 협업 워크플로우를 지원하는 클라우드 플랫폼을 제공합니다. Evidently AI를 통해 데이터 및 예측 드리프트 감지, 회귀 및 적대적 테스트 수행, 직관적인 인터페이스를 통한 데이터셋 및 평가 관리 등 제품 라이프사이클 전반에 걸쳐 지속적인 AI 품질을 보장할 수 있습니다.

주요 기능

• 포괄적인 평가 지표

  데이터 품질, 모델 성능, 드리프트 감지, LLM(대형 언어 모델) 평가 등 100개 이상의 내장 지표를 제공하여 AI를 종합적으로 평가할 수 있습니다.

• 오픈소스 Python 라이브러리

  모듈형, 개발자 친화적인 라이브러리로 선언적 API를 통해 로컬에서 평가를 실행할 수 있어 유연한 통합과 커스터마이징이 가능합니다.

• Evidently 클라우드 플랫폼

  프로젝트, 데이터셋, 평가, 대시보드를 관리할 수 있는 노코드 인터페이스로 협업과 실시간 모니터링, 알림 기능을 지원합니다.

• 합성 데이터 및 적대적 테스트

  합성 데이터셋 생성 및 적대적 테스트 시나리오 설계 도구를 통해 AI 모델의 견고성과 안전성을 스트레스 테스트할 수 있습니다.

• 드리프트 및 성능 모니터링

  데이터 드리프트, 타깃 드리프트, 예측 드리프트를 지속적으로 추적하고 알림 메커니즘을 통해 운영 환경에서 모델 정확도를 유지합니다.

• ML 및 LLM 워크플로우 지원

  기존 머신러닝과 대형 언어 모델(LLM) 애플리케이션을 모두 지원하여 다양한 AI 활용 사례에 대한 평가가 가능합니다.

사용 사례

• 모델 성능 검증 : 모델의 정확도, 정밀도, 재현율 등 다양한 지표를 평가 및 모니터링하여 AI 시스템이 기대대로 동작하는지 확인합니다.
• 데이터 드리프트 감지 : 입력 데이터 또는 타깃 분포의 변화를 식별하여 모델 품질 저하를 사전에 방지할 수 있습니다.
• AI 시스템 모니터링 : 운영 환경에서 AI 결과를 대시보드와 알림으로 추적하여 이상을 감지하고 신뢰성을 유지합니다.
• 협업 기반 AI 품질 관리 : 데이터 과학자, 엔지니어, 도메인 전문가 간 평가 결과, 대시보드, 테스트 케이스를 공유하여 협업을 촉진합니다.
• 합성 및 적대적 테스트 : 합성 데이터셋과 적대적 입력을 생성하여 AI 시스템의 견고성과 안전성을 극한 상황에서 테스트합니다.

자주 묻는 질문