FuriosaAI

FuriosaAI이란 무엇인가요?

FuriosaAI는 기업 및 클라우드 환경에서 대규모 언어 모델(LLM) 및 컴퓨터 비전 애플리케이션을 배포하기 위한 뛰어난 처리량과 에너지 효율성을 제공하는 차세대 AI 가속기를 전문으로 합니다. 주력 제품인 RNGD는 독특한 텐서 축소 프로세서 아키텍처를 사용하여 컴퓨팅 및 메모리 효율성을 극대화하고, 전력 소비를 줄이면서 낮은 지연 시간과 높은 처리량의 추론을 가능하게 합니다. 이 하드웨어는 컴파일러, 런타임 및 프로파일링 도구를 포함한 포괄적인 소프트웨어 스택과 긴밀하게 통합되어 현대 데이터 센터 인프라 내에서 모델 배포 및 확장성을 최적화합니다.

주요 기능

• 텐서 축소 프로세서 아키텍처

  텐서 축소 연산에 집중한 혁신적인 컴퓨팅 설계로, 전통적인 행렬 곱셈 방식보다 우수한 성능과 에너지 효율성을 제공합니다.

• 저전력 고처리량

  RNGD는 LLaMA 3.1-8B 모델에서 초당 3,200개 이상의 토큰을 처리하면서도 180W 전력 범위를 유지하여 공랭식 데이터 센터 배포를 가능하게 합니다.

• 포괄적인 소프트웨어 스택

  대규모 AI 모델의 원활한 통합과 최적화를 위해 설계된 컴파일러, 런타임, 모델 압축기, 프로파일러 및 서빙 프레임워크를 포함합니다.

• 유연한 배포 및 확장성

  컨테이너화, Kubernetes 및 SR-IOV와 같은 가상화 기술을 지원하여 효율적인 자원 활용과 멀티테넌트 격리를 실현합니다.

• 강력한 생태계 호환성

  PyTorch 2.x와 같은 인기 있는 AI 프레임워크와 완벽하게 호환되며, TensorFlow Lite 및 ONNX를 포함한 일반적인 모델 형식을 지원합니다.

사용 사례

• 대규모 언어 모델 추론 : 대화형 AI, 챗봇 및 자연어 처리 작업을 위한 높은 처리량과 낮은 지연 시간으로 최첨단 LLM을 효율적으로 배포하고 실행합니다.
• 컴퓨터 비전 애플리케이션 : 이미지 분류, 객체 감지, OCR 및 초해상도를 위한 딥 러닝 모델을 높은 에너지 효율로 가속화합니다.
• 클라우드 및 데이터 센터 AI 워크로드 : 컨테이너 오케스트레이션 및 가상화를 지원하여 클라우드 환경에서 AI 추론 워크로드를 최적화하고 하드웨어 활용도를 극대화합니다.
• 멀티모달 AI 처리 : 단일 효율적 하드웨어 플랫폼에서 텍스트, 이미지 및 기타 데이터 유형을 결합한 다양한 AI 작업을 처리합니다.

자주 묻는 질문