앤트로픽이 개발한 Claude 3.5 Haiku는 200,000 토큰의 컨텍스트 윈도우를 제공합니다. 입력 토큰 백만 개당 $1, 출력 토큰 백만 개당 $5의 가격이며, 프롬프트 캐싱으로 최대 90%, 메시지 배치 API로 최대 50% 절감이 가능합니다. 2024년 11월 4일 출시되었으며, 코드 자동완성, 대화형 챗봇, 데이터 추출 및 라벨링, 실시간 콘텐츠 검열 등에 탁월한 성능을 보입니다.
Mistral에서 개발한 Mistral Large 2는 128K 토큰 컨텍스트 윈도우를 제공하며, 입력 토큰 백만 개당 $3.00, 출력 토큰 백만 개당 $9.00의 가격으로 제공됩니다. 2024년 7월 24일 출시되었으며, 5-shot 평가에서 MMLU 벤치마크 점수 84.0을 기록하며 다양한 작업에서 뛰어난 성능을 보였습니다.
| Claude 3.5 Haiku | Mistral Large 2 | |
|---|---|---|
웹사이트
| ||
제공자
| ||
채팅
| ||
출시일
| ||
모달리티
| 텍스트 | 텍스트 |
API 제공자
| Anthropic, AWS Bedrock, Vertex AI | Azure AI, AWS Bedrock, Google AI Studio, Vertex AI, Snowflake Cortex |
지식 업데이트 종료일
| 01.04.2024 | 알 수 없음 |
오픈 소스
| 아니오 | 예 |
입력 가격
| $0.80 100만 토큰당 | $3.00 100만 토큰당 |
출력 가격
| $4.00 | $9.00 100만 토큰당 |
MMLU
| 정보 없음 | 84% 5-shot 출처 |
MMLU-Pro
| 65% 0-shot CoT 출처 | 50.69% 출처 |
MMMU
| 정보 없음 | 정보 없음 |
HellaSwag
| 정보 없음 | 정보 없음 |
HumanEval
| 88.1% 0-shot 출처 | 정보 없음 |
MATH
| 69.4% 0-shot CoT 출처 | 1.13% 출처 |
GPQA
| 정보 없음 | 24.94% |
IFEval
| 정보 없음 | 84.01% |
SimpleQA
| - | - |
AIME 2024 | - | - |
AIME 2025 | - | - |
Aider Polyglot
| - | - |
LiveCodeBench v5
| - | - |
Global MMLU (Lite)
| - | - |
MathVista
| - | - |
모바일 앱 | - |