DeepSeek-R1 je model s 671 miliardami parametrov Mixture-of-Experts (MoE),s 37 miliardami aktivovaných parametrov na token, vyškolený pomocou veľkého rozsahu posilňovacieho učenia so zameraním na schopnosti dedukcie. Zohľadňuje dve fázy RL na objavovanie vylepšených vzorcov dedukcie a zosúladenie s ľudskými preferenciami, spolu s dvoma fázami SFT na posilnenie dedukčných a nededukčných schopností. Model dosahuje výkon porovnateľný s OpenAI-o1 v úlohách matematiky, kódu a dedukcie.
„Llama 3.3 70B Instruct“, vytvorený spoločnosťou Meta, je viacjazyčný veľký jazykový model špeciálne doladený na úlohy založené na inštrukciách a optimalizovaný pre konverzačné aplikácie. Dokáže spracovávať a generovať text vo viacerých jazykoch, pričom jeho kontextové okno podporuje až 128 000 tokenov. Uvedený na trh 6. decembra 2024, model prekonáva mnohé open-source aj proprietárne chatboty v rôznych priemyselných benchmarkoch. Využíva Grouped-Query Attention (GQA) na zlepšenie škálovateľnosti a bol trénovaný na rôznorodej množine dát obsahujúcej viac ako 15 biliónov tokenov z verejne dostupných zdrojov. Znalosti modelu sú aktuálne k decembru 2023.
| DeepSeek-R1 | Llama 3.3 70B Instruct | |
|---|---|---|
Poskytovateľ | ||
Webová stránka | ||
Dátum vydania | Jan 21, 2025 3 mesiace ago | Dec 06, 2024 4 mesiace ago |
Modality | text | text |
Poskytovatelia API | DeepSeek, HuggingFace | Fireworks, Together, DeepInfra, Hyperbolic |
Dátum zastarania vedomostí | Neznáme | 12.2024 |
Open Source | Áno | Áno |
Cena za vstup | $0.55 za milión tokenov | $0.23 za milión tokenov |
Cena za výstup | $2.19 za milión tokenov | $0.40 za milión tokenov |
MMLU | 90.8% Pass@1 Zdroj | 86% 0-shot, CoT Zdroj |
MMLU Pro | 84% EM Zdroj | 68.9% 5-shot, CoT Zdroj |
MMMU | - | Nie je k dispozícii |
HellaSwag | - | Nie je k dispozícii |
HumanEval | - | 88.4% pass@1 Zdroj |
MATH | - | 77% 0-shot, CoT Zdroj |
GPQA | 71.5% Pass@1 Zdroj | 50.5% 0-shot, CoT Zdroj |
IFEval | 83.3% Prompt Strict Zdroj | 92.1% Zdroj |
Mobilná aplikácia | - |
Compare AI. Test. Benchmarks. Chatboty pre mobilné aplikácie, Sketch
Copyright © 2025 All Right Reserved.