DeepSeek-R1 je model Mixture-of-Experts (MoE) s 671 miliardami parametrů, z nichž 37 miliard je aktivováno na token. Byl vyškolen pomocí rozsáhlého posilovaného učení se zaměřením na schopnosti logického uvažování. Model obsahuje dvě fáze RL pro objevování lepších vzorců uvažování a sladění s lidskými preferencemi, spolu se dvěma fázemi SFT pro inicializaci schopností souvisejících s uvažováním i bez něj. Dosahuje výkonu srovnatelného s OpenAI-o1 v matematických, programovacích a logických úlohách.
„Llama 3.3 70B Instruct“, vytvořený společností Meta, je vícejazyčný velký jazykový model speciálně vyladěný pro úlohy založené na instrukcích a optimalizovaný pro konverzační aplikace. Je schopen zpracovávat a generovat text v několika jazycích s kontextovým oknem podporujícím až 128 000 tokenů. Uvedený na trh 6. prosince 2024, model překonává řadu open-source i proprietárních chatbotů v různých průmyslových srovnávacích testech. Využívá Grouped-Query Attention (GQA) ke zlepšení škálovatelnosti a byl natrénován na různorodé množině dat obsahující více než 15 bilionů tokenů z veřejně dostupných zdrojů. Znalosti modelu jsou aktuální k prosinci 2023.
| DeepSeek-R1 | Llama 3.3 70B Instruct | |
|---|---|---|
Poskytovatel | ||
Webová stránka | ||
Datum vydání | Jan 21, 2025 3 měsíce ago | Dec 06, 2024 4 měsíce ago |
Modality | text | text |
Poskytovatelé API | DeepSeek, HuggingFace | Fireworks, Together, DeepInfra, Hyperbolic |
Datum uzávěrky znalostí | Neznámý | 12.2024 |
Open Source | Ano | Ano |
Cena za vstup | $0.55 na milion tokenů | $0.23 na milion tokenů |
Cena za výstup | $2.19 na milion tokenů | $0.40 na milion tokenů |
MMLU | 90.8% Pass@1 Zdroj | 86% 0-shot, CoT Zdroj |
MMLU Pro | 84% EM Zdroj | 68.9% 5-shot, CoT Zdroj |
MMMU | - | Není k dispozici |
HellaSwag | - | Není k dispozici |
HumanEval | - | 88.4% pass@1 Zdroj |
MATH | - | 77% 0-shot, CoT Zdroj |
GPQA | 71.5% Pass@1 Zdroj | 50.5% 0-shot, CoT Zdroj |
IFEval | 83.3% Prompt Strict Zdroj | 92.1% Zdroj |
Mobilní aplikace | - |
Compare AI. Test. Benchmarks. Mobilní chatboty, Sketch
Copyright © 2025 All Right Reserved.