DeepSeek-R1 yra 671B parametrų Mišrios ekspertų (MoE) modelis su 37B aktyvuotais parametrais per žodį, apmokytas didelio masto sustiprinto mokymosi, sutelkiant dėmesį į mąstymo gebėjimus. Jis apima dvi sustiprinto mokymosi stadijas, skirtas atrasti patobulintas mąstymo schemas ir suderinti su žmogaus pageidavimais, taip pat dvi SFT stadijas, skirtas pritaikyti mąstymo ir nemąstymo gebėjimus. Modelis pasiekia našumą, panašų į OpenAI-o1, matematikos, kodo ir mąstymo užduotyse.
„Llama 3.3 70B Instruct“, sukurtas „Meta“, yra daugiakalbis didelės apimties kalbos modelis, specialiai pritaikytas instrukcijomis grindžiamoms užduotims ir optimizuotas pokalbių programoms. Jis gali apdoroti ir generuoti tekstą keliomis kalbomis, turėdamas kontekstinį langą, palaikantį iki 128 000 žetonų. Pristatytas 2024 m. gruodžio 6 d., modelis lenkia daugelį atvirojo kodo ir nuosavų pokalbių modelių įvairiuose pramonės etaloniniuose testuose. Jis naudoja Grouped-Query Attention (GQA),kad pagerintų mastelį, ir buvo apmokytas įvairiais duomenimis, apimančiais daugiau nei 15 trilijonų žetonų iš viešai prieinamų šaltinių. Modelio žinios yra atnaujintos iki 2023 m. gruodžio mėn.
| DeepSeek-R1 | Llama 3.3 70B Instruct | |
|---|---|---|
Tiekėjas | ||
Internetinė svetainė | ||
Išleidimo data | Jan 21, 2025 3 mėnesiai ago | Dec 06, 2024 4 mėnesiai ago |
Modalumai | tekstas | tekstas |
API tiekėjai | DeepSeek, HuggingFace | Fireworks, Together, DeepInfra, Hyperbolic |
Žinių nutraukimo data | Nežinoma | 12.2024 |
Atvirojo kodo | Taip | Taip |
Įvesties kaina | $0.55 už milijoną žodžių | $0.23 už milijoną žodžių |
Išvesties kaina | $2.19 už milijoną žodžių | $0.40 už milijoną žodžių |
MMLU | 90.8% Pass@1 Šaltinis | 86% 0-shot, CoT Šaltinis |
MMLU Pro | 84% EM Šaltinis | 68.9% 5-shot, CoT Šaltinis |
MMMU | - | Nėra prieinama |
HellaSwag | - | Nėra prieinama |
HumanEval | - | 88.4% pass@1 Šaltinis |
MATH | - | 77% 0-shot, CoT Šaltinis |
GPQA | 71.5% Pass@1 Šaltinis | 50.5% 0-shot, CoT Šaltinis |
IFEval | 83.3% Prompt Strict Šaltinis | 92.1% Šaltinis |
Mobilioji programa | - |
Compare AI. Test. Benchmarks. Mobiliosios pokalbių robotų programos, Sketch
Copyright © 2025 All Right Reserved.