DeepSeek-R1 ist ein Mixture-of-Experts (MoE)-Modell mit 671 Milliarden Parametern, wobei 37 Milliarden Parameter pro Token aktiv sind. Es wurde durch groß angelegtes Reinforcement Learning mit Fokus auf logische Schlussfolgerungen trainiert. Das Modell umfasst zwei RL-Phasen zur Entdeckung verbesserter Denkstrategien und zur Anpassung an menschliche Präferenzen sowie zwei SFT-Phasen zur Initialisierung von logischem und nicht-logischem Wissen. Die Leistung des Modells ist vergleichbar mit OpenAI-o1 in den Bereichen Mathematik, Programmierung und logisches Denken.
„Llama 3.3 70B Instruct“, entwickelt von Meta, ist ein mehrsprachiges großes Sprachmodell, das speziell für auf Anweisungen basierende Aufgaben feinabgestimmt und für Konversationsanwendungen optimiert wurde. Es kann Texte in mehreren Sprachen verarbeiten und generieren, mit einem Kontextfenster, das bis zu 128.000 Token unterstützt. Das Modell wurde am 6. Dezember 2024 veröffentlicht und übertrifft zahlreiche Open-Source- und proprietäre Chatmodelle in verschiedenen Branchenbenchmarks. Es nutzt Grouped-Query Attention (GQA),um die Skalierbarkeit zu verbessern, und wurde mit einem vielfältigen Datensatz trainiert, der über 15 Billionen Token aus öffentlich zugänglichen Quellen umfasst. Das Modellwissen ist auf dem Stand von Dezember 2023.
| DeepSeek-R1 | Llama 3.3 70B Instruct | |
|---|---|---|
Anbieter | ||
Webseite | ||
Veröffentlichungsdatum | Jan 21, 2025 3 Monate ago | Dec 06, 2024 4 Monate ago |
Modalitäten | Text | Text |
API-Anbieter | DeepSeek, HuggingFace | Fireworks, Together, DeepInfra, Hyperbolic |
Datum des Wissensstandes | Unbekannt | 12.2024 |
Open Source | Ja | Ja |
Preisgestaltung Eingabe | $0.55 pro Million Token | $0.23 pro Million Token |
Preisgestaltung Ausgabe | $2.19 pro Million Token | $0.40 pro Million Token |
MMLU | 90.8% Pass@1 Quelle | 86% 0-shot, CoT Quelle |
MMLU Pro | 84% EM Quelle | 68.9% 5-shot, CoT Quelle |
MMMU | - | Nicht verfügbar |
HellaSwag | - | Nicht verfügbar |
HumanEval | - | 88.4% pass@1 Quelle |
MATH | - | 77% 0-shot, CoT Quelle |
GPQA | 71.5% Pass@1 Quelle | 50.5% 0-shot, CoT Quelle |
IFEval | 83.3% Prompt Strict Quelle | 92.1% Quelle |
Mobile Anwendung | - |
Compare AI. Test. Benchmarks. Mobile Chatbot-Apps, Sketch
Copyright © 2025 All Right Reserved.