Die sich rasant entwickelnde Welt der Large Language Models
In der schnelllebigen Welt der künstlichen Intelligenz stellen Large Language Models (LLMs) eine der faszinierendsten und vielversprechendsten Entwicklungen dar. Mit einer scheinbar endlosen Flut neuer Modelle und Versionen kann es jedoch zur echten Herausforderung werden, den Überblick zu behalten. Dieser Blogpost soll Ihnen einen aktuellen Überblick über einige der wichtigsten LLMs verschaffen, ihre Schlüsselparameter beleuchten und Ihnen helfen, sich in dieser komplexen Landschaft zurechtzufinden.
Hier eine Übersicht der aktuell bedeutendsten Modelle mit ihren wichtigsten Kennzahlen:
ChatGPT-4o
Open AI’s latest model, released July 2024. Multimodal (text, voice, vision). 128K token context. Exact parameter count not specified.
Gemini 1.5
Google: Veröffentlicht Februar 2024. Versionen: Pro, Ultra. Kontextlänge: 1 Million Token. Multimodal. Adaptives Gedächtnis. Verarbeitet lange Inhalte. Genaue Parameterzahl nicht angegeben. Übertrifft GPT-4 in verschiedenen Benchmarks.
Claude 3.5 Sonnet
Unternehmen: Anthropic
Veröffentlichung: 20. Juni 2024
Kontextlänge: 200.000 Token.
Verbesserte Leistung in Coding, mehrstufigen Workflows und Bildanalyse. Neue Artefakt-Funktion für Echtzeit-Code-Vorschau. Parameterzahl nicht bekannt.
Llama 3.1
Unternehmen: Meta’s
Veröffentlicht am 23. Juli 2024.
Versionen: 405B, 70B, 8B Parameter.
Kontextlänge: 128.000 Token für alle Modelle.
Funktionen: Grouped-Query Attention, mehrsprachige Unterstützung (Englisch, Deutsch, Französisch, Italienisch, Portugiesisch, Hindi, Spanisch, Thai). Vortrainiert auf über 15 Billionen Token. Verbesserte Fähigkeiten in Textgenerierung, Übersetzung und Reasoning. Open-Source und für verschiedene Anwendungen optimiert.
Grok-2
Anbieter: xAI (Elon Musks KI-Unternehmen)
Veröffentlicht am 15. März 2024.
Eine Version mit 314 Milliarden Parametern.
Kontextlänge: 128.000 Token.
Multimodal mit Fähigkeiten in Text, Bild und Audio. Teilweise unzensiert. Trainiert mit Echtzeit-Daten von X (ehemals Twitter). Zeichnet sich durch Humor und Persönlichkeit aus. Übertrifft GPT-4 in einigen Benchmarks. Integriert in X Premium+. Genaue Details zu Trainingsmethoden und Datensätzen sind nicht öffentlich.
Mistral
Anbieter: Mistral AI
Mistral Large 2: Veröffentlicht September 2023, 123 Milliarden Parameter
Mistral Nemo: Veröffentlicht Dezember 2023, 12 Milliarden Parameter
Kontextlänge: 128.000 Token
Nachdem zuvor nur US-amerikanische Modelle in der Liste auftauchen hier ein französisches Unternehmen. Besonderheiten: Mehrsprachig, leistungsstark in Reasoning und Code-Generierung. Übertrifft GPT-3.5 in Benchmarks, nähert sich GPT-4
Titan Text
Anbieter: Amazon Web Services‘ (AWS)
Titan Text Premier, Kontextlänge 32.000 Token
Titan Text Express, Kontextlänge 8.000 Token
Titan Text Lite, Kontextlänge 4.000 Token
Parameterzahlen nicht öffentlich bekannt
Data Cut-Off nicht bekannt
„Amazon Titan Text Premier“ ist das größte LLM innerhalb der Amazon Titan Text-Familie, das für Unternehmensanwendungen entwickelt wurde. Es ist für die Integration mit Agenten und Datenbanken optimiert.
„Amazon Titan Text Lite ist ein leichtgewichtiges, effizientes Modell, das sich ideal für das Finetuning eignet. Es ist speziell für englischsprachige Aufgaben wie Zusammenfassungen und Texterstellung optimiert, bei denen Kunden ein kostengünstigeres und zugleich hoch anpassbares Modell wünschen.“
„Amazon Titan Text Express ist gut geeignet für eine Vielzahl von fortgeschrittenen, allgemeinen Sprachaufgaben, wie zum Beispiel offene Textgenerierung und Konversations-Chat, sowie Unterstützung für RAG. Zum Start ist das Modell für Englisch optimiert, mit Vorschauunterstützung für über 100 weitere Sprachen.“
Amazons Modelle werden in AWS über Amazon Bedrock bereitgestellt.
Yi-Large
Anbieter: 01.AI:
Neueste Version: Yi-Large-200B, veröffentlicht im Mai 2024
Parameter: 200 Milliarden
Kontextlänge: 32.768 Token
Mehrsprachiges Modell mit Fokus auf Chinesisch und Englisch
Verbesserte Leistung in komplexen Reasoning-Aufgaben, fortgeschrittene Fähigkeiten in Code-Generierung und -Analyse, optimiert für lange Kontexte und Dokumentenverarbeitung
01.AI plant weitere Verbesserungen und Anwendungen in verschiedenen Bereichen wie Wissenschaft, Finanzen und Gesundheitswesen.
ERNIE 4.0
Anbieter Baidu
Neueste Version: ERNIE 4.0, veröffentlicht im März 2024
Parameter: 280 Milliarden
Kontextlänge: 8.192 Token
- Multimodales Modell (Text, Bild, Audio)
- Verbesserte Reasoning-Fähigkeiten
- Unterstützt Chinesisch und Englisch
- Integriert in Baidus KI-Assistent ERNIE Bot
ERNIE 4.0 zeigt starke Leistungen in verschiedenen Benchmarks und übertrifft in einigen Bereichen GPT-4. Baidu plant weitere Verbesserungen und Anwendungen in verschiedenen Bereichen wie Suchmaschinen, autonomes Fahren und Gesundheitswesen.
Es kommen noch mehr …