Der Sohu-ASIC des US Start-Ups Etched

Ein revolutionärer Chip für KI und die wachsende Bedeutung von Rechenleistung

In der sich rasant entwickelnden Welt der künstlichen Intelligenz (KI) hat das Start-up-Unternehmen Etched (Cupertino, CA, USA) mit seinem Sohu-Chip für Aufsehen gesorgt. Dieser spezialisierte Chip verspricht, die Leistungsfähigkeit von KI-Anwendungen auf ein neues Niveau zu heben. Wir wollen hier einen genaueren Blick auf diesen innovativen Chip werfen, seine möglichen Auswirkungen auf die KI-Branche betrachten und die wachsende Bedeutung von Rechenleistung in diesem Kontext erörtern.

Die zentrale Rolle der Rechenleistung in der KI-Entwicklung

In den letzten Jahren hat sich gezeigt, dass Rechenleistung zu einem entscheidenden Faktor in der KI-Entwicklung geworden ist. Während früher oft von „Daten als dem neuen Öl“ gesprochen wurde, verschiebt sich der Fokus nun zunehmend auf die Rechenkapazitäten, die benötigt werden, um große KI-Modelle zu trainieren und zu betreiben.

Die Entwicklung von Modellen wie GPT-3 oder GPT-4 hat enorme Mengen an Rechenleistung erfordert. Zum Beispiel soll das Training von GPT-3 schätzungsweise 355 GPU-Jahre in Anspruch genommen haben, während GPT-4 angeblich 100 Millionen Dollar gekostet und 100 Tage auf 25.000 NVIDIA A100 GPUs benötigt hat. Diese Zahlen verdeutlichen, wie kritisch der Zugang zu leistungsfähiger Hardware für die Weiterentwicklung der KI-Technologie geworden ist.

Was ist ein ASIC?

In diesem Kontext gewinnen spezialisierte Hardwarelösungen wie ASICs an Bedeutung. ASIC steht für „Application-Specific Integrated Circuit“, zu Deutsch „anwendungsspezifische integrierte Schaltung“. Im Gegensatz zu Mehrzweck-Prozessoren wie CPUs oder GPUs wird ein ASIC für eine ganz bestimmte Aufgabe optimiert. Dies ermöglicht eine deutlich höhere Effizienz und Leistung für die spezifische Anwendung, für die der Chip entwickelt wurde.

ASIC erlangten erstmals im Kontext „Bitcoin Mining“ Aufmerksamkeit in Fachkreisen.

Der Sohu-Chip von Etched ist ein solcher ASIC, der speziell für die Verarbeitung von Transformer-Modellen konzipiert wurde. Transformer-Modelle sind eine Art von neuronalen Netzwerken, die in vielen modernen KI-Anwendungen wie ChatGPT oder BERT verwendet werden.

Die Leistung des Sohu-Chips

Laut Etched Inc. bietet der Sohu-Chip beeindruckende Leistungsdaten:

• Er kann über 500.000 Tokens pro Sekunde beim Llama 70B-Modell (Meta, open source) verarbeiten.
• Ein einzelner Server mit 8 Sohu-Chips soll die Leistung von 160 Nvidia H100 GPUs ersetzen können.
• Der Chip ist angeblich mehr als 10-mal schneller und kosteneffizienter als Nvidias nächste Generation von Blackwell (B200) GPUs.

Diese Zahlen, wenn sie sich bewahrheiten, würden eine erhebliche Leistungssteigerung gegenüber aktuellen Spitzentechnologien darstellen.

Mögliche Auswirkungen auf die KI-Branche

Die Einführung des Sohu-Chips und ähnlicher spezialisierter Hardware könnte weitreichende Folgen für die KI-Branche haben:

1. Beschleunigte KI-Entwicklung: Die erhöhte Verarbeitungsgeschwindigkeit könnte die Entwicklung (Training) und den Einsatz (Inferenz) von größeren und komplexeren KI-Modellen ermöglichen.
2. Kosteneffizienz: Durch die höhere Leistung pro Watt könnten die Betriebskosten für KI-Infrastrukturen erheblich gesenkt werden.
3. Spezialisierung: Der Erfolg des Sohu-Chips könnte zu einer verstärkten Entwicklung von spezialisierten KI-Chips für andere Arten von neuronalen Netzwerken führen.
4. Wettbewerbslandschaft: Etablierte Unternehmen wie Nvidia könnten unter Druck geraten, ihre Technologien zu verbessern oder ebenfalls spezialisierte Lösungen anzubieten.
5. Neue Anwendungsmöglichkeiten: Die gesteigerte Leistung könnte KI-Anwendungen in Bereichen ermöglichen, die bisher aufgrund von Leistungsbeschränkungen nicht praktikabel waren.
6. Energieeffizienz: Mit dem wachsenden Bewusstsein für den Energieverbrauch und den CO2-Fußabdruck von KI-Systemen könnten energieeffiziente Lösungen wie der Sohu-Chip an Bedeutung gewinnen.

Es ist jedoch wichtig zu beachten, dass der Sohu-Chip auf Transformer-Modelle spezialisiert ist. Für andere KI-Architekturen oder das Training von Modellen werden weiterhin flexible Lösungen wie GPUs benötigt.

Fazit

Der Etched Sohu-Chip, wenn er sich so realisiert, würde eine neue Phase in der KI-Hardware-Entwicklung einleuten. Seine spezialisierte Natur als ASIC für Transformer-Modelle verspricht erhebliche Leistungssteigerungen gegenüber herkömmlichen GPUs. Wenn sich die Leistungsangaben bestätigen, könnte dies zu einer Neuausrichtung in der KI-Branche führen, mit einem verstärkten Fokus auf spezialisierte Hardware-Lösungen.

Die wachsende Bedeutung von Rechenleistung in der KI-Entwicklung unterstreicht die Notwendigkeit innovativer Hardware-Lösungen. ASICs wie der Sohu-Chip könnten eine Schlüsselrolle dabei spielen, die Grenzen dessen zu erweitern, was mit KI möglich ist, indem sie effizientere und leistungsfähigere Plattformen für das Training und die Ausführung von KI-Modellen bereitstellen.

Allerdings bleibt abzuwarten, wie sich der Chip in realen Anwendungsszenarien bewährt und wie der Markt auf diese Innovation reagiert. Unabhängig davon unterstreicht die Entwicklung des Sohu-Chips die kontinuierliche Evolution der KI-Technologie und verspricht spannende Entwicklungen für die Zukunft der künstlichen Intelligenz.

Für den Mittelstand ist alles, was KI Modelle mehr verfügbar, effizienter und preiswerter macht, eine gute Nachricht.

Wir werden diese Entwicklung weiter verfolgen.

Quellen:

1. Twitter @Etched, 25. Juni 2024
2. ComputerBase, „Transformer Models: Sohu-ASIC von Etched soll 20x schneller als Nvidia H100 sein“, 26. Juni 2024
3. Medium, Ali Waseem, „Etched Sohu Vs. Nvidia’s Blackwell: Meet Sohu: The Fastest AI Chip of All Time“, 29. Juni 2024
4. Medium, Avinash Rai, „Data was, Analytics is, Compute will be — The New Oil“, 27. März 2024

Dieser Post ist durch Zusammenarbeit von Jürgen und Claude 3.5 entstanden.