Klosterneuburg, Januar 2025 - Neural Magic, ein KI-Startup mit Wurzeln im MIT und dem österreichischen Forschungsinstitut Institute of Science and Technology Austria (ISTA), wurde von Red Hat, dem weltweit führenden Anbieter von Open-Source-Lösungen, übernommen. Als Gründungsmitarbeiter und Leiter der Machine Learning-Forschung spielte ISTA-Forscher Dan Alistarh neben den MIT-Wissenschaftlern und Mitgründern Alex Matveev und Nir Shavit eine Schlüsselrolle bei der Weiterentwicklung der Technologie des Unternehmens. Diese Übernahme ist ein bedeutender Meilenstein für das ISTA, da Neural Magic das erste Startup ist, das mit dem Institut zusammenarbeitet und erfolgreich einen großen Exit erzielt.

Neural Magic ist ein führendes Unternehmen im Bereich der KI-Implementierung und hat es sich zur Aufgabe gesetzt die steigenden Energie- und Infrastrukturkosten großer Sprachmodelle (LLMs) zu senken. Die Software des Unternehmens steigert die Leistung generativer KI und reduziert gleichzeitig den ökologischen und finanziellen Fußabdruck.

Dan Alistarh unterstreicht die Auswirkungen seiner Forschung am Institute of Science and Technology Austria (ISTA) auf die „Demokratisierung“ der KI: „Die Hauptmotivation hinter dieser Arbeit ist es, Unternehmen, Forschenden und Enthusiast:innen die Leistung des effizienten maschinellen Lernens zugänglich zu machen und ihnen zu ermöglichen, Modelle kostengünstig auf ihrer eigenen Hardware oder in der Cloud zu betreiben.“

LLMs schlanker und zugänglicher für kleine Unternehmen machen

Während die generative KI an der Spitze des technologischen Fortschritts steht, werden die LLMs, die diesen Systemen zugrunde liegen, immer größer. Der Aufbau, die Bereitstellung und die Skalierung dieser Modelle erfordern eine immense Rechenleistung, spezielle Hardware und betriebliches Fachwissen - Hürden, die kleinere Unternehmen oft davon abhalten, das Potenzial der KI zu nutzen.

Neural Magic tritt diesen Hindernisse entgegen, indem sie die Funktionsweise von LLMs neu definieren und Software entwickeln, die generative KI-Inferenz-Workloads beschleunigt. In Zusammenarbeit mit dem ISTA hat Neural Magic innovative LLM-Kompressionsforschung betrieben und seine Ergebnisse, einschließlich hochmoderner GPTQ- und SparseGPT-Techniken, und Strategien für deren Eingliederung, mit der Open-Source-Gemeinschaft geteilt.

Neural Magics Technologie ermöglicht den Einsatz hochmoderner KI-Modelle mit unglaublicher Effizienz, wodurch die Hardwarekosten und der Energieverbrauch drastisch gesenkt werden und der Einsatz von KI kostengünstiger und umweltfreundlicher wird. Infolgedessen hat Neural Magic die Aufmerksamkeit mehrerer großer Unternehmen auf sich gezogen und Risikokapital von Investoren wie Andreessen Horowitz, Comcast Ventures und Ridgeline Ventures erhalten.

Beschleunigung einer hybriden Cloud-fähigen Gen-KI

Mit der Übernahme plant Red Hat die Expertise von Neural Magic im Bereich vLLM zu nutzen, um einen Inferenz-Stack für Unternehmen zu entwickeln, der es Kund:innen ermöglicht, LLM-Workloads in hybriden Cloud-Umgebungen zu optimieren, bereitzustellen, zu skalieren und dabei die volle Kontrolle über die Wahl der Infrastruktur, die Sicherheitsrichtlinien und den Lebenszyklus der Modelle zu behalten.

Zusammen mit Neural Magics Optimierungsforschung, dem LLM Compressor und der Repository-Pflege von voroptimierten Modellen wird diese Software voraussichtlich zu einem Eckpfeiler der Strategie von Red Hat, um Kund:innen, Kostensenkung, und das Überwinden von Qualifikationsbarrieren zu ermöglichen, sowie LLMs in hybriden Cloud-Umgebungen mit einem vorgefertigten, hoch optimierten und offenen Inferenz-Stack zu implementieren.

In einer Verlautbarung zum Aufkauf sagt Matt Hicks, Präsident und CEO von Red Hat: "KI-Workloads müssen überall dort ausgeführt werden, wo Kund:innendaten in der Hybrid-Cloud gespeichert sind. Dies macht flexible, standardisierte und offene Plattformen und Tools zu einer Notwendigkeit, da sie es Unternehmen ermöglichen, die Umgebungen, Ressourcen und Architekturen auszuwählen, die am besten zu ihren individuellen Betriebs- und Datenanforderungen passen“

Die Rolle des ISTA in der Förderung von Innovationen

Die Entwicklung von akademischer Forschung zum kommerziellen Erfolg ist ein Beispiel für die wachsende Rolle des Institute of Science and Technology Austria (ISTA) als Drehscheibe für wissenschaftliche Innovationen. Durch die Unterstützung von neugier getriebener Grundlagenforschung sowie von unternehmerisch denkenden Forschenden wie Dan Alistarh stärkt das ISTA seine Aufgabe, eine Brücke zwischen Spitzenwissenschaft und gesellschaftlicher Wirkung zu schlagen.

Das Engagement des ISTA für die gesellschaftliche Auswirkung seiner Forschung wird auch durch seine Tochtergesellschaft xista innovation deutlich. Diese arbeitet eng mit Forschenden wie Dan Alistarh zusammen, um Strategien für den Technologietransfer in die Industrie und die Kommerzialisierung, im Rahmen von
Kooperationen mit etablierten Unternehmen, durch Auslizenzierung von Technologien oder durch die Gründung neuer Spin-off-Unternehmen, zu entwickeln.

Kontakt xista:
Sophia Hannes 
Communications Manager 
sh@xista.vc
+43 664 150 84 47 

Kontakt ISTA:
Andreas Rothe
Media Relations
andreas.rothe@ista.ac.at 
+43 664 8832 6510