KI-Pionier Hochreiter: "Die KI-Entwickler bei mir drehen gerade durch"

Herr Professor, Sie wirken gespannt wie Ingenieure kurz vor einem Raketenstart. Sie sind auch am Beginn einer großen Mission. Welche "Rakete" haben Sie gebaut?

Das Ding heißt xLSTM. Ich habe die Vorgängertechnologie von ChatGPT entwickelt (LSTM, Anm.) und war auch jetzt immer nahe dran an den führenden Entwicklern dieser künstlichen Intelligenz von OpenAI. Und ich habe gesehen, wie man das besser zusammenfügen kann. In dem Sinne, dass das nächste Wort besser vorhergesagt wird und so auch bessere Texte generiert werden. Und zweitens: xLSTM ist schneller und kommt mit weniger Computerleistung aus.

Klingt vielversprechend. Wie kam es dazu, dass Sie Ihre Grundlagenforschung neu aufsetzen und in wissenschaftlichen Wettstreit gehen?

Zu Jahresanfang hatten wir die Idee und erreichten sofort das Niveau von GPT2 (aktuell gibt es GPT4, Anm.). Ich bin seit 30 Jahren im Geschäft, aber das habe ich noch nie erlebt. Wir schlagen diese Transformer-Technologie in jedem Datensatz. Noch sind es kleine Datensätze, aber wir sind immer schneller. Wir gehen jetzt auf größere Modelle. Wenn die Leute unsere Technologie verwenden, schießen wir GPT4, das Microsoft, Meta oder Google haben, vom Feld. Falls man genügend Compute (Rechenleistung, Anm.) hat.

Für diese Rechenleistung braucht es aber viel Geld. Wo bekommen Sie die nötigen Mittel her?

Wir haben bereits erste Gelder eingeworben, um zu zeigen, dass diese Scaling Laws, also die Annahmen bei den Parametern, stimmen, dass wir auch bei großen Datenmengen immer besser sind als Microsoft & Co. Es ist unglaublich, was gerade passiert. Alle in der Science-Community reden von dieser Schwachsinnsmethode ChatGPT, die gerade draußen ist und so populär wurde - einfach weil sie im Training so schnell ist. Wir haben hier schon die besseren Sachen.

Da drüben (Hochreiter deutet zum Nebenraum) drehen meine Entwickler gerade durch, weil wir besser sind. Aber sie dürfen die Methode noch nicht publizieren, weil ich vorher die IP-Rechte klären und vor allem eine Firma gründen will. Ich möchte unbedingt, dass diese Technologie in Österreich, in Europa bleibt.

Wie viel Geld würden Sie dafür brauchen?

300 Millionen Euro, wobei die peu à peu kommen müssten. Denn selbst wenn die als Einmalzahlung auf unserem Konto wären, könnten wir nichts damit anfangen. Wir haben gerade mit Nvidia (wichtigster Produzent von KI-Prozessoren, Anm.) verhandelt, die haben Lieferzeiten von acht Monaten. Dann haben wir mit Amazon gesprochen. Aber es ist ganz schwer, an diese Hardware heranzukommen.

Das Zweite ist, wir brauchen Software Engineers, die auf diesen Prozessoren arbeiten können. Das Programm muss adaptiert werden für genau diese Grafikkarten. Solche Leute sind extrem gefragt, die möchten auch Google und Meta haben. Und selbst wenn schon alles da wäre, würden wir schrittweise vorgehen, also immer größere Modelle laufen lassen, die am Ende Hunderte Millionen kosten.

Für GPT3 sind 24.000 GPUs (Prozessoren, Anm.) mehrere Monate gelaufen. Wenn man das ausrechnet, mit Kühlung und Strom, sind das allein das 100 Millionen Euro.

Solche Summen werden Sie von der öffentlichen Hand in Österreich nicht bekommen. Woher dann?

Nein, der Staat wird gar nichts geben. Das können nur private Gelder sein. Der Staat ist auch zu langsam und hat sich nicht interessiert. Mir wurde ganz klar gesagt: "Warten Sie bitte auf die nächste Regierung." Ich war vielleicht zu lange zu optimistisch. Ich habe mir gedacht, auch Österreich müsste erkennen, dass KI eine ganz große Sache ist, aber in Wien merkt man das noch nicht so.

Sie haben Angebote aus der ganzen Welt, die in manchen Belangen unverschämt verlockend sind. Was lässt Sie zögern?

Ich habe Angebote aus Saudi-Arabien oder aus China. Huawei hat mich gerade kontaktiert, die wollen da reingehen. Ich möchte xLSTM aber erst einmal hier behalten. Ich muss erst konsolidieren, wie gesagt die IP-Rechte und die Finanzierung sicherstellen.

Ist nicht Schnelligkeit in der aktuellen Situation ein Gebot der Stunde? Wir sprechen hier vermutlich eher von Wochen als von Monaten. Wie viel Zeit geben Sie sich?

Es werden mehr und mehr Papers (Forschungsarbeiten, Anm.) publiziert, die in unsere Nähe kommen. Andere Forschungsteams begeben sich auch auf die Suche nach Alternativen. Sie haben recht, es geht um Wochen.

ChatGPT hat die Welt im Sturm erobert. Wie hat dieser Hype Ihr Leben und Ihre Arbeit verändert?

ChatGPT selbst hat mich nicht überrascht. So etwas war auch aufgrund der Vorgängermodelle schon lange Bestandteil meiner Vorlesungen. Was mich überrascht hat, war, wie es eingeschlagen hat in der Bevölkerung. Jeder weiß, außer vielleicht in Wien, dass KI ein Thema ist.

Und es werden noch ganz andere Dinge kommen. Vielleicht sieht man deren Wirkung nicht so deutlich wie bei ChatGPT, aber es ist noch viel möglich. Die Awareness ist riesig. Ich bekomme viel mehr Medienanfragen, es wird aber auch viel mehr Unsinn verbreitet. Auch wie mich die Universität sieht, hat sich geändert (Hochreiter ist seit 2006 an der Linzer JKU, Anm.).

Wir sind mit dem KI-Studium an der Grenze unserer Möglichkeiten, können uns vor Bewerbern kaum retten. Der deutsche Kanzler Olaf Scholz hat mir was angeboten. Das wäre früher wohl nicht so gewesen. Man wird von allen Seiten bestürmt. Das Aussortieren dieser ganzen Begehrlichkeiten kostet sehr viel Zeit.

Die künstliche Intelligenz ist zu einem Riesenmarkt geworden, für Berater und Dienstleister. Die Angst davor dient auch dem Marketing. Menschen lernen Befehle zur Verwendung von KI ...

Die künftig ganz anders aussehen wird. Bei xLSTM kann man direkt das Gedächtnis modifizieren und braucht keinen Befehl. Und ja, Angst-und Untergangsszenarien werden gern bespielt. Spannend ist, wer das tut. Das KI-Moratorium haben vor allem OpenAI und Microsoft gefordert, die eigentlich meinen: "Ihr Unis könnt aufhören zu forschen!"

Nach außen haben sie einen Stopp gefordert, intern wird weitergerechnet. Und die Warnung von Geoffrey Hinton war auch übertrieben ängstlich. Wer jetzt die Auslöschung der Menschheit befürchtet, läuft Gefahr, zu übersehen, was an der KI wirklich gefährlich ist: etwa die Beeinflussung von Wahlen, die Gefahr der Bildung von Blasen und dass mein Handy mir nur mehr die Information gibt, die ich hören will. Das sind viel konkretere Szenarien.