Trend Logo

KI-Halluzination: Wie lässt sich eine vertrauenswürdige KI ins Unternehmen integrieren?

Subressort
Aktualisiert
Lesezeit
0 min
KI im Unternehmen

©istock/metamorworks
  1. home
  2. Business
  3. Technologie

Eine KI-Halluzination liegt vor, wenn ein großes Sprachmodell (engl. Large Language Model, LLM) wie zum Beispiel GPT-4o von OpenAI oder Google Gemini falsche Informationen liefert oder Fakten erfindet. Die KI-Modelle tun dies nicht aus Bösartigkeit, sondern aufgrund von Mustern in den Trainingsdaten. Christian Casari (ONTEC AG) und Alexander Göppel (Aleph Alpha) erklären im Interview, wie Unternehmen interne Daten durch KI zuverlässig nutzbar machen können und welche Entwicklungen und Innovationen im Bereich der KI unsere Arbeitswelt verändern werden.

von

trend

Welche Strategien setzen Unternehmen ein, um sicherzustellen, dass ihre internen Daten für KI-Anwendungen zuverlässig und effizient nutzbar gemacht werden?

Christian Casari

Unabhängig von der Branche und der Größe, ist es für Unternehmen unerlässlich, Daten effizient und zielgerichtet zu managen. Gleichzeitig ist das effiziente Datenmanagement eine der größten Herausforderungen: Mitarbeitende investieren viel Zeit, um nach Daten zu suchen, tätigkeitsabhängige Zugriffe anzufragen, weniger relevante Informationen zu lesen, zu verstehen, auszuwerten – sprich die Daten nutzbar zu machen. Ein erster wichtiger Schritt vor der Implementierung von KI-Anwendungen ist ein gutes Datenqualitätsmanagement, bei dem die Daten sortiert und bereinigt werden.

Alexander Göppel

Korrekt. Wobei wir bei Aleph Alpha noch einen Schritt vorher ansetzen und gemeinsam mit dem Kunden den gewünschten Output definieren, um anschließend einen wirklichen Mehrwert durch KI zu generieren.

Christian Casari

Genau, das gehört auch bei uns zur Strategie. Mit der richtigen KI-Strategie können Organisationen ihre Datenflut bewältigen, Einblicke gewinnen und fundierte Entscheidungen treffen.

trend

Welche Herausforderungen begegnen Unternehmen häufig bei der Integration interner Daten in KI-Systeme, und wie können diese überwunden werden?

Alexander Göppel

Eine der Herausforderungen ist, die sich häufig ändernden Datensätze aktuell zu halten. Außerdem muss gewährleistet sein, dass die geschaffene Data Governance sowie Access Strukturen auch in einem KI unterstützten Prozess eingehalten werden.

Christian Casari

Was Unternehmen auch oft unterschätzen, ist, dass das Wissen der Mitarbeitenden ordentlich dokumentiert werden muss, damit man dieses in Form von Daten für die KI nutzen kann. Es ist also sehr wichtig, die Mitarbeitenden in die KI-Strategie miteinzubeziehen.

Es ist sehr wichtig, die Mitarbeitenden in die KI-Strategie miteinzubeziehen

Christian CasariHead of Sales: Artificial Intelligence bei ONTEC AG
Bild

© Onteg AG
trend

Was sind die häufigsten Ursachen für Halluzinationen in KI-generierten Antworten und wie können Unternehmen diese minimieren?

Alexander Göppel

KI-Modelle, insbesondere generative Sprachmodelle (LLMs), werden mit großen Mengen Textdaten trainiert. Die KI gibt die Wahrscheinlichkeit einer richtigen Antwort auf Basis des verfügbaren „Wissens“ wieder. Ist dieses Wissen nicht in den zur Verfügung stehenden Daten, beginnt die KI Informationen zu „halluzinieren“. Um Halluzinationen zu minimieren, hat sich folgender iterativer Prozess bewährt:

Prompting: Lässt erkennen, welchen Kenntnisstand / Fähigkeiten das Modell hat.

Few-shot Prompting: Fügt dem Prompt Beispiele zur Erstellung eines optimalen Outputs hinzu.

Instruct Fine Tuning: Fügt dem Modell eine größere Anzahl an Beispielen für einen optimalen Output zu. Das Modell „lernt“ die Unternehmensspezifika.

Domain Fine Tuning: Fügt dem Modell eine große Anzahl qualitativ hochwertiger Domänen-spezifischer Daten zu, die notwendig sind, um Arbeitsschritte auszuführen.

Außerdem sollte auf eine richtige Architektur gesetzt werden – hier ist vor allem die RAG-Technologie führend. Christian, ihr bei der ONTEC arbeitet auch mit Retrieval Augmented Generation (RAG) Technik, richtig?

Christian Casari

Genau. Der Vorteil der Technik ist, dass dabei spezifische Informationen genutzt werden, um von einem LLM relevantere und korrektere Antworten zu bekommen. RAGs sind daher besonders bedeutsam bei der Unterdrückung von KI-Halluzinationen.

trend

Aus Ihrer Erfahrung, wer übernimmt meistens in den jeweiligen Unternehmen die Verantwortung für GenAI - die Strategie, die Implementierung...?

Christian Casari

Nicht immer, aber immer häufiger, kommt der Anstoß von ganz oben. CEOs lernen, dass KI Wettbewerbsvorteile bringt und wollen dementsprechende KI-Lösungen bei sich im Unternehmen implementieren. Dieser Anstoß ist wichtig, aber für die Strategie-Entwicklung und den Use-Case müssen unbedingt die Verantwortlichen der Fachabteilungen hinzugezogen werden.

Alexander Göppel

Am Anfang steht die Bedarfsanalyse. Die Geschäftsführung ist nicht immer ins operative Tagesgeschäft involviert. Die Frage nach dem gewünschten Output, also, was will ich durch und mit der KI erreichen, muss von den Menschen beantwortet werden, denen die KI den Arbeitsalltag erleichtern soll.

Die Frage nach dem gewünschten Output muss von den Menschen beantwortet werden, denen die KI den Arbeitsalltag erleichtern soll

Alexander GöppelSenior Sales Executive bei Aleph Alpha
Bild

© Aleph Alpha
trend

Welche Techniken und Methoden sind am effektivsten, um die Präzision und Zuverlässigkeit von KI-Antworten zu gewährleisten?

Christian Casari

Angefangen bei der zuvor angesprochenen Datenqualität, also der Verwendung von hochwertigen und gut annotierten Datensätzen (mit Tags versehene Daten), einer intelligenten Architektur sowie einem passenden LLM, ist das kontinuierliche Training und – super wichtig für uns – der Einsatz von Techniken, die die Entscheidungsfindung des Modells transparent machen, eine gute Kombination.

trend

Wie können Unternehmen sicherstellen, dass ihre KI-Modelle kontinuierlich aktualisiert und verbessert werden, um Halluzinationen zu reduzieren?

Christian Casari

Auch hier sind die Daten entscheidend: Das regelmäßige Hinzufügen von hochwertigen Daten und zusätzlichen Datenquellen hilft der KI, auf dem neuesten Stand zu bleiben, um es mal so salopp auszudrücken. Wiederholtes Fine-tuning (wenn man sehr viele, akkurate Daten hat) kann die Genauigkeit und Relevanz der Antworten zusätzlich erhöhen. Benchmarking, Adversarial Training, das Anpassen von API’s (Application Programming Interfaces) Robustheitsanalysen können ebenfalls helfen.

Alexander Göppel

Unternehmen benötigen eine Umgebung, wie den Aleph Alpha Core, die den iterativen Prozess begleitet. Darüber hinaus sollte die Umgebung dem Kunden ermöglichen ein für den Use Case spezifisches Benchmarking zu erstellen, um verschiedene Modelle gegeneinander zu testen und das für den Anwendungsfall bestmögliche Modell zu finden. Ebenfalls sollte die Umgebung in der Lage sein, mit neuen Modellen zu arbeiten. Wenn ein für einen Anwendungsfall bestimmtes Modell und ein robuster Prompt gefunden wurde, ist es entscheidend, dass das Modell konsistent bleibt und nicht bspw. Gewichtungen verändert werden. Das wiederum hätte Auswirkungen auf den generierten Output.

trend

Wie können Unternehmen sicherstellen, dass ihre NLP-Systeme in sensiblen Geschäftskontexten, wie beispielsweise im Finanz- oder Gesundheitswesen, verlässliche und sichere Antworten liefern?

Alexander Göppel

LLMs sind Machine Learning Systeme, das heißt sie bestehen im Wesentlichen aus großen Tabellen von Zahlen (Gewichte) welche auf großen Datensätzen (Trainingsdaten) optimiert werden. LLMs können nur “Wissen” abrufen, welches in ihrem Trainingsdatensatz enthalten war. Um dennoch zum Beispiel interne Firmendaten für LLMs zur Verfügung stellen zu können, gibt es Techniken wie zum Beispiel RAG, die zunächst für eine Anfrage relevante Informationen aus einer externen Quelle beziehen und diese dann nutzen, um einem LLM mehr „Kontext” zu geben und die Wahrscheinlichkeit für eine relevante Antwort zu erhöhen. Finetuning ist der Prozess des „Nachtrainierens” auf einem weiteren Trainingsdatensatz. Es gibt derzeit im wesentlich zwei Arten von Finetuning:

a) Instruct-Finetuning: Dem Modell wird eine Vielzahl von Beispielen zur Verfügung gestellt – wie das Ergebnis einer bestimmten Aufgabe (bspw. die Generierung eines Projektstatus) auszusehen hat. So lernt die KI diesen internen Aufgabentyp.

b) Domain Fine Tuning: Dem Modell wird eine große Menge spezifischer, qualitativ hochwertiger Daten zu Verfügung gestellt, die das Modell erlernen soll. Bspw. Medizinische Fachbegriffe oder ein Dialekt.

trend

Welche zukünftigen Entwicklungen und Innovationen im Bereich der KI und NLP erwarten Sie in den nächsten fünf Jahren?

Christian Casari

KI hat sich in den letzten zwei Jahren unfassbar schnell entwickelt und entwickelt sich immer noch rasend – und zwar in allen Bereichen. Ein Bereich davon ist NLP, also natürliche Sprachverarbeitung, die es Computern möglich macht, menschliche Sprache zu verstehen, zu interpretieren und zu erzeugen, und ein Teilbereich davon ist LLM, was für Aufgaben wie Texterstellung, Zusammenfassung und Übersetzung eingesetzt werden kann. Dort werden die sogenannten Context Windows (Kontextfenster) immer größer – mittlerweile hat Google schon über eine Million Token und es werden noch mehr – die Aufmerksamkeitsspanne des Modells erhöht sich und längere Texte können berücksichtigt werden. Diese Entwicklung hat aber den Nachteil, sehr Energie aufwendig und teuer zu sein. Um bei den positiven Entwicklungen zu bleiben, ist vielleicht noch die Robotik zu nennen. Mit Hilfe von LLMs werden diese immer fähiger und können sehr spezifisch trainiert werden. Ein konkretes Anwendungsbeispiel sind humanoide Roboter, die in naher Zukunft mehr Aufgaben in der industriellen Fertigung – beispielsweise in der Automobilbranche – übernehmen werden.    

trend

Wie können Unternehmen sich auf diese Entwicklungen vorbereiten und ihre Daten- und KI-Strategien entsprechend anpassen?

Alexander Göppel

Der erste Schritt für die erfolgreiche Umsetzung von KI-Projekten ist es zu definieren, welchen Output die Technologie generieren soll. Konkret wird gefragt, welche Qualitätsmerkmale der Output aufweisen sollte, damit dieser von den Anwender:innen weiterverwendet werden kann. Im zweiten Schritt gilt es, die passende Umsetzungsumgebung zu wählen. Hier ist es wichtig darauf zu achten, dass die verwendeten Technologien in der Lage sind, den PoC/Piloten in einem produktiven, skalierbaren und sicheren Zustand zu bringen, sowie mit den rasanten Innovationen im Markt Schritt halten können. Es werden sich für viele Aufgabenbereiche und Branchen spezifische Modelle entwickeln, die spezifische Aufgaben oder Sprachen besser verstehen können als generische, große Modelle.

trend

Sehen Sie Potenzial für neue Anwendungsfälle von KI in Unternehmen, die bisher noch nicht ausgeschöpft wurden?

Christian Casari

Ja, es gibt sehr viele Anwendungsfälle, die noch nicht ausgeschöpft sind. Hier mal ein paar Beispiele:

1. Personalisierte Kundeninteraktionen: Unternehmen können KI nutzen, um Kundenerlebnisse zu personalisieren, indem sie Verhalten, Vorlieben und frühere Interaktionen analysieren. Dies kann in Echtzeit geschehen und umfasst Empfehlungen, personalisierten Marketingbotschaften und individuell angepassten Kundensupport-Lösungen.

2. Prognostische Wartung: In der Fertigungsindustrie oder bei der Wartung von Ausrüstungen kann KI dazu verwendet werden, Daten von Sensoren zu analysieren und vorherzusagen. Dies ermöglicht präventive Wartung, bevor tatsächliche Probleme auftreten.

3. Verbesserung der Lieferkette: KI kann in der gesamten Lieferkette eingesetzt werden, um Nachfrageprognosen zu verbessern, den Lagerbestand zu optimieren und Transportwege effizienter zu gestalten.

4. Automatisierung von Geschäftsprozessen: Robotic Process Automation (RPA) kombiniert mit KI kann viele routinemäßige Geschäftsprozesse automatisieren, von der Dateneingabe bis hin zur komplexen Entscheidungsfindung.

5. Nachhaltigkeitsinitiativen: KI kann helfen, Energieverbrauch und Ressourcennutzung in Unternehmen zu optimieren. Dies ist nicht nur wirtschaftlich vorteilhaft, sondern trägt auch zu Umweltschutzzielen bei.

6. KI-gestützte Sicherheit: Im Bereich der Cybersicherheit kann KI dazu beitragen, Angriffe zu erkennen und zu verhindern, indem sie Muster in Daten erkennt, die auf potenzielle Sicherheitsbedrohungen hinweisen.

Künstliche Intelligenz

Über die Autoren

Logo
Abo ab €16,81 pro Monat
Ähnliche Artikel
Chip mit Grips
Unternehmen
Chip mit Grips
Florian Hasibar
Unternehmensprofile
KI-Nachhilfe für Mitarbeiter
Der AI Act – Chance für Europa
Technologie
Der AI Act – Chance für Europa
EU AI-Office: Auftrag und Rechtsrahmen des KI-Amts
Recht
EU AI-Office: Auftrag und Rechtsrahmen des KI-Amts
KI im Business: Praxis-Tipps abseits des Hype
Technologie
KI im Business: Praxis-Tipps abseits des Hype
KI oder echt? Wie Sie KI-Bilder erkennen
Technologie
KI oder echt? Wie Sie KI-Bilder erkennen
ChatGPT
Technologie
Die KI motivieren - So erhalten sie von ChatGPT & Co. die Ergebnisse, die Sie wollen
Devin: Der erste KI-Softwareingenieur der Welt
Business Tools
Devin: Der erste KI-Softwareingenieur der Welt
Datensatz KI
Technologie
Groq AI: Revolution in der KI-Beschleunigung
ChatGPT
Technologie
ChatGPT-Webtraffic stagniert
OpenAI auf Laptop geöffnet
Technologie
OpenAI veröffentlicht Video-Tool "Sora"
25% weniger Suchanfragen: Der Aufstieg von KI-Bots wird das Internet verändern
Technologie
25% weniger Suchanfragen: Der Aufstieg von KI-Bots wird das Internet verändern