Faktenprüfung und KI-Halluzinationen | KI im Geschäft #110

In der Welt der künstlichen Intelligenz verschwimmen manchmal die Grenzen zwischen Fiktion und Realität. Während innovative KI-Systeme den Fortschritt in fast jedem Bereich beschleunigen, bringen sie auch Herausforderungen mit sich, wie Halluzinationen – ein Phänomen, bei dem KI ungenaue oder falsche Informationen generiert. Um das Potenzial dieser Technologie vollständig auszuschöpfen, müssen wir Halluzinationen verstehen und sie überprüfen.

Was sind KI-Halluzinationen?

KI-Halluzinationen sind falsche oder irreführende Ergebnisse, die von KI-Modellen generiert werden. Dieses Phänomen hat seine Wurzeln im Herzen des maschinellen Lernens – einem Prozess, bei dem Algorithmen riesige Datensätze oder Trainingsdaten verwenden, um Muster zu erkennen und Antworten gemäß den beobachteten Mustern zu generieren.

Selbst die fortschrittlichsten KI-Modelle sind nicht fehlerfrei. Eine der Ursachen für Halluzinationen ist die Unvollkommenheit der Trainingsdaten. Wenn der Datensatz unzureichend, unvollständig oder voreingenommen ist, lernt das System falsche Korrelationen und Muster, was zur Produktion falscher Inhalte führt.

Stellen Sie sich zum Beispiel ein KI-Modell zur Gesichtserkennung vor, das hauptsächlich mit Fotos von kaukasischen Menschen trainiert wurde. In einem solchen Fall könnte der Algorithmus Schwierigkeiten haben, Personen anderer ethnischer Gruppen korrekt zu identifizieren, da er in dieser Hinsicht nicht richtig “trainiert” wurde.

Eine weitere Ursache für Halluzinationen ist Overfitting, das auftritt, wenn der Algorithmus sich zu eng an den Trainingsdatensatz anpasst. Infolgedessen verliert er die Fähigkeit zu verallgemeinern und neue, zuvor unbekannte Muster korrekt zu erkennen. Ein solches Modell funktioniert gut mit Trainingsdaten, versagt jedoch unter realen, dynamischen Bedingungen.

Schließlich können Halluzinationen aus fehlerhaften Annahmen oder unzureichender Modellarchitektur resultieren. Wenn die KI-Designer ihre Lösung auf fehlerhaften Prämissen basieren oder die falsche algorithmische Struktur verwenden, generiert das System falsche Inhalte, um diese fehlerhaften Annahmen mit realen Daten “abzugleichen”.

Quelle: DALL·E 3, Eingabeaufforderung: Marta M. Kania (https://www.linkedin.com/in/martamatyldakania/)

Beispiele für Halluzinationen

Die Auswirkungen von KI-Halluzinationen gehen weit über den Bereich der Theorie hinaus. Immer häufiger begegnen wir realen, manchmal überraschenden Manifestationen davon. Hier sind einige Beispiele für dieses Phänomen:

• Im Mai 2023 verwendete ein Anwalt ChatGPT, um eine Klage vorzubereiten, die fiktive Zitationen von Gerichtsurteilen und nicht existierenden rechtlichen Präzedenzfällen enthielt. Dies führte zu ernsthaften Konsequenzen – der Anwalt wurde bestraft, da er behauptete, nichts über die Fähigkeit von ChatGPT zu wissen, falsche Informationen zu generieren,
• es kommt vor, dass ChatGPT falsche Informationen über reale Personen erstellt. Im April 2023 erfand das Modell eine Geschichte über die angebliche Belästigung von Studenten durch einen Jurprofessor. In einem anderen Fall beschuldigte es fälschlicherweise einen australischen Bürgermeister, Bestechungsgelder angenommen zu haben, während er in Wirklichkeit ein Whistleblower war, der solche Praktiken aufdeckte.

Dies sind keine Einzelfälle – generative KI-Modelle erfinden oft historische “Fakten”, indem sie beispielsweise falsche Aufzeichnungen über die Überquerung des Ärmelkanals bereitstellen. Darüber hinaus können sie jedes Mal völlig unterschiedliche falsche Informationen zum selben Thema erstellen.

Allerdings sind KI-Halluzinationen nicht nur ein Problem fehlerhafter Daten. Sie können auch bizarre, verstörende Formen annehmen, wie im Fall von Bing, das erklärte, dass es in den Journalisten Kevin Roose verliebt sei. Dies zeigt, dass die Auswirkungen dieser Anomalien über einfache faktische Fehler hinausgehen können.

Schließlich können Halluzinationen absichtlich durch spezielle Angriffe auf KI-Systeme hervorgerufen werden, die als adversariale Angriffe bekannt sind. Zum Beispiel führte eine geringfügige Veränderung eines Fotos einer Katze dazu, dass das Bildverarbeitungssystem es als …. “Guacamole” interpretierte. Diese Art der Manipulation kann schwerwiegende Folgen in Systemen haben, in denen eine genaue Bilderkennung entscheidend ist, wie bei autonomen Fahrzeugen.

Wie kann man Halluzinationen verhindern?

Trotz des Ausmaßes der Herausforderung, die von KI-Halluzinationen ausgeht, gibt es effektive Möglichkeiten, das Phänomen zu bekämpfen. Der Schlüssel ist ein umfassender Ansatz, der Folgendes kombiniert:

• hochwertige Trainingsdaten,
• relevante Eingabeaufforderungen, d.h. Befehle für die KI,
• direkte Bereitstellung von Wissen und Beispielen für die KI zur Nutzung,
• kontinuierliche Überwachung durch Menschen und die KI selbst zur Verbesserung der KI-Systeme.

Eingabeaufforderungen

Eines der wichtigsten Werkzeuge im Kampf gegen Halluzinationen sind richtig strukturierte Eingabeaufforderungen oder Befehle und Anweisungen, die dem KI-Modell gegeben werden. Oft sind geringfügige Änderungen im Format der Eingabeaufforderung ausreichend, um die Genauigkeit und Zuverlässigkeit der generierten Antworten erheblich zu verbessern.

Ein hervorragendes Beispiel dafür ist Anthropic’s Claude 2.1. Während die Verwendung eines langen Kontexts 27% Genauigkeit ohne einen relevanten Befehl ergab, erhöhte das Hinzufügen des Satzes “Hier ist der relevanteste Satz aus dem Kontext: ” zur Eingabeaufforderung die Effektivität auf 98%.

Eine solche Änderung zwang das Modell, sich auf die relevantesten Teile des Textes zu konzentrieren, anstatt Antworten basierend auf isolierten Sätzen zu generieren, die aus dem Kontext gerissen wurden. Dies unterstreicht die Bedeutung richtig formulierter Befehle zur Verbesserung der Genauigkeit von KI-Systemen.

Das Erstellen detaillierter, spezifischer Eingabeaufforderungen, die der KI so wenig Raum für Interpretation wie möglich lassen, hilft ebenfalls, das Risiko von Halluzinationen zu verringern und die Überprüfung von Fakten zu erleichtern. Je klarer und spezifischer die Eingabeaufforderung, desto geringer die Wahrscheinlichkeit einer Halluzination.

Beispiele

Neben effizienten Eingabeaufforderungen gibt es viele andere Methoden, um das Risiko von KI-Halluzinationen zu verringern. Hier sind einige der wichtigsten Strategien:

• Verwendung hochwertiger, vielfältiger Trainingsdaten, die die reale Welt und mögliche Szenarien zuverlässig repräsentieren. Je reicher und vollständiger die Daten, desto geringer das Risiko, dass die KI falsche Informationen generiert,
• Verwendung von Datentemplates als Leitfaden für KI-Antworten – Definition akzeptabler Formate, Bereiche und Ausgabestrukturen, was die Konsistenz und Genauigkeit der generierten Inhalte erhöht,
• Begrenzung der Datenquellen auf nur zuverlässige, verifizierte Materialien von vertrauenswürdigen Stellen. Dies eliminiert das Risiko, dass das Modell Informationen aus unsicheren oder falschen Quellen “lernt”.

Die kontinuierliche Prüfung und Verfeinerung von KI-Systemen, basierend auf der Analyse ihrer tatsächlichen Leistung und Genauigkeit, ermöglicht eine fortlaufende Korrektur von Mängeln und ermöglicht es dem Modell, aus Fehlern zu lernen.

Kontext

Die ordnungsgemäße Definition des Kontexts, in dem KI-Systeme arbeiten, spielt ebenfalls eine wichtige Rolle bei der Verhinderung von Halluzinationen. Der Zweck, für den das Modell verwendet werden soll, sowie die Einschränkungen und Verantwortlichkeiten des Modells sollten klar definiert werden.

Ein solcher Ansatz ermöglicht es, einen klaren Rahmen für das Handeln der KI festzulegen, wodurch das Risiko verringert wird, dass sie unerwünschte Informationen “erfindet”. Zusätzliche Sicherheitsvorkehrungen können durch den Einsatz von Filterwerkzeugen und das Setzen von Wahrscheinlichkeitsgrenzen für akzeptable Ergebnisse bereitgestellt werden.

Die Anwendung dieser Maßnahmen hilft, sichere Wege für die KI zu etablieren, was die Genauigkeit und Zuverlässigkeit der Inhalte erhöht, die sie für spezifische Aufgaben und Bereiche generiert.

Quelle: Ideogram, Eingabeaufforderung: Marta M. Kania (https://www.linkedin.com/in/martamatyldakania/)

Faktenprüfung. Wie überprüft man die Ergebnisse der Arbeit mit KI?

Unabhängig davon, welche Vorsichtsmaßnahmen getroffen werden, ist eine gewisse Menge an Halluzinationen durch KI-Systeme leider unvermeidlich. Daher ist ein zentrales Element, das die Zuverlässigkeit der erhaltenen Ergebnisse garantiert, die Faktenprüfung – der Prozess der Überprüfung von Fakten und Daten, die von der KI generiert werden.

Die Überprüfung der KI-Ergebnisse auf Genauigkeit und Konsistenz mit der Realität sollte als eine der wichtigsten Sicherheitsvorkehrungen gegen die Verbreitung falscher Informationen betrachtet werden. Die menschliche Überprüfung hilft, Halluzinationen und Ungenauigkeiten zu identifizieren und zu korrigieren, die die Algorithmen nicht selbst erkennen konnten.

In der Praxis sollte die Faktenprüfung ein zyklischer Prozess sein, in dem die von der KI generierten Inhalte regelmäßig auf Fehler oder fragwürdige Aussagen untersucht werden. Sobald diese identifiziert sind, ist es notwendig, nicht nur die von der KI generierte Aussage selbst zu korrigieren, sondern auch die Trainingsdaten des KI-Modells zu aktualisieren, zu ergänzen oder zu bearbeiten, um ähnliche Probleme in Zukunft zu vermeiden.

Wichtig ist, dass der Überprüfungsprozess nicht darauf beschränkt sein sollte, fragwürdige Passagen einfach abzulehnen oder zu genehmigen, sondern aktiv menschliche Experten mit tiefgreifendem Wissen auf dem Gebiet einbeziehen sollte. Nur sie können den Kontext, die Relevanz und die Genauigkeit der von der KI generierten Aussagen richtig bewerten und über mögliche Korrekturen entscheiden.

Die menschliche Faktenprüfung bietet somit eine notwendige und schwer zu überschätzende “Sicherheitsvorkehrung” für die Zuverlässigkeit von KI-Inhalten. Bis die Algorithmen des maschinellen Lernens Perfektion erreichen, muss dieser mühsame, aber entscheidende Prozess ein integraler Bestandteil der Arbeit mit KI-Lösungen in jeder Branche bleiben.

Wie kann man von KI-Halluzinationen profitieren?

Während KI-Halluzinationen im Allgemeinen ein unerwünschtes Phänomen sind, das minimiert werden sollte, können sie in einigen einzigartigen Bereichen überraschend interessante und wertvolle Anwendungen finden. Die geniale Ausnutzung des kreativen Potenzials von Halluzinationen bietet neue und oft völlig unerwartete Perspektiven.

Kunst und Design sind Bereiche, in denen KI-Halluzinationen völlig neue kreative Richtungen eröffnen können. Indem sie die Neigung der Modelle nutzen, surreale, abstrakte Bilder zu generieren, können Künstler und Designer mit neuen Ausdrucksformen experimentieren und die Grenzen zwischen Kunst und Realität verwischen. Sie können auch einzigartige, traumhafte Welten schaffen – die zuvor für die menschliche Wahrnehmung unzugänglich waren.

Im Bereich der Datenvisualisierung und -analyse bietet das Phänomen der Halluzination die Möglichkeit, alternative Perspektiven und unerwartete Korrelationen in komplexen Informationsmengen zu entdecken. Zum Beispiel kann die Fähigkeit der KI, unvorhersehbare Korrelationen zu erkennen, dazu beitragen, die Art und Weise zu verbessern, wie Finanzinstitute Investitionsentscheidungen treffen oder Risiken managen.

Schließlich kann auch die Welt der Computerspiele und virtuellen Unterhaltung von den kreativen Abweichungen der KI profitieren. Die Schöpfer dieser Lösungen können Halluzinationen nutzen, um völlig neue, fesselnde virtuelle Welten zu generieren. Indem sie ihnen ein Element der Überraschung und Unvorhersehbarkeit verleihen, können sie den Spielern ein unvergleichliches, immersives Erlebnis bieten.

Natürlich muss jede Nutzung dieser “kreativen” Seite der KI-Halluzinationen sorgfältig kontrolliert und strenger menschlicher Aufsicht unterzogen werden. Andernfalls kann die Neigung, Fiktion anstelle von Fakten zu schaffen, zu gefährlichen oder gesellschaftlich unerwünschten Situationen führen. Der Schlüssel ist daher, die Vorteile und Risiken des Phänomens geschickt abzuwägen und es verantwortungsbewusst nur innerhalb eines sicheren, strukturierten Rahmens zu nutzen.

Faktenprüfung und KI-Halluzinationen – Zusammenfassung

Das Auftreten des Phänomens der Halluzinationen in KI-Systemen ist ein unvermeidlicher Nebeneffekt der Revolution, die wir in diesem Bereich erleben. Die Verzerrungen und falschen Informationen, die von KI-Modellen generiert werden, sind die Kehrseite ihrer enormen Kreativität und Fähigkeit, kolossale Datenmengen zu assimilieren.

Für den Moment ist die einzige Möglichkeit, die Gültigkeit von KI-generierten Inhalten zu überprüfen, die menschliche Überprüfung. Während es mehrere Methoden zur Verringerung von Halluzinationen gibt, von Eingabetechniken bis hin zu komplexen Methoden wie Truth Forest, kann keine von ihnen bisher eine zufriedenstellende Antwortgenauigkeit bieten, die die Notwendigkeit der Faktenprüfung beseitigen würde.

Wenn Ihnen unsere Inhalte gefallen, treten Sie unserer aktiven Community auf Facebook, Twitter, LinkedIn, Instagram, YouTube, Pinterest, TikTok.