Multimodale KI. Neue Anwendungen von künstlicher Intelligenz im Geschäft | KI im Geschäft #21

Was ist multimodale KI?

Multimodale KI ist eine hochentwickelte Form der KI, die die menschliche Fähigkeit nachahmt, die Welt mithilfe von Inhalten und Daten aus verschiedenen Sinnen zu interpretieren. So wie Menschen Text, Bilder und Geräusche verstehen, integriert multimodale KI diese verschiedenen Datentypen, um den Kontext und die komplexe Bedeutung von Informationen zu erfassen. In der Wirtschaft kann sie beispielsweise ein besseres Verständnis der Kundenmeinungen ermöglichen, indem sie sowohl analysiert, was sie sagen, als auch wie sie es durch Tonfall oder Gesichtsausdruck ausdrücken.

Traditionelle KI-Systeme sind typischerweise unimodal, was bedeutet, dass sie sich auf einen Datentyp spezialisieren, wie z.B. Text oder Bilder. Sie können große Datenmengen schnell verarbeiten und Muster erkennen, die menschliche Intelligenz nicht erfassen kann. Allerdings haben sie ernsthafte Einschränkungen. Sie sind unempfindlich gegenüber dem Kontext und weniger geschickt im Umgang mit ungewöhnlichen und mehrdeutigen Situationen.

Deshalb geht multimodale KI einen Schritt weiter, indem sie Modalitäten integriert. Dies ermöglicht ein tieferes Verständnis und viel interessantere Interaktionen zwischen Menschen und KI.

Was kann multimodale KI tun?

Heutzutage entwickelte künstliche Intelligenzmodelle verwenden die folgenden Paare von Modalitäten:

• von Text zu Bild – solche multimodale KI kann Bilder basierend auf textuellen Eingaben erstellen; dies ist eine Kernfähigkeit des berühmten Midjourney, des von OpenAI entwickelten DALL-E 3, das im Browser als Bing Image Creator verfügbar ist, der fortschrittlichen Stable Diffusion oder dem jüngsten Tool in der Familie, Ideogram, das nicht nur textuelle Eingaben versteht, sondern auch Text auf einem Bild platzieren kann:

Quelle: Ideogram (https://ideogram.ai)

Multimodale KI-Modelle sind auch in der Lage, textuelle Hinweise und das Bild, von dem sie “inspiriert” sind, gleichzeitig zu verfolgen. Sie bieten noch interessantere, präziser definierte Ergebnisse und Variationen der erstellten Bilder. Dies ist sehr hilfreich, wenn man nur eine leicht andere Grafik oder ein Banner möchte oder ein einzelnes Element, wie z.B. eine Kaffeetasse, hinzufügen oder entfernen möchte:

Quelle: Ideogram (https://ideogram.ai)

• Von Bild zu Text – künstliche Intelligenz kann viel mehr als nur Text in einem Bild zu erkennen und zu übersetzen oder ein ähnliches Produkt zu finden. Sie kann auch ein Bild in Worte beschreiben – wie Midjourney, wenn man den /describe-Befehl eingibt, Google Bard und das Salesforce-Modell (hauptsächlich verwendet, um automatisierte Produkt- und Bildbeschreibungen auf E-Commerce-Seiten zu erstellen),

Quelle: HuggingFace.co (https://huggingface.co/tasks/image-to-text)

• von Stimme zu Text – multimodale KI ermöglicht auch Sprachbefehle in Google Bard, wird jedoch am besten von Bing Chat sowie ChatGPT dank seiner hervorragenden Whisper-API durchgeführt, die mit der Erkennung und Aufzeichnung von Sprache sowie der Interpunktion in mehreren Sprachen zurechtkommt, was unter anderem die Arbeit internationaler Kundenserviceteams erheblich erleichtern kann, sowie eine schnelle Transkription von Meetings und die Übersetzung von Geschäftsgesprächen in andere Sprachen in Echtzeit vorbereiten kann,
• von Text zu Stimme – das Tool von ElevenLabs ermöglicht es uns, jeden Text, den wir wählen, in eine realistisch klingende Äußerung umzuwandeln, und sogar “Stimmenklonen”, wobei wir der KI ihren Klang und Ausdruck beibringen können, um eine Aufnahme eines beliebigen Textes in einer Fremdsprache für Marketing oder Präsentationen an ausländische Investoren zu erstellen, zum Beispiel,
• von Text zu Video – die Umwandlung von Text in Video mit einem sprechenden Avatar ist unter anderem in den Tools D-ID, Colossyan und Synthesia möglich,
• von Bild zu Video – die Generierung von Videos, einschließlich Musikvideos, aus Bildern und textuellen Hinweisen wird heute bereits von Kaiber ermöglicht, und Meta hat die baldige Veröffentlichung des Make-A-Video-Tools angekündigt,
• Bild und 3D-Modell – dies ist ein besonders vielversprechendes Gebiet der multimodalen KI, das von Meta und Nvidia angestrebt wird, das die Erstellung realistischer Avatare aus Fotos sowie den Bau von 3D-Modellen von Objekten und Produkten durch Masterpiece Studio (https://masterpiecestudio.com/masterpiece-studio-pro), NeROIC (https://zfkuang.github.io/NeROIC/), 3DFY (https://3dfy.ai/) ermöglicht, mit dem beispielsweise ein zweidimensionales prototypisiertes Produkt mit einer anderen Seite zur Kamera zurückgebracht werden kann, eine schnelle 3D-Visualisierung aus einer Skizze eines Möbelstücks erstellt werden kann oder sogar eine textuelle Beschreibung:

Quelle: NeROIC (https://zfkuang.github.io/NeROIC/resources/material.png)

• von Bild zu Bewegung im Raum – diese Modalität lässt multimodale KI über Bildschirme hinaus in den Bereich des Internets der Dinge (IoT), autonomer Fahrzeuge und Robotik vordringen, wo Geräte dank fortschrittlicher Bildverarbeitung präzise Aktionen ausführen können und auf Veränderungen in der Umgebung reagieren können.

Es gibt auch Experimente mit multimodaler KI, die Musik in Bilder übersetzt, zum Beispiel (https://huggingface.co/spaces/fffiloni/Music-To-Image), aber lassen Sie uns die Geschäftsanwendungen der multimodalen KI näher betrachten. Wie spielt sich das Thema Multimodalität in den beliebtesten KI-basierten Chatbots, ChatGPT und Google Bard, ab?

Multimodalität in Google Bard, BingChat und ChatGPT

Google Bard kann einfache Bilder beschreiben und wurde seit Juli 2023, als es in Europa erschien, mit Sprachkommunikation ausgestattet. Trotz der variablen Qualität der Ergebnisse der Bilderkennung war dies bisher eine der Stärken, die die Lösung von Google von ChatGPT unterscheidet.

BingChat kann dank der Verwendung von DALL-E 3 Bilder basierend auf Text- oder Sprachaufforderungen generieren. Während es die vom Benutzer angehängten Bilder nicht in Worten beschreiben kann, kann es sie modifizieren oder als Inspiration nutzen, um neue Bilder zu erstellen.

Seit Oktober 2023 begann OpenAI auch, neue Sprach- und Bildfunktionen in ChatGPT Plus, der kostenpflichtigen Version des Tools, einzuführen. Diese ermöglichen es, ein Sprachgespräch zu führen oder ChatGPT ein Bild zu zeigen, sodass es weiß, was Sie fragen, ohne es in genauen Worten beschreiben zu müssen.

Zum Beispiel können Sie ein Foto eines Denkmals während einer Reise machen und ein Live-Gespräch darüber führen, was daran interessant ist. Oder ein Bild des Inneren Ihres Kühlschranks machen, um herauszufinden, was Sie mit den verfügbaren Zutaten zum Abendessen zubereiten können, und nach einem Schritt-für-Schritt-Rezept fragen.

3 Anwendungen der multimodalen KI im Geschäft

Das Beschreiben von Bildern kann beispielsweise helfen, den Warenbestand basierend auf CCTV-Kameradaten vorzubereiten oder fehlende Produkte in den Regalen des Geschäfts zu identifizieren. Die Objektmanipulation kann verwendet werden, um die im vorherigen Schritt identifizierten fehlenden Waren aufzufüllen. Aber wie können multimodale Chatbots im Geschäft eingesetzt werden? Hier sind drei Beispiele:

1. Kundenservice: Ein multimodaler Chat, der in einem Online-Shop implementiert ist, kann als fortschrittlicher Kundenservice-Assistent dienen, der nicht nur Textfragen beantwortet, sondern auch Bilder und Fragen, die per Stimme gestellt werden, versteht. Zum Beispiel kann ein Kunde ein Bild eines beschädigten Produkts machen und es an den Chatbot senden, der helfen wird, das Problem zu identifizieren und eine geeignete Lösung anzubieten.
2. Analyse sozialer Medien: Multimodale künstliche Intelligenz kann Social-Media-Beiträge analysieren, die sowohl Text als auch Bilder und sogar Videos enthalten, um zu verstehen, was Kunden über ein Unternehmen und seine Produkte sagen. Dies kann einem Unternehmen helfen, das Kundenfeedback besser zu verstehen und schneller auf deren Bedürfnisse zu reagieren.
3. Schulung und Entwicklung: ChatGPT kann verwendet werden, um Mitarbeiter zu schulen. Zum Beispiel kann es interaktive Schulungen durchführen, die sowohl Text als auch Bilder enthalten, um den Mitarbeitern zu helfen, komplexe Konzepte besser zu verstehen.

Die Zukunft der multimodalen KI im Geschäft

Ein großartiges Beispiel für zukunftsorientierte multimodale KI ist die Optimierung der Geschäftsprozesse eines Unternehmens. Zum Beispiel könnte ein KI-System Daten aus verschiedenen Quellen analysieren, wie Verkaufsdaten, Kundendaten und Daten aus sozialen Medien, um Bereiche zu identifizieren, die verbessert werden müssen, und mögliche Lösungen vorzuschlagen.

Ein weiteres Beispiel ist der Einsatz multimodaler KI zur Organisation der Logistik. Die Kombination von GPS-Daten, dem Lagerstatus, der von einer Kamera gelesen wird, und Lieferdaten zur Optimierung der Logistikprozesse und zur Senkung der Geschäftskosten.

Viele dieser Funktionen werden bereits heute in komplexen Systemen wie autonomen Fahrzeugen und Smart Cities angewendet. Sie waren jedoch in kleineren Geschäftskontexten nicht in diesem Umfang vorhanden.

Zusammenfassung

Multimodalität, oder die Fähigkeit, mehrere Datentypen wie Text, Bilder und Audio zu verarbeiten, fördert ein tieferes kontextuelles Verständnis und eine bessere Interaktion zwischen Menschen und KI-Systemen.

Eine offene Frage bleibt, welche neuen Kombinationen von Modalitäten in naher Zukunft existieren könnten. Zum Beispiel, wird es möglich sein, Textanalysen mit Körpersprache zu kombinieren, sodass KI die Bedürfnisse der Kunden antizipieren kann, indem sie deren Gesichtsausdrücke und Gesten analysiert? Diese Art von Innovation eröffnet neue Horizonte für Unternehmen und hilft, den sich ständig ändernden Erwartungen der Kunden gerecht zu werden.

Wenn Ihnen unsere Inhalte gefallen, treten Sie unserer aktiven Community auf Facebook, Twitter, LinkedIn, Instagram, YouTube, Pinterest, TikTok.