Nur Smalltalk – warum ChatGPT im Service versagt…

703.000.000 Ergebnisse listet Google auf, wenn man derzeit nach dem Stichwort ChatGPT sucht. Tendenz stark steigend. Aber: wird es Google in 2 Jahren überhaupt noch geben? Experten wie z.B. der Gmail-Erfinder Paul Buchheit prognostizieren bereits das Ende des so profitablen Geschäftsmodells von Google. Die Suchleiste von Google würde durch das Chat-Feld von ChatGPT ersetzt werden. Die Suchmaschinenwelt wird gerade revolutioniert, denn auch Microsoft setzt für Bing nun auf die Integration von ChatGPT.  

Schauen Sie sich die Aufzeichnung unseres Xpert-Talks zum Thema „ChatGPT als Gamechanger in der Digitalisierung“ an.

Noch vor einem halben Jahr war das KI-basierte Sprachmodell nur Fachleuten bekannt. Seit einigen Wochen macht der vermeintlich intelligente Textgenerator Furore und beschäftigt eine breite und oft begeisterte Öffentlichkeit – von Analysten über Universitäten, Journalisten, Marketiers bis hin zu Schülern, die sich Aufsätze oder Hausarbeiten erstellen lassen. Die Ergebnisse werden häufig als erstaunlich hochwertig betrachtet – auf den ersten Blick. 
Wir schauen hinter die Kulissen des Hypes und erproben die Fähigkeiten des dialogbasierten Chatbots für den Kundenservice.

Eloquenz statt Intelligenz: ChatGPT antwortet an der Realität vorbei

Auf die Frage, was ChatGPT besser als gängige Chatbots kann, antwortet die Maschine ziemlich selbstbewusst …

ChatGPT-3 ist ein fortschrittliches KI-Modell, das auf einer enormen Menge an Daten trainiert wurde und bietet einige Vorteile gegenüber einem normalen Chatbot:

• Natürliche Sprachverarbeitung: ChatGPT-3 verfügt über eine fortgeschrittene Technologie der natürlichen Sprachverarbeitung, die eine humanähnlichere Interaktion ermöglicht
• Höhere Intelligenz: ChatGPT-3 verfügt über ein tieferes Verständnis des Kontextes und kann daher komplexere Anfragen und Probleme besser verstehen und lösen
• Größere Wissensbasis: ChatGPT-3 wurde auf einer enormen Menge an Daten trainiert, was es ihm ermöglicht, eine Vielzahl an Fragen und Problemen zu beantworten
• Multitasking-Fähigkeit: ChatGPT-3 kann mehrere Aufgaben gleichzeitig ausführen, wie z.B. Textgenerierung, Übersetzung, Frage-Antwort-Systeme usw.
• Flexibilität: ChatGPT-3 kann für eine Vielzahl von Anwendungen eingesetzt werden, einschließlich Kundenservice, E-Commerce, Informationssuche und mehr
  

Allerdings zeigen sich die Grenzen des Chatbots recht bald – und lassen mich als Anwender ernüchtert zurück. Auf die Frage, wer Bernd Richter sei, folgt die Antwort:

Bernd Richter ist ein deutscher Schauspieler. Er ist vor allem für seine Rollen in den Filmen „Das Boot“ und „Die unendliche Geschichte“ bekannt. Richter hat auch in vielen deutsche Fernsehserien wie „Der Alte“ und „Polizeiruf 110“ mitgewirkt.

Das klingt zunächst sehr informativ – und richtig. Allerdings ist nicht Bernd Richter der berühmte Schauspieler, sondern sein Namenskollege Ralf Richter. Offensichtlich nimmt es das System mit den Vornamen nicht so genau und liefert dadurch ein falsches Ergebnis.

Auf die Frage „Haben wir morgen Sonne“ kommt eine völlig nichtssagende allgemeine Antwort:

Das lässt sich am heutigen Tag nicht mit Sicherheit sagen. Aufgrund der Wettervorhersagen können wir nur vermuten, dass es morgen voraussichtlich sonnig sein wird. Am besten informieren Sie sich morgen Vormittag noch einmal über die aktuellen Wetterbedingungen. 

Im Vergleich dazu ist eine Abfrage bei Google ungleich präziser, da Google z.B. automatisch den Standort berücksichtigt. Oder die Frage, wie viele PS denn der ID3 von Volkswagen habe – eigentlich Alltagswissen-, sofort meldet ChatGPT zurück: 150 PS. 

Auch hier belehrt uns Google eines Besseren: Es sind in Wahrheit 150 kW, also umgerechnet 204 PS. Interessanter Weise kennt ChatGPT das richtige Verhältnis zwischen kW und PS – aber wendet es offensichtlich im Kontext nicht an.
Ein letztes Beispiel: Die Frage nach den aktuellen Corona-Regeln bzgl. Maske-Tragen in Öffentlichen Verkehrsmitteln beantwortet das System mit folgendem Hinweis: 

Ich bin ein KI-Modell von OpenAI und habe keine Informationen über aktuelle Ereignisse nach 2021.

Eine Fülle weiterer Fragen, auf welche die Textmaschine keine Antwort weiß oder halluziniert, lässt mich ratlos zurück. Und bestärkt mich, dass man ChatGPT lediglich – mit Abstrichen – für das Verfassen von Alltagstexten, also politischen Reden, Business-Strategie-Texten oder Marketingtexten verwenden kann. Wenn generierte Texte für Bachelor-Arbeiten an reale Beispiele heranreihen, sagt das weniger über die Qualität der KI, sondern mehr über das Niveau der bislang in diesem Themenumfeld eingereichten Arbeiten aus.

Einsatz im Kundenservice nicht möglich

Wie aber sehen mögliche Einsatz-Szenarien von ChatGPT im Kundenservice aus? Wenn wir das System nach etwaigen Defiziten in diesem Bereich fragen, listet der Bot immerhin einige Aspekte selbstkritisch auf: 

Obwohl ChatGPT-3 ein fortschrittliches KI-Modell ist, hat es auch einige Schwächen im Kundenservice:

• Fehlererkennung: ChatGPT-3 ist ein maschinelles Lernmodell und kann daher Fehler machen, insbesondere bei komplexen Anfragen oder in unklaren Kontexten.
• Empathie: ChatGPT-3 kann nicht wie ein menschlicher Kundenservice-Mitarbeiter auf Emotionen reagieren und kann daher manchmal unangemessen oder unhilfreich erscheinen.
• Datenschutz: ChatGPT-3 verarbeitet personenbezogene Daten und es müssen Datenschutzmaßnahmen getroffen werden, um sicherzustellen, dass diese Daten sicher verwaltet werden.
• Schulung: ChatGPT-3 muss entsprechend trainiert werden, um optimale Leistung im Kundenservice zu erreichen, was Zeit und Ressourcen erfordert.
• Kosten: Die Implementierung und Nutzung von ChatGPT-3 kann teurer sein als die Nutzung anderer Chatbot-Technologien.

Es ist wichtig zu beachten, dass ChatGPT-3 ein Werkzeug ist und dass seine Leistung von der Art und Weise, wie es implementiert und verwendet wird, abhängt. Es ist wichtig, die Stärken und Schwächen von ChatGPT-3 im Kontext der spezifischen Anforderungen des Kundenservices zu bewerten, um zu entscheiden, ob es die beste Lösung ist.

Im Kundenservice gibt es ein ehernes Gesetz: Die Antwort oder Lösung muss immer verlässlich und qualitätsgesichert sein. Daher gibt es keine Service-Situation, in der ChatGPT irgendwie funktionieren würde. Das liegt daran, dass generative Transformer wie ChatGPT keine Antworten generieren, sondern Texte. 

Der Nutzen von ChatGPT im Service ist sehr eingeschränkt: Beispielsweise hat „Käpsele“, der Chatbot auf der USU-Website, diesen als „Small-Talk-Bot“ integriert. Er kann Fragen zum Alltagswissen liefern und ergänzt damit unterhaltsam die konkrete qualitätsgesicherte Service-Unterstützung des USU-Bots. 

Erste Kunden erproben ebenfalls ChatGPT in Zusammenarbeit mit dem USU Chatbot und trainieren die Technologie z.B. mit IT-Service-Daten. Bei spezialisierten Datenbanken bzw. Datenquellen kann dies tatsächlich nützlich sein, weil die Fehlerbreite u.U. geringer wird und die Antwortqualität steigen kann. Aber das Grundproblem bleibt: Die Aussagen sind – da sie eine statistische Reihenfolge beinhalten – nicht vorhersehbar und nicht verlässlich.

Im IT Service ist es möglich, damit zu arbeiten – nicht aber in anderen Bereichen wie bei einer Lebensversicherung, in der Medizin oder bei einem Automobilhersteller, bei denen es immer auf 100% korrektes Wissen ankommt. 

Hier hat sich die Technologie des USU Chatbot bewährt. Im Gegensatz zu ChatGPT greift er auf eine Wissensdatenbank zurück, grenzt Themen ggf. durch Rückfragen ein und liefert auf dieser Basis qualitätsgesicherte Antworten. Wichtig ist, dass der USU Bot auch Funktionen ausführen kann, also beispielsweise Währungen umrechnen oder Buchungen ausführen. Ein neues Technologie-Konzept vernetzt zudem viele unterschiedliche Fach-Bots in einer Multibot-Architektur. Das System ist dadurch in der Lage, auch komplexe Service-Anfragen zuverlässig zu beantworten.  

Hat ChatGPT eine Zukunft?

Auf absehbare Zeit wird der Inhalt von ChatGPT generierten Texten unverbindlich bleiben – davon bin ich überzeugt. Die Maschine wird in der Regel keine gute Qualität haben, da sie – rückwärtsgewandt – nur Altes und standardmäßig zu Erwartendes liefert. Sie wird keinen Versuchsaufbau für einen mehrfarbigen Laser erklären können, wohl aber eloquent ein betriebswirtschaftliches Strategiepapier zum Besten geben. Wie aber will die Maschine die Einstein'sche Relativitätstheorie formulieren, in der drinsteht, was noch nie jemand gedacht hat. 

Angesichts dieser Defizite überrascht der Hype etwas, denn der Nutzwert – vor allem für den Service-Kunden ist nicht hoch, auch wenn die KI-Eigenschaften der Maschine in der Lage sind, z.B. aus längeren Texten definierte Text-Begriffe herauszufiltern, z.B. Personen, ihre Eigenschaften, Städte etc.

Wie aber kann es weitergehen?  

Vermutlich lohnt es sich, über Sprachverständnis, Sprachfähigkeit und Wissensbasis nachzudenken. Anders als das reine Sprachmodell GPT-3 verbindet beispielsweise LUMINOUS des KI-Startups Aleph Alpha Computervision mit Natural Language Processing (NLP) und beherrscht Sprachverarbeitung im multimodalen Bereich, unter anderem für die automatisierte Bildbeschreibung. 

Als Menschen können wir gut mit Sprache umgehen und achten auf die Zwischentöne. Wenn eine Maschine das noch mit Sprachverständnis und einer Wissensbasis koppeln könnte …  - dann wären verlässliche Aussagen möglich. Eine Maschine, die mit hoher Wahrscheinlichkeit klassifizieren kann, um was es in einer Frage geht, herausfindet, welche Daten sie dafür benötigt, diese sucht und daraus die passende Antwort generiert – das ginge in die richtige Richtung. In diesem Szenario ist es auch denkbar, dass ein Algorithmus die Fähigkeit zur Rückfrage entwickelt. 

Fazit

Der Markt um KI-Sprachmodelle und ihr Potential ist extrem in Bewegung, und beinahe täglich gibt es neue spannende Entwicklungen. Nun hat Google angekündigt, mit Bard einen eigenen KI-Chatbot ins Rennen zu schicken, der immerhin den Vorteil haben soll, auch aktuelle Inhalte verwerten zu können. Auf jeden Fall wird der Hype um ChatGPT die Verfügbarkeit von großen Sprachmodellen verändern. Wer immer auf eine Klassifikation, auf Entity-Extraction oder sonstige Sprachtechnologien zugreifen will, der kann das nun für „einen Appel und ein Ei“. Was bis vor kurzem noch exklusiv und teuer war, ist nun frei oder sehr kostengünstig verfügbar. Auch das hat das Potential, den Markt zu verändern. Man darf gespannt sein. Aber festzuhalten bleibt außerdem: Gerade im Service kann ChatGPT seine Qualitäten nicht ausspielen. Und das ist vielleicht auch eine gute Nachricht. 

Schauen Sie sich die Aufzeichnung unseres Xpert-Talks zum Thema „ChatGPT als Gamechanger in der Digitalisierung“ an.