10 Faktoren damit Ihr Chatbot ein Erfolg wird (Teil 2)

Erfolgsfaktor 6: Chatbots müssen Antworten geben und nicht bloß Dokumente finden.

Manche Chatbots sind nichts anderes als modifizierte Suchmaschinen: Neben der Sucheingabe wird ein Avatar angezeigt und das Suchergebnis wird eingeleitet mit: „Folgende Informationen habe ich für Sie gefunden“.

Tatsächlich stellen wir in unseren Projekten fest, dass die Fähigkeit eines Chatbots, konkret auf Fragen reagieren zu können ein wesentlicher Vorteil zu anderen Verfahren darstellt. Erst dadurch wird der Chatbot zum Erfolgsmodell.

Natürlich ist ein Chatbot nicht in der Lage, sich Antworten selbst auszudenken. Chatbots sind im Prinzip große Schränke mit vielen Schubladen. In jeder Schublade ist eine vorbereitete Antwort. Die Intelligenz des Chatbots besteht darin, die richtige Antwort zu finden.

Bei vielen Chatbots werden die Antworten umfangreich, aber nicht präzise gehalten, damit sie zu möglichst vielen Fragen eine Antwort geben. Somit kann die Antwort bei jeder Frage gefunden werden und die Verwaltung des Chatbots wird einfacher. Das ist aber keine Antwort!

Während der Corona Chatbot live war konnten wir feststellen, dass Informationen, die erst nach mehreren Benutzerinteraktionen in einem Dokument zu finden waren, von der Mehrzahl der User als „nicht gefunden“ bewertet wurden. Nachdem die Information direkt passend zur Frage angezeigt wurde, stieg die „gefunden-Rate“ auf fast 100% an.

Das heißt: Muss der/die Anwender:in zwei oder dreimal klicken, um die Antwort zu finden, bricht er/sie die Suche ab. Schlechte Nachrichten für FAQs, die ja oft nach diesem Prinzip funktionieren. Und ein deutliches Signal für die Fähigkeiten eines Chatbots, die Informationsversorgung von Kund:innen und Anwender:innen zu verbessern.

Beim Corona Chatbot gibt ein Dokument bei verschiedenen Fragestellungen unterschiedliche Antworten. Es wird sozusagen der Teil des Dokumentes priorisiert für die Antwort verwendet, der sich direkt auf die Frage bezieht. Damit bleiben die Redaktionsaufwände niedrig und dennoch erhalten die Anwender:innen direkte Antworten auf ihre Fragen.

Erfolgsfaktor 7: Chatbots müssen zurückfragen können, wenn sie die Frage nicht einordnen können

Anwender:innen fragen oft nicht so, dass ein Chatbot oder auch ein Mensch die Frage direkt verstehen kann. In der Mehrzahl der Fälle führt eine Frage zu Rückfragen, bis das Thema verstanden ist und die Antwort gegeben werden kann.

Ein typisches Beispiel ist die im November 2021 recht häufig gestellte Frage, was im Falle eines positiven Tests zu tun ist. Hier muss zurückgefragt werden, wie die Frage gemeint ist.

Die Fähigkeit eines Chatbots zum Führen eines Dialoges wird zur Fähigkeit, dem/der Fragenden mit Rückfragen weiterzuhelfen und seine Frage zu präzisieren. Diese Fähigkeit steigert den Komfort wie auch die Informationsqualität für den/die Anwender:in und macht den Chatbot als Informationsmedium aus.

Sie möchten mehr über den Chatbot des Landratsamt Ludwigsburg erfahren? Dann lesen Sie jetzt unsere kostenfreie Case Study!

Erfolgsfaktor 8: Chatbots bieten die Möglichkeit von Anwender:innen zu lernen

Die Qualität eines Informations- und Serviceangebotes wird von Anwender:innen beurteilt. Entsprechend wichtig ist es für den Anbieter und Betreiber, zuzuhören.
Chatbots laden Anwender:innen dazu ein, ihre Anfragen in einigermaßen vollständigen Sätzen zu formulieren. Dabei verstehen Chatbots nicht jedes Detail. Dennoch ist es außerordentlich hilfreich, die komplette Userinteraktion sehen zu können und den Anwenderbedarf in ganzen Sätzen lesen zu können.

Die Gesprächsprotokollen sind deutlich aussagekräftiger als die Auswertung von Suchstatistiken von Suchmaschinen.

Suchen Anwender:innen in einer Suchmaschine nach „Fahrgemeinschaft“, dann ist das weniger aussagekräftig als wenn die Suche heißt: „Darf ich mit meiner Schwester in einem Auto sitzen“ oder „muss man im Auto Maske tragen“.
Die Benutzeranfragen zu analysieren hilft dabei, das eigene Informations- und Serviceangebot permanent zu optimieren.
Beispielsweise wurde früh kommuniziert, dass Corona-Tests tagesaktuell zu sein haben. Sofort kamen die Fragen auf, was denn „tagesaktuell“ heißt. 24 Stunden? Oder von dem konkreten Tag? Wie bekomme ich dann für einen Termin um 7:00 Uhr morgens einen „tagesaktuellen“ Test?
Sobald die Frage bekannt ist, kann das Redaktionsteam auf die Frage reagieren und die Antworten entsprechend anpassen.

Erfolgsfaktor 9: Feedback wird erst durch probieren nutzbar

Chatbots können Redakteur:innen und Betreiber:innen verschiedenes Feedback liefern:

• Sie teilen dem/der Betreiber:in mit, zu welchen Fragen Antworten gefunden wurden und welche Fragen in’s Leere liefen.
• Sie können herausfinden, wie oft Anwender:innen selber eine Frage formulieren oder sich durch vorgegebene Themenbereiche klicken.
• Sie können ermitteln, mit welchen Antworten Anwender:innen zufrieden waren und welche Antworten Anwender:innen nicht so zufriedenstellend fanden.

Daher ist die permanente Analyse des statistischen Kundenfeedbacks wichtig. Am Besten bietet ein Chatbot eine automatische Überwachung dieser Werte, so dass im Notfall tages- oder sogar stundengenau reagiert werden kann. Chatbots bieten vielfältige Analysemöglichkeiten, allerdings verstehen sie nicht, WARUM ein:e Anwender:in unzufrieden mit einer Antwort ist.

Um das Nutzerfeedback verstehen zu können muss man die Anwenderinteraktion nachvollziehen. So wurde beispielsweise häufig nach den aktuellen Inzidenzen gefragt. Der Chatbot verweist dann auf das Dashboard des Landkreises Ludwigsburg. Doch waren viele Anwender:innen mit der Antwort unzufrieden. Beim Nachtesten stellte sich heraus, dass das Dashboard auf mobilen Geräten schlecht lesbar war. Das Problem konnte schnell durch einen Link auf die mobile Dashboard-Version behoben werden.

Erfolgsfaktor 10: Die Persönlichkeit des Chatbots und das Entstehen einer Beziehung

Chatbots, deren Inhalte nicht aktuell sind, werden von Anwender:innen seltener besucht. Der Corona Chatbot der Stadt Ludwigsburg hingegen wurde aufgrund der sich häufig ändernden Sachverhalte und Regelungen zu einer regelmäßig besuchten, zuverlässigen Informationsquelle.

Um nach fast zwei Jahren Einsatzzeit wiederkehrende Anwender:innen zu halten, dürfen diese nicht enttäuscht werden. Entsprechend wichtig ist es, realistische Erwartungen zu setzen.

Während in der Literatur die „Persönlichkeit“ eines Chatbots eine große Rolle spielt, versuchten wir in diesem Fall den Chatbot deutlich als „Maschine“ und als erweiterte „Suchmöglichkeit“ statt einer menschenähnlichen Persönlichkeit auftreten zu lassen. Der Grund dafür war, dass viele Anwender:innen dem Chatbot sehr persönliche (Mein Name ist…., ich möchte gerne als Helfer im Impfzentrum arbeiten. Sie erreichen mich unter….) oder auch sehr komplexe Fragen stellten.

Da der Chatbot keinen Zugriff auf personenbezogene Daten hat, kann er entsprechende Fragen grundsätzlich nicht beantworten. Um seine Funktionen deutlicher zu machen, wurde seine Vorstellung und Kommunikation immer mehr dem Bild eines sachlichen, unpersönlichen Automaten angepasst.

Im Laufe der Zeit stellten sich Anwender:innen und Chatbot immer besser aufeinander ein und die Anwender:innen lernten, wie man mit dem Chatbot interagiert. Das lässt sich auch an der durchschnittlichen Länge der Anfragen ablesen. Lag die durchschnittliche Länge einer Anfrage im August 2020 noch im Bereich von 34 Zeichen, so lag sie im November 2021 nur noch bei 24 Zeichen. Die durchschnittliche Dialoglänge ist dabei noch aussagekräftiger. Im August 2020 betrug diese durchschnittlich 150 Sekunden und reduzierte sich im November auf nur noch 40 Sekunden. Die Quote, der vom Chatbot beantworteten Fragen, stieg dabei von ca. 52% auf 56%. Die Anwender:innen hatten gelernt mit dem Chatbot umzugehen und wussten, dass es in manchen Fällen genügt, Stichworte zu fragen. So wurden aus Anwender:innen und Chatbot im Laufe der Zeit ein erfolgreiches Team:

Im August 2020 waren es insgesamt 1.259 Anfragen – im November 2021 19.752! Eine Steigerung auf das 16-fache!

Fazit

In der Vergangenheit sind viele Unternehmen mit unrealistischen Erwartungen an Chatbots herangegangen, was zum großen Teil auf übertriebene Marketingaussagen und den damit verbundenen Hype zurückzuführen war. Aber wie dieser und unser erster Beitrag gezeigt haben, liegt der Schlüssel zum Erfolg nicht nur in der Technologie, sondern auch in der kontinuierlichen Analyse und Optimierung, gepaart mit Erfahrung und der Einhaltung von Best Practices.

Sie möchten Ihr eigenes Chatbot-Projekt starten oder Ihr bestehendes erfolgreicher machen? Nehmen Sie Kontakt auf!

Sie möchten mehr über den Chatbot des Landratsamt Ludwigsburg erfahren? Dann lesen Sie jetzt unsere kostenfreie Case Study!