Warum ist Testen für den Erfolg von Voicebots zentral?

Voice- und Chatbot Technologie

Letztes Update am 29. September 2021

Voice- und Chatbot Technologie icon

An der Schweizer Textanalyse-Konferenz SwissText durfte ich im vergangenen Juni Paixon repräsentieren. In der Präsentation geht es um das automatisierte Testen von Voicebots und den NLP Modellen, die den Voicebots ihr Sprachverständnis geben. Worauf Voice Verantwortliche achten müssen, möchte ich hier zusammenfassen.

Warum NLP-Testverfahren bei Voice Assistants?

Das Thema Testen wird oft als etwas Mühsames gesehen und der Aufwand für die Automatisierung von Tests wird oft gescheut. Aber nur automatisierte Tests sind wirklich wiederholbar. Das ist extrem wichtig bei Systemen mit künstlicher Intelligenz. Da diese Systeme nicht einfach erweitert werden können sondern neu trainiert werden. Es treten oft Effekte auf, die ein Mensch nicht vorhersehen kann anhand der Änderungen im Training. Das heisst, für Voicebots ist es viel schwieriger bis unmöglich vorauszusagen wo ein Problem auftritt nach einer Änderung. Darum müssen Tests für Voicebots einfach wiederholbar sein.

Was sind die Best-Practices beim Testen von Sprachassistenten?

Wir haben verschiedene Sprachassistenten, u. A. für die SBB und Localsearch entwickelt mit entsprechenden Tests. Die automatisierten Tests haben uns nicht nur geholfen nachhaltig neue Funktionalitäten zu entwickeln ohne existierende Funktionalitäten zu beeinträchtigen. Sondern, wir konnten auch Muster feststellen was für Änderungen oft zu unbeabsichtigten Fehlern an anderen Orten führten.

Insbesondere fanden wir heraus, dass Dialogflow (ein NLP Tool) sensibel auf die grammatische Struktur der Sätze (und zwar mehr als auf die verwendeten Wörter!) reagiert. Konkret heisst das, es reicht nicht neue Trainingsdaten für eine neue Funktionalitäten hinzuzufügen. Denn wir müssen sicherstellen, dass auch ähnliche grammatische Konstruktionen für bestehende Funktionalitäten noch funktionieren. In der Präsentation gehe ich detailliert auf zwei Beispiele ein und wie wir diese effizient in den Griff bekommen haben.

Die zentrale Aussage der Präsentation ist: Ohne automatisierte Tests kann kein anspruchsvoller Voicebot je stabil funktionieren. Das liegt in der Natur der künstlichen Intelligenz.

Egal ob du deinen Sprachassistenten weiter entwickeln möchtest oder du gerade am Anfang stehst, kontaktiere uns für weitere Unterstützung. Wir bringen das Knowhow und die Erfahrung mit, dich von der Konzeption, Umsetzung bis zur Weiterentwicklung bestens zu unterstützen.


David Klaper Foto

David Klaper


David ist Sprachtechnologie-Experte und ein erfahrener Softwareentwickler. Dank seiner hervorragenden Ausbildung kann er mächtige Technologie von purem Hype unterscheiden und findet für jeden Kunden die passende Lösung.


Teile diesen Artikel: