Die Google Action ‘Länder Profi’ - Teil 2/2

Im ersten Teil haben wir gelernt, wie wir bei der Erstellung von unserem Länder-Profi-Game als Team vorgegangen sind. Nun möchten wir noch einen detaillierteren Blick auf die **eingesetzte Technik hinter Voice-Games ** geben.

Für die meisten von euch, welche den Google Assistant verwenden, werden die Standardantworten bekannt sein. Entweder antwortet der Google Assistant mit reinen Textausgaben auf dem Screen oder grafischen Elementen wie Listen und Karten.

Doch der Google Assistant kann noch wesentlich mehr. Mit einem "Interactive Canvas" lassen sich beliebige Oberflächen gestalten. Das heisst, ihr könnt das Design nach euren Wünschen umsetzen, inklusive interaktiver Animationen.

Was steckt hinter interaktiven Voice-Games?

Das “Interactive Canvas” ist nichts anderes als eine eigene Web-App welche in eine Action integriert werden kann. Wir können dabei auf HTML/JS/CSS zurückgreifen und somit die Benutzeroberfläche komplett nach unseren Wünschen gestalten. Es ist sogar möglich UI-Frameworks wie Angular, React oder Vue.js einzusetzen.

Zur Interaktion mit der Action stellt Google die Interactive Canvas Library zur Verfügung, welche in die Web-App integriert werden kann. Diese ermöglicht es uns dann Informationen von der Action entgegenzunehmen (z.B. ein Aufruf des Benutzers) wie auch neue Eingaben zu tätigen.

Der Ablauf eine Benutzerinteraktion sieht dann wie folgt aus:

1. Der Benutzer tätigt eine Aussage. z.B. “Turn the screen blue”.
2. Das Smart Display nimmt die Aussage entgegen, wandelt diese in Text um und leitet den Text an unsere “Conversational Action” weiter.
3. Basierend auf der Aussage des Benutzers hat die “Conversational Action” eine Antwort zusammengestellt, welche sie an die Web-App, also das “Interactive Canvas” senden möchte. Diese wird an das Smart Display übertragen.
4. Das Smart Display leitet die Antwort über die “Interactive Canvas Library” an unsere Web-App weiter.
5. Unsere Web-App nimmt falls nötig basierend auf den neuen Infos Änderungen an der Oberfläche vor und stellt diese auf dem Smart Display dar.

Was sind Einschränkungen bei Google Assistant Games?

Das “Interactive Canvas” ist aktuell nur für Actions zugelassen, welche unter eine der folgenden Kategorien fallen:

• Spiele
• Storytelling
• Bildung

Somit ist es leider nicht möglich mit dem interactive Canvas die perfekte Benutzeroberfläche für funktionsorientierte Sprachassistenten zu gestalten. Das heisst, eine Action wie der SBB-Sprachassistent für Fahrplanabfragen kann nicht mit diesen speziell interaktiven Elementen umgesetzt werden, solange diese nicht als "Game" kategorisiert wurde.

Zusätzlich gibt es noch einige Einschränkung bei den Möglichkeiten in der Web-App. z.B. können keine Daten lokal gespeichert werden (Keine Cookies, kein local storage, …). Eine vollständige Auflistung der technischen Einschränkungen findet ihr hier.

Fazit zu Voice-Games auf Google

Interactive Canvas bieten ein sehr mächtiges Werkzeug, um die Oberfläche die dem Benutzer dargestellt wird optimal zu gestalten. Die Einschränkung auf nur einen sehr kleinen Teil von Action-Typen macht es jedoch für sehr viele Anwendungsfälle nicht nutzbar. Dies ist suboptimal, da gerade die Standard-Komponenten, welche man sonst einsetzen kann, sehr begrenzt in deren Möglichkeiten sind. Dadurch müssen häufig kleine Workarounds gefunden werden, um Informationen darzustellen. Interactive Canvas wäre hier ebenso die optimale Lösung.

Wir sind gespannt, ob Google das Interactive Canvas für weitere Action Typen zur Verfügung stellen wird. Solltest du Fragen haben zum Thema “Interactive Canvas” oder hast du dir schon einmal überlegt, dein Produkt oder deine Marke anhand eines innovativen Voice-Games zu promoten? Gerne beraten wir dich dazu und freuen uns über deine Kontaktaufnahme.