Partager c’est aimer!

Une histoire des brevets d’assistants automatisés programmables par l’utilisateur

Google a obtenu cette semaine un brevet portant spécifiquement sur les assistants automatisés programmables par l’utilisateur. C’est l’un des nombreux brevets sur la façon dont Google intègre cette fonctionnalité dans les appareils qu’il crée. Il y en a quelques autres qui ont été récemment accordées et dont je n’ai pas encore parlé.

J’ai écrit quelques articles sur d’autres, et il est logique d’en partager un certain nombre au début de cet article, afin que vous puissiez y jeter un coup d’œil si vous le souhaitez.

27 novembre 2019 – Résultats de recherche de l’assistant automatisé Google
19 décembre 2019 – L’assistant Google et le traitement contextuel du langage naturel
2 mars 2020 – Comment un assistant automatisé peut répondre aux requêtes des enfants
5 mai 2021 – Réponses aux requêtes en langage naturel
17 décembre 2021 – Mise à jour de Google Mum
26 janvier 2022 – Dialogue entre l’homme et l’ordinateur chez Google
2 février 2022 – Contenu non sollicité dans le dialogue homme-ordinateur

La plupart de ces brevets de «dialogues homme-ordinateur» lorsqu’ils parlent de traitement du langage naturel et de programmes sont appelés «assistants automatisés».

Ils les appellent également un certain nombre d’autres noms tels que:

• « Chatbots »
• « Assistants personnels interactifs »
• « Des assistants personnels intelligents »
• « Assistants vocaux personnels »
• « Agents conversationnels »
• Etc.

Ce nouveau brevet nous indique que les humains peuvent fournir des commandes, des requêtes et des requêtes (« requêtes ») tout en utilisant un langage naturel de forme libre qui comprend des énoncés vocaux convertis en texte, puis traités et saisis en langage naturel de forme libre.

Les assistants automatisés effectuent une variété de tâches, tout en répondant à un certain nombre de commandes canoniques prédéterminées (auxquelles les tâches sont mappées). Ces tâches incluent :

• Commander des articles (par exemple, de la nourriture, des produits, des services, etc.)
• Lecture de médias (par exemple, musique, vidéos)
• Modifier une liste de courses
• Effectuer le contrôle de la maison (par exemple, contrôler un thermostat, contrôler les lumières, etc.)
• Répondre à des questions
• Réservation de billets
• Ainsi de suite

Cela me rappelle ce que j’ai écrit sur le premier brevet Siri et comment il allait être un assistant intelligent, dans le post du 19 janvier 2018 – Demande de brevet Siri d’Apple. Il pourrait être très utile d’avoir un assistant qui pourrait aider à faire toutes ces choses.

Traitement automatique du langage naturel et assistant automatisé programmable par l’utilisateur

Comme la plupart des brevets, celui-ci commence par identifier un problème qu’il tente de résoudre. Il pose ce problème de la manière suivante :

Alors que l’analyse du langage naturel et le traitement sémantique permettent aux utilisateurs d’émettre de légères variations des commandes canoniques, ces variations peuvent seulement s’éloigner jusqu’à ce que l’analyse du langage naturel et le traitement sémantique soient incapables de déterminer la tâche à effectuer.

Il ajoute quelques points supplémentaires :

1. Gestion de dialogue orientée tâche – malgré de nombreuses avancées en langage naturel et en analyse sémantique, reste relativement rigide
2. Commandes canoniques – Les utilisateurs ignorent ou oublient souvent les commandes canoniques et peuvent être incapables d’invoquer des assistants automatisés pour effectuer de nombreuses tâches dont ils sont capables
3. Ajout de nouvelles tâches – nécessite que les développeurs tiers ajoutent de nouvelles commandes canoniques, et il faut généralement du temps et des ressources aux assistants automatisés pour apprendre les variations acceptables de ces commandes canoniques

Résolution de problèmes à l’aide de dialogues avec un assistant automatisé programmable par l’utilisateur

D’accord. on dirait que les inventeurs du brevet ont regardé des films de copains, avec des acolytes robots, mais cela pourrait fonctionner.

Ce brevet nous parle de techniques permettant aux utilisateurs d’utiliser un dialogue homme-ordinateur basé sur la voix pour programmer des assistants automatisés avec des routines personnalisées, ou « routines de dialogue », qui peuvent ensuite être invoquées pour accomplir une tâche.

Les assistants automatisés peuvent apprendre de nouvelles routines de dialogue en fournissant une entrée en langage naturel de forme libre qui inclut une commande pour effectuer une tâche.

Si les assistants automatisés sont incapables d’interpréter la commande, ils peuvent demander des éclaircissements à l’utilisateur sur la commande.

Des assistants automatisés peuvent inviter les utilisateurs à identifier les emplacements devant être remplis de valeurs afin d’accomplir la tâche.

L’utilisateur peut identifier les créneaux de manière proactive, sans invite de l’assistant automatisé.

L’utilisateur peut fournir, à la demande de l’assistant automatisé ou de manière proactive, une liste énumérée de valeurs possibles pour remplir les créneaux.

L’assistant automatisé peut alors stocker une routine de dialogue qui comprend une correspondance entre la commande et la tâche, et qui accepte, en entrée, des valeurs pour remplir les cases.

L’utilisateur peut invoquer ultérieurement la routine de dialogue en utilisant une entrée en langage naturel de forme libre qui comprend la commande ou une variation syntaxique/sémantique de celle-ci.

L’assistant automatisé peut entreprendre diverses actions une fois que la routine de dialogue est invoquée et que les emplacements de la routine de dialogue sont remplis par l’utilisateur avec des valeurs.

L’assistant automatisé peut transmettre des données indicatives d’au moins les tranches fournies par l’utilisateur, les tranches elles-mêmes et des données indicatives de la commande/tâche, à un système informatique distant.

La transmission peut amener le système informatique à distance à produire une sortie en langage naturel ou d’autres données indicatives des valeurs/emplacements/commande/tâche, à une autre personne.

Cette sortie en langage naturel peut être fournie à l’autre personne de diverses manières, qui peuvent ne pas obliger l’autre personne à installer ou à configurer son propre agent logiciel tiers pour traiter la demande, par exemple via un e-mail, un SMS ou un appel téléphonique automatisé. . Cette autre personne peut alors remplir la tâche.

Exemples de tâches d’assistant automatisé programmables par l’utilisateur envisagées par le brevet

Utilisateur : « Je veux une pizza »
AA : « Je ne sais pas comment commander une pizza »
Utilisateur : « pour commander une pizza, vous devez connaître le type de croûte et une liste de garnitures »
AA : « Quels sont les types de croûte de pizza possibles ?
Utilisateur : « croûte mince ou croûte épaisse »
AA : « quels sont les toppings possibles ?
Utilisateur : « voici les valeurs possibles »
AA : « ok, prêt à commander une pizza ? »
Utilisateur : « oui, offrez-moi une pizza à croûte mince avec une garniture à la tomate »

La commande dans ce scénario est « Je veux une pizza » et la tâche consiste à commander une pizza. Les emplacements définis par l’utilisateur requis incluent un type de croûte et une liste de garnitures.

La tâche de commander la pizza peut être accomplie en fournissant une sortie en langage naturel, par exemple, via un e-mail, un SMS, un appel téléphonique automatisé, etc., à une pizzeria (que l’utilisateur peut spécifier ou qui peut être sélectionné automatiquement, en fonction de distance, notes, prix, préférences connues de l’utilisateur.

Un employé de la pizzeria peut recevoir, via la sortie d’ordinateurs, tels qu’un terminal informatique dans le magasin, le téléphone de l’employé, un haut-parleur dans le magasin, la sortie en langage naturel, qui peut dire quelque chose comme « (je) voudrais pour commander une pizza (crust_style) avec (garniture 1, garniture 2, . . . ).

L’employé de la pizzeria peut confirmer la demande de l’utilisateur, par exemple en appuyant sur « 1 » ou en disant « OK », « J’accepte », etc.

Une fois cette confirmation reçue, l’assistant automatisé de l’utilisateur demandeur peut fournir une sortie de confirmation, telle que « votre pizza est en route ».

La sortie en langage naturel fournie à la pizzeria peut également transmettre d’autres informations, telles que des informations de paiement, l’adresse de l’utilisateur.

Ces autres informations peuvent être extraites de l’utilisateur demandeur lors de la création de la routine de dialogue ou déterminées automatiquement, par exemple sur la base du profil de l’utilisateur.

Le brevet nous dit qu’à un moment donné, un agent logiciel peut interagir avec un assistant automatisé pour prendre et recevoir des commandes. Est-ce l’avenir de services tels que Doordash ?

Avantages de cette approche d’assistant automatisé

De nombreux brevets incluent une section où ils identifient les avantages de l’utilisation du procédé décrit dans le brevet pour résoudre les problèmes qu’ils résolvent, et celui-ci n’est pas différent.

1. Gestion des dialogues basée sur les tâches utilise des commandes canoniques créées et mappées manuellement à des tâches prédéfinies. Cela nécessite que des développeurs tiers créent ces mappages et en informent les utilisateurs. Cela oblige également les utilisateurs à apprendre les commandes canoniques et à s’en souvenir pour une utilisation ultérieure. Les utilisateurs ayant des capacités limitées à fournir des informations pour accomplir des tâches, tels que les utilisateurs souffrant d’un handicap physique et les utilisateurs qui sont engagés dans d’autres tâches (telles que la conduite), peuvent avoir des difficultés à amener les assistants automatisés à effectuer des tâches.
2. Lorsque les utilisateurs invoquent une tâche avec une commande ininterprétable, davantage de ressources informatiques sont nécessaires pour lever l’ambiguïté de la demande de l’utilisateur ou pour obtenir des éclaircissements. En permettant aux utilisateurs de créer leurs propres routines de dialogue qui sont appelées à l’aide de commandes personnalisées, les utilisateurs sont plus susceptibles de se souvenir des commandes et d’être en mesure d’accomplir avec succès et plus rapidement des tâches via des assistants automatisés. Cela pourrait préserver les ressources informatiques qui pourraient être nécessaires pour la désambiguïsation ou la clarification.
3. Routines de dialogue créées par l’utilisateur peuvent être partagés avec d’autres utilisateurs, ce qui permet aux assistants automatisés d’être plus réactifs aux commandes « à longue traîne » d’utilisateurs individuels qui pourraient être utilisées par d’autres.

Ce brevet d’assistant automatisé programmable par l’utilisateur est à :

Assistant automatisé programmable par l’utilisateur
Inventeurs : Mihai Danila et Albry Smither
Cessionnaire : Google LLC
Brevet américain : 1 238 862
Attribué : 1er février 2022
Date de dépôt : 23 août 2019

Abstrait

Les techniques décrites ici permettent aux utilisateurs d’utiliser un dialogue homme-ordinateur basé sur la voix pour programmer des assistants automatisés avec des routines personnalisées, ou « routines de dialogue », qui peuvent ensuite être appelées pour accomplir des tâches.

Dans diverses mises en œuvre, une première entrée en langage naturel de forme libre – qui identifie une commande à mapper sur une tâche et des emplacements devant être remplis avec des valeurs pour accomplir la tâche – peut être reçue d’un utilisateur.

Une routine de dialogue peut être stockée qui comprend un mappage entre la commande et la tâche, et qui accepte, comme entrée, des valeurs pour remplir les créneaux.

Une entrée ultérieure en langage naturel sous forme libre peut être reçue de l’utilisateur pour

(i) invoquer la routine de dialogue sur la base du mappage, et

(ii) pour identifier les valeurs pour remplir les créneaux. Des données indicatives d’au moins les valeurs peuvent être transmises à un ordinateur distant pour l’accomplissement de la tâche.

Assistant automatisé programmable par l’utilisateur en action

Je me suis retrouvé curieux de savoir comment et si Google expérimentait ce processus, alors j’ai cherché et trouvé un article de Verge : Google Assistant peut désormais aider à commander des plats à emporter dans les restaurants en ligne. Comme nous le dit l’article :

Pour utiliser la nouvelle fonctionnalité, vous devez rechercher le restaurant auprès duquel vous souhaitez commander dans l’application Google, puis sélectionner le bouton « Commander en ligne » sur la carte d’informations du restaurant. Après avoir effectué vos sélections d’aliments, vous pouvez marquer dans Google Assistant pour terminer la commande à l’aide de vos informations de contact et de paiement stockées dans Google Pay et Chrome Autofill. L’assistant confirme alors que vous êtes prêt à payer et la commande est passée.

L’article décrit l’assistant automatisé utilisant Google Duplex pour passer des appels réalistes aux entreprises.

Quand je pense à Google offrant l’utilisation de Goog411 comme annuaire téléphonique professionnel gratuit pendant des années afin qu’ils puissent collecter des informations vocales en échange, cette utilisation de l’assistant automatisé pour passer une partie ou la totalité d’une commande de nourriture correspond à ce que Google a fait gratuitement pendant des années. Google travaille sur les problèmes liés à un assistant automatisé programmable par l’utilisateur remplissant les commandes pour les personnes.

C’est en dehors de la recherche directe, mais c’est lié aux recherches en ligne de nourriture et au fait qu’un assistant automatisé termine une commande.

Il existe de nombreux autres brevets récents sur les assistants automatisés, et j’écrirai probablement à leur sujet également. Il est intéressant de voir comment Google développe l’utilisation d’assistants automatisés même maintenant. Je soupçonne qu’il y aura beaucoup plus à venir.

Partager c’est aimer!