Loup Ventures a publié les résultats d'un test visant les assistants numériques. Pour les obtenir, les chercheurs ont posé des questions à Siri, Google Assistant, Alexa, et Cortana sur smartphone, puis ont comparé leurs conclusions au précédent test datant d'avril 2017.
Siri semble se bonifier avec le temps, l'assistant d'Apple a compris 99% des requêtes, et a répondu à 78,5% correctement. C'est nettement mieux que lors du test d'avril 2017, où seulement 66,1% des réponses étaient exactes. Alors que Loup Ventures examinait des méthodologies similaires lors des tests d'enceintes connectées en février, les chercheurs expliquent que cela n'est pas pertinent de comparer les résultats car les cas d'utilisation diffèrent considérablement entre assistants numériques et haut-parleurs intelligents.
Loup Ventures classe chaque assistant numérique selon deux critères : A-t-il compris ce qui était demandé ? et A-t-il fourni une réponse correcte ? Les questions provenaient de cinq catégories, comprenant la locaisation comme Où est le café le plus proche ?, commerce Pouvez-vous me commander des fleurs ?, navigation Comment puis-je me rendre à la gare la plus proche ?, information Qui a gagné la coupe du monde de football ?, et demande générale Rappelle-moi d'appeler Steve à 14h aujourd'hui.
Les questions ont été posées à Siri sur un iPhone sous iOS 11.4, Google Assistant sur un Pixel XL, Alexa et Cortana sur iOS. Siri c'est démarquée sur les demandes générales en répondant correctement à. 90 % des questions, surpassant les autres assistants sur ce point.
La firme de Mountain View survole le débat de la tête et des épaules, excepté sur les demandes générales. En effet, Google Assistant a répondu correctement à 85,5% des 800 questions posées, et les a toutes comprises. Alexa a répondu correctement à 61,4% des questions et en a mal compris 13, tandis que Cortana était bon dernier, avec 52,4%, et 19 questions incomprises.
Entre les deux test, Siri améliore son score de 13 %, Loup Ventures indiquant être impressionné par la vitesse à laquelle la technologie évolue pour la plupart des assistants. Les chercheurs ont ensuite expliqué que bon nombre des problèmes rencontrés l’année dernière avaient été éliminés par des améliorations du traitement du langage naturel et de la connectivité inter-appareils. Enfin, Loup aventures se dit pressé d'essayer Siri sur iOS 12, avec la possibilité d'automatiser certaines fonctions, et dont l'arrivée est attendue pour la rentrée.
