Comment Amazon Go fonctionne et ce que l’on sait du système  »Just Walk Out ».

 

Amazon à ouvert son premier magasin à Seattle mardi. L’événement a déjà été largement commenté et à fait le tour du monde en moins de 48 heures (8 000 000 de vues Youtube dès la première journée) et je ne serai donc pas long sur la forme et le concept ‘’Amazon Go’’. Mais en fouillant j’ai réussi à  »dénicher » l’indénichable, et notamment via USA Today, c’est à dire comment cela marche et quelles sont les technologies utilisées … *

En gros comment cela est possible car la réponse facile de  »par des fréquences RFID » et déjà largement étayée par les médias est insuffisante. Car en fait  »que nenni » aucune fréquence ni Tag RFID apparemment … et l’on ne peut qu’être admiratif face à l’ingéniosité d’un système qui serait une combinaison de plusieurs technologies en  »multicouches » regroupées compilées croisées en temps réel et traitées par le Cloud Computing Amazon, avec une petite touche d’Echo et d’Alexa… Un système breveté déposé en 2014 ! sous le nom de  »Just Walk Out! ».

D’abord pourquoi ‘’GO’’ ?

#1 dès l’entrée tu te checkes via l’appli Amazon Go (réservé jusqu’à début 2017 aux collaborateurs du siège pour béta test), #2 tu fais tes ‘’courses’’ en rayon# 3 tu repars avec tes produits dans passer en caisse… ce qui ne veut pas dire ‘’sans payer’’. Immédiatement en sortant le compte Prime du client est débité, et un ‘’e-receipt’’ lui est envoyé sur son smartphone. ‘’GO !’’

Je ne reviendrais pas sur le concept la vraie question pour moi maintenant étant ‘’comment ça marche? et il ne faut pas compter sur Amazon pour nous répondre et donner des détails à fortiori cette semaine… sur non pas sur LA mais sur LES technologies embarquées par ce concept révolutionnaire.

Parce qu’il s’agit bien d’une combinaison de plusieurs technologies dont Amazon avait déjà parlé depuis 3 ans…. et donné des indications. Et c’est en fouillant l’un des endroit les plus protégé du monde en l’occurrence le bureau de dépôt de brevets de Seattle et les archives journalistiques que l’on trouve sur le sujet des débuts de réponse. Et, en autres, c’est sur USA Today que j’ai trouvé la réponse la plus complète.

Ca marche comme ça.. non ce n'est pas une image extraite de Tintin On à marché sur la Lune, mais bien le dessin du brevet Amazon Just Walk Out...

Ca marche comme ça.. non ce n’est pas une image extraite de Tintin On à marché sur la Lune, mais bien le dessin du brevet Amazon Just Walk Out…

La réponse serait le système JUST WALK OUT !! un brevet qui  »tag le client » , déposé en 2014 et publié en 2015 et qui comprendrait : 

– des caméras à reconnaissance ‘’faciale’’ scannant et analysant des ‘’détail’’ physiques du client et qui irait jusqu’à la couleur de la peau de sa main lors de la prise en main du produit …

– des micros qui analysent le son du déplacement du client dans le magasin et son approche des rayons … un son spécifique à chacun (notamment le bruit de ses pas … et les temps entre deux sons… Un  »tag sonore » en fait.

– des capteurs ‘’sensitifs’’ et caméras à reconnaissance d’objets en rayon qui détectent les mouvement de prise en main, remise en rayon…

– de l’infra rouge qui calcule les écarts de poids en rayons …

– des algorithmes qui analysent et fusionnent toutes ces données émises par ces capteurs.

Le tout étant traité par le service Cloud Computing et l’assistant numérique ALEXA… et Echo pour  »écouter » et qui confirme là aussi que le web  »ambiant » peut nous réserver encore bien des surprises. 

Il ne s’agit pas de la réponse définitive sur ce qui existe réellement dans le magasin de Seattle mais en tout cas comme le déclare USA Today, ce brevet donne un éclairage à ce qu’il pourrait s’y trouver.

Personnellement je ferai l’analogie de combinaisons de technos et d’un brassage de données comparable à celles embarquées pour les voitures autonomes. Mais là ce n’est pas un objet ou une voiture qui est autonome par rapport à son environnement et capable de l’analyser pour se déplacer seul. Ici c’est le magasin qui est autonome et capable d’analyser le client dans ses déplacements, gestes, réactions, sons etc… l’inverse quoi.

USA TODAY By Karl Gelles and Ramon Padilla, USA TODAYUSA TODAY By Karl Gelles and Ramon Padilla, USA TODAY
USA TODAY By Karl Gelles and Ramon Padilla, USA TODAYUSA TODAY By Karl Gelles and Ramon Padilla, USA TODAY
USA TODAY By Karl Gelles and Ramon Padilla, USA TODAYUSA TODAY By Karl Gelles and Ramon Padilla, USA TODAYUSA TODAY By Karl Gelles and Ramon Padilla, USA TODAY
USA TODAY By Karl Gelles and Ramon Padilla, USA TODAYUSA TODAY By Karl Gelles and Ramon Padilla, USA TODAYUSA TODAY By Karl Gelles and Ramon Padilla, USA TODAY

USA TODAY By Karl Gelles and Ramon Padilla, USA TODAY

Regardons en image la vidéo captée sur ce brevet :

Chaque client qui rentre dans le magasin est virtuellement ‘’étiqueté’’ comme aime à le dire USA Today. Etiqueté grâce à son smartphone et l’appli Amazon GO. Le check smartphone / borne d’entrée sera le seul geste de ‘’connexion’’ a Amazon effectué par le client dans son parcours. Dès lors qu’il est checké, il est relié à son code client unique Amazon.

Dès lors les caméras de surveillance scannent le client et le suit dans tous ses déplacement in store et les temps d’arrêt en face des rayons via des caméras ‘’situationnelles’’ au plafond en allée, et la prise en main du produit (ou la repose en rayon) via des caméras ‘’on shelve’’ situées en haut des gondoles. Ces caméras étant reliées à des logiciels de reconnaissance d’image, à une BDD qui reconnait le produit et l’inventaire du stock.

Le brevet dit ‘’ lorsque la main de l’utilisateur est retirée de l’emplacement de l’inventaire (stock en rayon) une ou plusieurs images peuvent être capturées de la main et du produit. Ces images peuvent être comparées afin de déterminer si le produit a été retiré ou rajouter à l‘inventaire. 

Attention … la couleur et le grain de la peau peuvent servir de référence de comparaison afin de bien s’assurer que c’est le bon produit qui est dans la bonne main de la bonne personne … ce qui éviterait la confusion si deux personnes prennent le même produit au même moment sur des étagères adjacentes. L’analyse colorielle de la couleur de la peau à cet instant précis de la prise en main du produit semblant être le critère le plus fiable….

Enfin énorme…. Amazon GO utilise l’écholocation inversée … c’est-à-dire la localisation du client et l’analyse de son parcours par le son qu’il émet. Et c’est là que le système Alexa prend toute son importance. Il va détecter et reconnaître un son spécifique à la personne – par ex le son de ses pas ou d’un frottement spécifique de tissus – et le traduire en données numériques qui vont se cumuler aux autres déjà appropriées au code client dans le cloud computing.

Irréaliste, mais le réseau de microphones de ce dispositif ‘’Echo’’ disposé dans le magasin vont pouvoir  déterminer où est le client, le suivre et identifiant également le temps écoulé entre les signaux sonores reçus par chaque microphone… ce qu’Amazon appelle l’Echolocalisation inversée … une sorte de sonar qui suit un émetteur  »tagué ».

L’infrarouge est également de la fête. Lui est chargé de déterminer la pression des produits situés en rayon via des capteurs de charges situés directement sur les étagères… en gros calculer la différence de charge des tablettes avant et après la prise en main du produit par le client … chaque produit ayant en référence son propre poids dans la BDD Amazon GO. Une information de plus qui se croisent avec celles enregistrées par les caméras ‘’on shelves’’.

Un concept donc génial reste à savoir sa rentabilité… et s’il fonctionne dans la vraie vie, c’est ce que déterminera ce premier test à Seattle. Forrester Brendan Witcher déclarant à l’analyse de ce brevet ‘’qu’il ne reste plus à Amazon qu’à savoir s’il peut le rendre rentable et déployable’’.

Ce qui est étonnant ici c’est que l’on imaginait les évolutions retail plutôt du côté des fréquences et de minuscules RFID ou des tags numériques… envoyant un signal ‘’je suis ici’’ comme le détaille le journal USA Today, et ce que j’appellerai sa traçabilité dynamique. Ce qui permettrait de suivre le produit de sa prise en main au passage en caisse… Mais visiblement le cout unitaire de ces TAG RFID (environ 5 cents unitaires) mais surtout le coût de pose et de gestion de ces codes est rédhibitoire … et ce qui semble avoir motivé Amazon à privilégier la reconnaissance d’image et la détection de mouvement.

Au-delà de son ingéniosité ce système est riche de données collectées à un instant crucial dans le parcours celui de la prise en main des produits (First Moment of Truth comme l’aime à Dire Procter & Gamble) et donc une mine d’or… ‘’étiqueter’’ un client à l’entrée du magasin, puis suivre tous ces mouvement à l’intérieur du magasin au-delà de la constitution du panier est d’une richesse infinie… ‘’OK ça fait un peu Big Brother mais si cela est utile pour également ‘’aider le client’’ c’est gagnant gagnant’’ avoue David Hewitt, du cabinet conseil SapientRazorfish.

Avant de conclure : ‘’et même si la technologie est chère à mettre en œuvre effectivement, Amazon aurait créer ce qui se fait de mieux et pourra ainsi apprendre et ensuite appliquer ces enseignement et nouvelles connaissance à tout ce qu’il fait, afin de lui donner encore plus de sens.

Vous souhaitez-avoir plus d'informations ?

Contactez-nous