Des universitaires de Stanford développent Street View

Jul 19, 2023

Un trio d'informaticiens de Stanford a développé un modèle d'apprentissage profond pour géolocaliser les images Google Street View, ce qui signifie qu'il peut généralement déterminer où une photo a été prise simplement en la regardant.

Le logiciel fonctionnerait suffisamment bien pour battre les meilleurs joueurs de GeoGuessr, un jeu de devinettes de localisation en ligne populaire.

Cela ne veut pas dire que le modèle des universitaires peut déterminer exactement où une photo de rue a été prise ; au lieu de cela, il peut déterminer de manière fiable le pays et faire une bonne estimation, dans un rayon de 15 miles de l'emplacement correct, la plupart du temps – bien que le plus souvent, il soit plus loin que cette distance.

Dans un article pré-imprimé intitulé « PIGEON : Predicting Image Geolocations », Lukas Haas, Michal Skreta et Silas Alberti décrivent comment ils ont développé PIGEON.

Il s'agit d'un modèle de géolocalisation d'images dérivé de leur propre modèle CLIP pré-entraîné appelé StreetCLIP. Techniquement parlant, le modèle est complété par un ensemble de géocellules sémantiques – des zones délimitées, similaires aux comtés ou aux provinces, qui prennent en compte des détails spécifiques à la région comme le marquage routier, la qualité des infrastructures et les panneaux de signalisation – et des ProtoNets – une technique de classification utilisant seulement quelques exemples.

PIGEON a récemment affronté Trevor Rainbolt, l'un des meilleurs joueurs de GeoGuessr connu simplement sous le nom de Rainbolt sur YouTube, et a gagné.

Les experts dans leur article affirment que PIGEON est « le premier modèle d'IA qui bat systématiquement les joueurs humains dans GeoGuessr, se classant parmi les 0,01 % des meilleurs joueurs ». Quelque 50 millions de personnes ou plus ont joué à GeoGuessr, nous dit-on.

Alberti, doctorant à Stanford, a déclaré à The Register : « C'était un peu comme notre petit concours Deep Mind », une référence à l'affirmation de Google selon laquelle son système DeepMind AlphaCode peut écrire du code comparable à celui des programmeurs humains.

​​Je pense que c'était la première fois que l'IA battait le meilleur humain du monde à GeoGuessr

"​​Je pense que c'était la première fois que l'IA battait le meilleur humain du monde à GeoGuessr", a-t-il déclaré, soulignant que Rainbolt avait triomphé lors de deux matchs précédents avec des systèmes d'IA.

La géolocalisation d'images est devenue un art parmi les enquêteurs open source, grâce au travail d'organismes de recherche journalistique comme Bellingcat. Le succès de PIGEON montre qu'il s'agit également d'une science qui a d'importantes implications en matière de confidentialité.

Alors que PIGEON a été formé pour géolocaliser des images Street View, Alberti pense que cette technique pourrait faciliter la géolocalisation de presque toutes les images, du moins en extérieur. Il a déclaré que lui et ses collègues avaient essayé le système avec des ensembles de données d'images qui n'incluaient pas d'images Street View et que cela fonctionnait très bien.

Alberti a raconté une discussion avec un représentant d'une plateforme de renseignement open source qui a exprimé son intérêt pour sa technologie de géolocalisation. "Nous pensons qu'il est probable que notre méthode puisse également être appliquée à ces scénarios", a-t-il déclaré.

Lorsqu'on lui a demandé si cette technologie rendrait encore plus difficile la dissimulation de l'endroit où les images ont été capturées, Alberti a répondu que si vous vous trouvez dans une rue, la géolocalisation deviendra très probable car il y a tellement de signes révélateurs de l'endroit où vous vous trouvez.

"On m'a demandé l'autre jour 'et si vous étiez hors de la rue, quelque part au milieu de la nature ?'", a-t-il déclaré. "Même là-bas, vous avez de nombreux signes indiquant où vous pourriez être, comme la disposition des feuilles, le ciel, la couleur du sol. Ceux-ci peuvent certainement vous indiquer dans quel pays ou dans quelle région d'un pays vous vous trouvez", mais vous ne pourrez probablement pas localiser la ville en question. Je pense que les photos intérieures resteront probablement très difficiles à localiser.

Je pense que les photos intérieures resteront probablement très difficiles à localiser

Alberti a déclaré que l'une des principales raisons pour lesquelles PIGEON fonctionne bien est qu'il s'appuie sur le CLIP d'OpenAI comme modèle de base.

"Auparavant, de nombreux autres modèles de géolocalisation entraînaient simplement le modèle à partir de zéro ou utilisaient un modèle basé sur ImageNet. Mais nous avons remarqué qu'en utilisant CLIP comme modèle de base, il a simplement vu beaucoup plus d'images, a vu beaucoup plus de petits détails, et est donc bien mieux adapté à la tâche.