Photo2Search permettrait d'effectuer une recherche à partir d'une photo prise à l'aide d'un téléphone. Une fois photographiée, la devanture d'un restaurant ou la façade d'un monument seraient ainsi capables de livrer leurs secrets. Il suffirait d'envoyer la photo au service, pour se voir retourner une page de résultats semblable à celle que l'on retrouve dans les moteurs de recherche. Si le service est évoqué sur le site Recherche & Développement de Microsoft, il est loin d'être finalisé et aucune date de lancement n'a été communiquée.
Une image vaut largement quelques mots pour une recherche, à partir du moment où le service est capable de l'analyser correctement et de l'utiliser pour fournir des résultats pertinents. « Vous voyez un objet dans le monde réel et vous souhaitez trouver les informations qui le concernent dans le monde numérique - par exemple, son prix sur le Web, des commentaires d'utilisateurs ou des sites qui lui sont consacrés. Il y a plusieurs solutions pour cela : vous pouvez utiliser un code barre, ou une identification par fréquence radio. Mais utiliser une image de l'objet est la méthode la plus commode à employer », indique Xing Xie, l'un des ingénieurs en charge du projet (photo).
La voix est l'une des pistes également étudiées par les géants de l'Internet pour remplacer les peu pratiques Claviers de téléphone en matière de recherche sur Internet (voir la brève : Google brevette un système de recherche vocale).