Sur son blog officiel, la société explique qu'après avoir parcouru plus d'un million de kilomètres sur autoroutes, les travaux se sont ensuite portés en centre ville, pour des calculs de précision. Chris Urmson, directeur chargé du projet, affirme que certaines situations pouvant sembler complexes pour l'œil humain restent toutefois très prévisibles pour l'algorithme d'un ordinateur, lequel est capable de calculer simultanément plusieurs paramètres.
Dans la vidéo ci-dessous, Google explique que le dispositif est capable de reconnaitre les zones en construction et notamment les cônes orange de marquage pouvant altérer la trajectoire de la voie. La voiture autonome est en outre capable de repérer les obstacles, tels que les voitures garées sur le bord de la route et débordant sur la chaussée. Outre la gestion du trafic sur un carrefour, le système de Google est capable de repérer un cycliste, notamment lorsqu'il lève son bras pour indiquer son chemin, ou lorsqu'il se trouve à l'arrière du véhicule et s'apprête à le dépasser par la droite.