Après avoir testé ce mécanisme pendant un mois, Microsoft expliquait qu'au travers des résultats basés sur 1000 participants, Bing s'était avéré deux fois plus pertinent que Google. Pour Microsoft, l'objectif était de casser les habitudes des gens se rendant systématiquement sur Google.com pour effectuer une requête. Cependant, Ian Ayres, un professeur de droit de l'université de Yale, lève plusieurs doute sur la véracité de cette étude utilisée depuis comme outil publicitaire.
L'homme explique tout d'abord que l'échantillon de 1000 participants ne peut être représentatif de l'ensemble des internautes et souligne que la presse ayant rapporté cette étude mettait en doute les résultats et les affirmations de l'équipe de Bing. En outre Microsoft n'a pas publié les détails du rapport. Enfin, il estime que Microsoft a soufflé aux participants certains termes spécifiquement indexés sur Bing.
M. Ayres explique avoir ouvert un nouveau projet sur Amazon Mechanical Turk, une plateforme permettant à une société de reverser une compensation financière aux internautes acceptant de se prêter à des études en ligne. Entre le 23 janvier et le 1er mars, l'étude (PDF) du professeur avait rassemblé 1000 participants. Après avoir collecté les résultats des internautes sur différents types de termes, il estime que Google obtient une majorité de votes entre 55-57% contre 35-39% pour Bing.
Sur son blog officiel, l'équipe de Bing Microsoft affirme qu'un échantillon de 1000 personnes est suffisant pour ce type d'étude et souligne que les tests du professeur articulés sur un nombre similaire de participants serait donc tout autant réfutables. Microsoft ajoute que les résultats de "Bing It On" n'ont pas été enregistrés dans leur globalité et ne sont pas les fruits d'un test conduit dans un environnement contrôlé. Microsoft ajoute que les participants n'ont pas donné leur consentement sur la publication de chacune de leurs requêtes. Enfin, concernant d'éventuels termes spécifiquement mieux référencés dans Bing pour la mise en œuvre des tests, Matt Wallaert, spécialiste de la psychologie du comportement au sein de Bing, affirme que des termes relatifs à l'actualité récente seraient alors peut-être tout simplement mieux référencés que sur Google.
