Présenté en 1999 par la société Fast Search and Transfert (FAST), le moteur de recherche se basait sur les travaux de Tor Egge, alors chercheur à l'Université des sciences de Norvège. En reprenant le modèle d'Inktomi, AllTheWeb souhaitait monnayer son index auprès de sociétés tierces. Lycos fut notamment l'un de ses partenaires.
Autrefois l'un des rivaux majeurs de Google, AllTheWeb disposait d'une base de données plus souvent mise à jour, davantage de fonctionnalités avancées avec une interface utilisateur personnalisable. Fast Search and Transfert revendit son moteur à la firme Overture en février 2003, laquelle fut à son tour rachetée par Yahoo! l'année suivante. En 2008, la société FAST, alors spécialisée dans les outils de recherche en entreprise, fut reprise par Microsoft pour 1,2 milliard de dollars.
Après avoir adopté l'index de Yahoo Search, le moteur devint un véritable laboratoire de tests au sein duquel les ingénieurs y déployaient leurs nouvelles fonctionnalités. Ainsi, au mois de novembre 2010, Stephen Hood, ancien chef produit chez Yahoo! Search, expliquait avoir penché sur la recherche instantanée dès 2005 avec les équipes de AllTheWeb. « C'était astucieux, vraiment très utile et potentiellement révolutionnaire. Et c'était quasiment la même chose de Google Instant », déclarait-il.
Malgré cet avant-gardisme, à partir du 4 avril prochain l'ensemble des pages de AllTheWeb pointeront vers le moteur de Yahoo, qui rappelons-le, embarque désormais l'agorithme de Bing outre-Atlantique et bientôt en Europe.
