Le framework Java Hadoop, spécialisé pour l'usage intensif des données dans une infrastructure de cloud computing, fut largement développé par les ingénieurs de Yahoo. Plusieurs équipes du portail font notamment usage de la technologie, par exemple pour la lutte contre le spam, le choix des actualités sur la page d'accueil en fonction de la navigation passée de l'internaute. ou la pertinence des publicités retournées selon les goûts personnels des utilisateurs.
De Facebook à Apple en passant par AOL, HP, Linkedin, eBay, Amazon ou IBM, plusieurs sociétés ont adopté ce dispositif distribué en open source depuis le mois de juin 2009. Selon Rob Bearden, partenaire au sein de Benchmark Capital, la firme de Sunnyvale pourrait mettre en place une stratégie visant à concurrencer Cloudera, une jeune pousse proposant des services de support pour le déploiement de la technologie Hadoop auprès des grands comptes.
D'autant que selon le Wall Street journal, l'infrastructure ne serait pas simplement réservée aux sociétés technologiques mais commence également à intéresser d'autres secteurs et notamment celui de la finance. Ainsi Visa fait usage de Hadoop pour la détection de fraude. Par ailleurs, le site de rencontre eHarmony s'appuierait également sur ce calcul distribué pour retourner les membres célibataires en fonction de leurs affinités respectives. En somme, il s'agit alors d'un marché en pleine croissance et aux possibilités quasi-illimitées.
James Kobielus, analyste au cabinet Forrester Research, estime d'ailleurs que d'ici cinq ans le marché autour de Hadoop pourrait générer plusieurs milliards de dollars. Le créateur initial du projet Doug Cutting travaille désormais au sein de Cloudera, une société formée par Amr Awadallah, ancien ingénieur de Yahoo! La firme de Sunnyvale a cependant retenu la plupart des autres chercheurs et notamment Eric Baldeschwieler, chargé d'encadrer les ingénieurs.
