D'après les tests effectués par Webroot, qui développe rappelons-le un logiciel commercial concurrent de Windows Defender, l'application de Microsoft laisserait passer 84% des logiciels espions et autres malwares. Et le responsable technique de Webroot de déclarer : « Ce n'est certainement pas le genre de performance que les utilisateurs attendent ». Le panel de test mis en oeuvre par Spy Sweeper comportait une série de troyens, logiciels publicitaires, moniteurs systèmes et autres programmes indésirables fort répandus. Sur ce panel, Spy Sweeper détectait 100% des menaces.
Webroot revient également sur la fréquence des mises à jour de signatures pour Windows Defender, mises à jour qui apparaissent tous les 7 à 10 jours, un délai trop élevé selon Eschelbeck. Enfin, l'éditeur souligne que Windows Vista n'intègre aucune protection anti-virale native, quand son logiciel Spy Sweeper propose un moteur antivirus depuis le mois d'octobre dernier après la signature d'un accord de licence avec Sophos.