Le concours PWN2KILL a donc remis le couvert en s'attaquant à 15 antivirus proposés dans le marché. Au menu, Avast en version gratuite mais aussi AVG, Avira, BitDefender, Dr.Web, F-Secure, G-Data, Kaspersky, McAfee, Microsoft AV, Nod 32, Norton, Sophos, Safe 'N' Sec et Trend Micro sont passés au crible.
Chaque participant disposait donc d'un ordinateur fonctionnant sous Windows 7 avec un simple compte utilisateur. Chaque machine disposait ainsi de quinze machines virtuelles avec un antivirus installé. Les étudiants en informatique avaient alors l'objectif d'exploiter un programme malveillant contenu dans sa propre clé USB. Le scénario étant alors monté comme si un utilisateur lambda se connectait à son PC, a priori sécurisé, avec une clé vérolée.
Bilan, aucun antivirus n'a été en mesure de détecter plus de deux attaques. Pour autant une même attaque a été détectée par tous les antivirus, signe que toutes les solutions de sécurité fonctionnent identiquement. Eric Filiol, Directeur de la recherche de l'ESIEA commente ces résultats et s'indigne que « Si quasiment toutes les attaques se sont révélées efficaces, certaines sont malheureusement d'une simplicité alarmante. L'un des participants, avec un simple code de trois lignes, reprenant une technique vieille de 10 ans a réussi à contourner tous les antivirus. Cela prouve que la plupart des éditeurs ne font pas de veille technologique et scientifique sérieuse ».
Il poursuit, « Tous les antivirus sont à égalité dans la nullité. Ces résultats prouvent que la détection de signatures virales n'est plus suffisante ». Les résultats des tests d'intrusions sont disponibles sur le site du concours et sur le tableau ci-contre. L'année prochaine, le concours s'attaquera aux firewalls. D'autres idées reçues pourraient encore bien tomber...