Test en continu : les suites de protection déclenchent-elles sans cesse de fausses alertes ?

Reconnaissance entre les amis et les ennemis

Une solution de protection doit parfaitement différencier les amis des ennemis. Le laboratoire d’AV-TEST a donc vérifié pendant 14 mois (de janvier 2015 à février 2016) dans quelle mesure les solutions de sécurité y parviennent. Au total, 19 suites pour particuliers et 14 solutions pour entreprises ont été soumises au test.

Les testeurs ont défini quatre points de test, lesquels sont formulés de façon scientifique comme suit dans leurs protocoles pour le test d’utilisation (ou usability en anglais) :

- Messages d’avertissement erronés ou blocages en visitant des sites Internet
- Détections par erreur de logiciels normaux comme logiciels malveillants pendant une analyse du système
- Avertissements erronés d’actions déterminées pendant l’installation et l’utilisation de logiciels normaux
- Blocages erronés d’actions déterminées pendant l’installation et l’utilisation de logiciels normaux

Voici comment s’est déroulé le test

Seuls des fichiers sûrs, des sites Internet inoffensifs ou des applications non dangereuses connues ont été utilisés dans toutes les parties du test. Dans le monde informatique, il est en effet plus facile de déterminer le nombre de fichiers et d’applications sans dangers que celui des programmes infectés. Voilà pourquoi toutes les solutions utilisent des listes blanches, à savoir des bases de données où sont consignées toutes les données sûres et sans dangers avec leurs empreintes digitales et valeurs de hachage. Si un fichier n’est pas clairement identifié par le programme, alors ce dernier demande à son cloud si le fichier a déjà été enregistré. Si ce n’est pas le cas, ce fichier est contrôlé puis catalogué comme étant inoffensif ou dangereux.

Afin d’obtenir un résultat de test réellement significatif concernant les faux positifs, le volume de données sûres testé doit être important. Le laboratoire a parfaitement satisfait à cette exigence :

Environ 7 000 sites Internet ont été consultés et 7,7 millions de fichiers ont été testés pour chaque solution durant un délai de 14 mois. De plus, 280 applications ont été exécutées à deux reprises et les testeurs ont noté si le logiciel a déclenché une fausse alerte ou s’il a même bloqué l’application.

Le kit de 7,7 millions de fichiers d’essai inclut naturellement tous les nouveaux fichiers des programmes populaires comme Windows 7 à 10 et Office. Si un logiciel de sécurité identifiait mal un nouveau fichier système de Windows, alors les conséquences pourraient être fatales. Voilà pourquoi ces fichiers essentiels sont toujours actualisés dans le kit d’essai utilisé pour les tests.

Logiciels pour particuliers : certains font un sans-faute

Malgré les hautes exigences du test avec ses nombreuses données, certaines applications ont réussi à ne déclencher absolument aucun faux positif. C’est le cas d’Avira Antivirus Pro et de Kaspersky Internet Security.

Intel Security, Bitdefender, AVG et Microsoft les suivent de près avec moins de 10 fausses alertes lors du test en continu. Mais même les suites de protection en bas du classement n’ont pas fait preuve d’une performance catastrophique lors du test en continu, au contraire.

Les résultats en détail :

- Lors de la consultation de 7 000 sites Internet, il n’y a eu aucun « Message d’avertissement erroné ou blocage en visitant des sites Internet » pendant toute la durée du test.

- « Détections par erreur de logiciels normaux comme logiciels malveillants pendant une analyse du système » : le plus mauvais résultat est celui d’Ahnlab V3 Internet Security avec 98 fichiers mal identifiés pour 7,7 millions de cas testés. Cela représente un taux de 0,001 % qui reste acceptable même s’il peut encore être amélioré.

- « Avertissements erronés d’actions déterminées pendant l’installation et l’utilisation de logiciels normaux » : 11 des 19 programmes n’ont déclenché aucun faux positif. Lors des 280 tests, 6 solutions ont tiré la sonnette d’alarme par erreur de 1 à 3 fois. Seule la suite de K7 Computing a émis 10 fausses alertes au total.

- « Blocages erronés d’actions déterminées pendant l’installation et l’utilisation de logiciels normaux » : ici aussi, la plupart des 19 programmes font bonne figure. Tandis que 7 solutions ne bloquent rien inutilement, 11 suites de protection ont bloqué de 1 à 6 applications inoffensives. Comodo Internet Security Premium a réalisé 29 blocages.

Logiciels d’entreprise : seul Kaspersky est irréprochable

Lors du test de 14 solutions de protection pour les entreprises, quasiment tous les produits ont démontré qu’ils différenciaient presque parfaitement les amis des ennemis. Seules les deux solutions de Kaspersky, Endpoint Security et Small Office Security, ont réalisé un sans-faute lors du test. Elles n’ont cependant pris part qu’à 6 des 7 séries d’essais.

Les solutions de Sophos, Intel Security et Bitdefender ont fait moins de 10 erreurs au total durant les 14 mois du test. Cependant, tous les autres produits n’ont réalisé qu’un très faible nombre d’erreurs au vu du volume de fichiers testés.

Les résultats en détail :

- Lors de la consultation de 7 000 sites Internet, il n’y a eu aucun « Message d’avertissement erroné ou blocage en visitant des sites Internet » pendant toute la durée du test des logiciels de protection pour les entreprises.

- « Détections par erreur de logiciels normaux comme logiciels malveillants pendant une analyse du système » : le plus mauvais résultat pour tous les tests est celui de F-Secure avec seulement 49 fichiers mal identifiés pour 7,7 millions de fichiers testés. C’est bien, mais pas aussi bien que la solution de Sophos qui n’a fait que 2 erreurs d’identification.

- « Avertissements erronés d’actions déterminées pendant l’installation et l’utilisation de logiciels normaux » : lors des 280 tests respectifs, seulement 4 des 14 programmes n’ont déclenché que 1 ou 2 fausses alertes. Ce résultat va ravir plus d’un administrateur au sein des entreprises.

- « Blocages erronés d’actions déterminées pendant l’installation et l’utilisation de logiciels normaux » : cette catégorie présente également de très bons résultats de test. Après 280 tests pour chaque programme, le bilan est le suivant : 8 sans-fautes et 6 résultats comptant de 1 à 6 blocages erronés. À titre comparatif : le plus mauvais résultat des solutions pour particuliers était de 29 !

Les solutions professionnelles affichent moins de faux positifs

Si l’on compare les deux tests de logiciels de protection pour les entreprises et les particuliers, on constate que les solutions professionnelles émettent en moyenne moins de fausses alertes. Cependant, on remarque aussi que les fabricants proposant des produits pour ces deux groupes obtiennent les meilleurs résultats de test dans les deux cas. Cela concerne les produits de Kaspersky, Bitdefender, Microsoft, Trend Micro, Symantec et F-Secure.

Au total, nous pouvons toutefois certifier que tous les produits font preuve d’une bonne qualité en termes d’utilisation. Certes, le laboratoire retire toujours des points en cas de faux positifs, mais d’un point de vue objectif, il critique ainsi une performance de très haut niveau.

Certains fabricants vont se mordre les doigts lorsqu’ils verront quels programmes sont responsables des alertes erronées. Nous avons rassemblé ces derniers dans les tableaux Top 15 et Top 30. Il s’agit de programmes connus comme Notepad++, Yahoo Messenger ou WinRAR. Ce ne sont pas des raretés mais des logiciels standards qu’il faut connaître. Étant donné la faible quantité de faux positifs, les fabricants devraient rapidement venir à bout de ces soucis dans les prochaines versions des solutions.