2 mois de test avec près de 45 000 virus

Dans la première section du test, le laboratoire contrôle la capacité de protection de toutes les suites. Pour cela, les produits doivent réussir dans un premier temps le test en conditions réelles (real-world test) pendant 2 mois, puis faire leurs preuves lors des tests avec le kit de référence. Alors que le kit de référence contient des maliciels en cours depuis jusqu’à 2 semaines, le laboratoire n’utilise que des virus tout récents lors du test en conditions réelles. Ces programmes malveillants appelés 0-Day sont collectés à partir de sites Internet et d’e-mails en cours depuis quelques heures voire quelques minutes avant le début du test.

Si un bon nombre de produits a réussi ce test assez difficile, certains ont révélé quelques faiblesses. Le tableau affichant les taux de détection le montre nettement.

Les suites d’Avast, Bitdefender (avec 2 versions), Check Point, F-Secure, Kaspersky, Microsoft et Symantec réalisent un parcours sans-faute. Pendant les deux mois et lors des deux étapes du test, elles ont toujours identifié, bloqué et supprimé tous les maliciels à 100 %. Les solutions d’ESET, G Data et Seqrite ont laissé passer respectivement quelques virus lors des tests en conditions réelles. Elles présentent un taux de détection de 99,4 %, sinon de 100 %. McAfee et VMware ont également rencontré de petits problèmes lors des tests en conditions réelles. Leurs produits comptent toutefois parmi les 13 produits qui obtiennent la note maximale de 6 points dans la section protection.

Tous les autres produits ont manqué d’identifier des maliciels 0-Day à plusieurs reprises. La plupart affichent tout de même dans l’ensemble un taux de détection élevé. Seul Webroot a eu de grandes difficultés lors des tests en conditions réelles et n’a identifié que 74,4 et 72,6 pour cent des virus.

Un point très intéressant : lors des tests avec le kit de référence, tous les produits réalisent toujours une performance irréprochable avec un taux de détection de 100 pour cent.

PC de bureau lent ou rapide ?

Les PC de bureau dans les entreprises sont généralement de qualité très différente. Certains sont nouveaux et rapides, d’autres dans un autre service sont plus vieux et plus lents. Le client de protection d’une suite doit naturellement fonctionner sur tous les PC de manière à ne pas gêner le travail. Pour vérifier cela, le laboratoire utilise des appareils de référence d’un PC haut de gamme et d’un PC standard. Sur ces ordinateurs, il procède à toute une série de tâches de routine, telles que l’ouverture de sites Internet, la copie de fichiers ou l’installation de logiciels. Le temps nécessaire sert ensuite de temps de référence. Ensuite, le laboratoire installe le client de chaque suite de sécurité, exécute des tâches de routine identiques, mesure le temps mis et documente le comportement de la suite sur le plan du ralentissement.

Le résultat est étonnamment mitigé. Les suites de Cylance, FireEye, F-Secure, Kaspersky, Microsoft, Seqrite, Symantec et Trend Micro n’occasionnent aucun ralentissement notoire et remportent les 6 points dans cette catégorie.

Les clients d’Avast, Bitdefender (Endpoint Security), G Data, McAfee et Sophos surchargent très légèrement les systèmes, ce qui leur coûte un demi-point : 5,5 points. Bitdefender (EP Ultra), Check Point, ESET et Webroot surchargent un peu plus le client et n’obtiennent que 5 points. La suite de VMware est celle qui ralentit le plus le client, elle ne totalise que 4 points.

Beaucoup d’alertes pour rien

Dans la section de test utilisation, on examine les erreurs d’identification que commet une suite antivirus et les fausses alertes qu’elle déclenche. Il s’agit pour tous les produits de scanner des fichiers et des programmes exclusivement inoffensifs sans déclencher d’alerte ni bloquer les opérations. Pendant le test, plus d’1 million de fichiers, 500 sites Internet et plus de 80 programmes populaires sont téléchargés, installés et utilisés.

Les produits qui ne commettent aucune ou une seule erreur remportent les 6 points convoités. Seuls ceux d’Avast, Bitdefender (les deux versions), Check Point, ESET, F-Secure, G Data, Kaspersky, McAfee, Microsoft, Sophos, Symantec, Trend Micro et VMware y sont parvenus. Les produits de FireEye et Seqrite ont identifié à tort jusqu'à 20 fichiers sur plus d’1 million et n’obtiennent donc que 5,5 points.

Les produits de Webroot et Cylance ne remportent que 4 points, car ils ont généré beaucoup trop de fausses alertes. Le taux se situe entre env. 50 et plus de 400 fichiers.

Conclusion : de petites et subtiles différences

Le test actuel permet au laboratoire de décerner à 9 suites de protection sur 18 la mention PRODUIT D’EXCELLENCE (TOP PRODUCT ) puisqu’ils ont mérité 17,5 ou 18 points. Les suites de F-Secure, Kaspersky, Microsoft et Symantec totalisent 18 points. Viennent ensuite les produits d’Avast, Bitdefender (Endpoint Security), G Data, McAfee et Seqrite qui totalisent 17,5 points. 6 autres produits atteignent la très bonne note de 17 points. Le reste du peloton affiche des résultats un peu moins bons.

Un point intéressant : 12 suites antivirus sur 18 obtiennent la note maximale de 6 points dans l’importante catégorie protection. La plupart des suites testées sont performantes sur le plan de la détection des maliciels sans pour cela utiliser beaucoup de ressources sur le PC.

Toutefois, le test révèle également les différences les plus petites sur le plan du ralentissement ou des fausses alertes. Néanmoins, la plupart des produits se situent à un niveau de qualité tellement élevé que les différences de performance au final sont très faibles.