Skip navigation

Protection

La catégorie la plus importante en termes d'efficacité de la protection est le test du produit face aux menaces actuelles provenant d'Internet (Protection against 0-day malware attacks from the internet, inclusive of web and e-mail threats (Real-World Testing)). Dans cette optique, on consulte des sites Internet ou des courriels dont on sait qu'ils sont malveillants pour tester si le produit est en mesure de parer l'attaque.

Déroulement du test :

  1. Les produits sont installés avec les options par défauts, mis à jour et lancés ; le programme de protection a à tout moment un accès non restreint à Internet.
  2. Une image du système non infecté est réalisée à l'aide du programme d'analyse Sunshine, développé en interne.
  3. On tente ensuite de consulter le site Internet ou le courriel malveillant.
  4. Si l'accès est bloqué ou si le programme de protection émet un message, cette réaction est documentée, sachant que les circonstances du blocage de l'accès et la technique utilisée n'ont pas d'importance :

    1. l'accès à l'URL est bloqué ;
    2. l'exploit sur le site Internet est détectée et bloquée ;
    3. le téléchargement de composants malveillants est bloqué ;
    4. l'exécution de composants malveillants est bloqué.

  5. Étant donné que la détection de composants ou d'actions malveillants n'est pas toujours synonyme de succès du blocage, Sunshine surveille à tout moment toutes les opérations effectuées sur l'ordinateur pour déterminer si l'attaque est complètement, partiellement ou pas du tout bloquée.
  6. Le résultat du test est déterminé sur la base de la détection documentée par le programme de protection ainsi que des actions recensées par Sunshine sur le système.

Ces différentes étapes ont lieu simultanément pour l'ensemble des programmes testés et pour chacun des cas à tester de façon à garantir des conditions de test identiques.
Si l'un des cas n'est plus disponible ou applicable au cours du déroulement du test ou si son comportement diffère en fonction du programme de protection (ce que les analyses de Sunshine mettent clairement en évidence), il est supprimé. Cela permet de s'assurer que tous les produits sont confrontés exactement aux mêmes scénarios de test.

L'ensemble des cas proviennent exclusivement de sources AV-TEST internes et sont toujours analysés intégralement par AV-TEST. À aucun moment n'interviennent des cas ou des analyses provenant d'éditeurs et d'autres sources externes. Comme ce test fait exclusivement intervenir des menaces réelles et actuelles, il reflète parfaitement les dangers réels. Compte tenu de la complexité du déroulement du test et de l'analyse des résultats, le nombre de cas doit être réduit à un nombre pertinent. Cela n'a cependant aucune influence sur la pertinence des tests puisque les milliers de menaces différentes provenant d'Internet ne sont que des variations d'un nombre restreint de programmes malveillants.

Pour augmenter la pertinence statistique des tests, des analyses supplémentaires sont réalisées avec un nombre conséquent de menaces récentes. La complexité des tests est réduite et, en contrepartie, le nombre de cas à tester est sensiblement augmenté. L'objectif est la détection statique des fichiers : détection de signatures, d'heuristiques et de requêtes in the cloud. Dans cette optique, AV-TEST utilise deux différents types de fichiers :

  1. tous les fichiers malveillants qui ont été découverts par AV-TEST dans les 6 à 8 semaines précédant le début du test (Detection of a representative set of malware discovered in the last 2 - 3 months (AV-TEST reference set)), soit environ 100.000 à 150.000 fichiers.
  2. les fichiers malveillants très répandus qui ont été découverts par AV-TEST dans les 6 à 8 précédant le début du test (Detection of widespread malware), soit environ 1.000 à 1.500 fichiers.

Dans les deux cas, les fichiers utilisés ont tous été découverts et analyses par AV-TEST. Les données des éditeurs ne sont pas prises en compte de façon à éviter une modification des fichiers à l'avantage des éditeurs. L'analyse indépendante réalisée par AV-TEST assure une grande qualité des fichiers utilisés lors des tests.

Déroulement du test :

  1. Les produits sont installés avec les options par défauts, mis à jour et lancés.
  2. Une analyse à la demande du type de fichiers choisi est lancée, le produit a alors un accès non restreint à Internet.
  3. Les fichiers du rapport sont évalués de façon détaillée afin de documenter les éléments détectés et les erreurs d'analyse et de déterminer le résultat global.

Lors ce test également, il est important que l'ensemble des produits soient analysés en même temps suivant les mêmes cas afin de les mettre sur un pied d'égalité en ce qui concerne les mises à jour. Les produits peuvent se mettre à jour à tout moment. Ce critère est important, car il permet d'intégrer au test de façon pertinente et équitable les produits avec requêtes in the cloud.