Schutzwirkung

Die wichtigste Kategorie im Bereich Schutzwirkung ist der Test gegen aktuelle Bedrohungen aus dem Internet (Protection against 0-day malware attacks from the internet, inclusive of web and e-mail threats (Real-World Testing)). Hierbei werden bekanntermaßen bösartige Webseiten oder E-Mails aufgerufen um zu testen, ob das Schutzprodukt in der Lage ist, den Angriff abzuwehren.

Dieser Ablauf wird für alle getesteten Programme und für jeden Testfall gleichzeitig ausgeführt, um allen Schutzprogrammen exakt identische Testbedingungen zu garantieren. Sollte es vorkommen, dass ein Testfall im Verlauf der Testdurchführung nicht mehr verfügbar respektive ausführbar ist bzw. sich das Verhalten bei verschiedenen Schutzprogrammen unterscheidet (was anhand der Sunshine Analysen eindeutig feststellbar ist), wird der Testfall entfernt. Dies stellt sicher, dass alle Produkte gegen exakt die gleichen Testszenarien geprüft wurden. Alle Testfälle kommen ausschließlich aus internen AV-TEST Quellen und werden immer komplett von AV-TEST analysiert. Es wird zu keiner Zeit auf Testfälle oder Analysen zurückgegriffen, die von Herstellern oder anderen externen Quellen bereitgestellt werden.

Da dieser Test ausschließlich reale, aktuelle Bedrohungen einsetzt, reflektiert er perfekt die tatsächliche Gefährdungslage. Auf Grund der Komplexität der Testdurchführung und Analyse der Ergebnisse muss die Menge der Testfälle auf ein sinnvolles Maß beschränkt werden. Dies hat typischerweise keinen Einfluss auf die Aussagekraft des Tests, da es sich bei den tausenden verschiedenen Bedrohungen im Internet stets nur um Variationen einer geringen Anzahl bestimmter Schädlingsfamilien handelt.

Um die statistische Relevanz der Tests zu erhöhen, werden weitere Analysen gegen eine große Anzahl aktueller Bedrohungen durchgeführt. Man verringert die Komplexität des Tests und erhöht im Gegenzug die Anzahl der Testfälle um ein Vielfaches. Es geht hierbei um die statische Erkennung von Dateien, also die Erkennung mit Signaturen, Heuristiken und In-the-Cloud Abfragen. Hierzu nutzt AV-TEST zwei verschiedene Testmengen:

1. Alle Bösartigen Dateien, die in den letzten 6 - 8 Wochen vor Testbeginn von AV-TEST entdeckt wurden (Detection of a representative set of malware discovered in the last 2 - 3 months (AV-TEST reference set)). Etwa 100.000 – 150.000 Dateien.
2. Sehr weit verbreitete bösartige Dateien, die in den letzten 6 - 8 Wochen vor Testbeginn von AV-TEST entdeckt wurden (Detection of widespread malware). Etwa 1.000 – 1.500 Dateien.

In beiden Testmengen werden ausschließlich von AV-TEST selbst entdeckte und analysierte Dateien verwendet. Daten von Herstellern werden nicht berücksichtigt, um eine Beeinflussung der Testmengen durch die Hersteller zu ihren Gunsten zu verhindern. Damit wird die Qualität der Testmenge durch die unabhängige Analyse durch AV-TEST auf ein sehr hohes Level gebracht.

Auch bei diesem Test ist es wichtig, alle Produkte simultan gegen die gleichen Testfälle zu analysieren, um einen identischen Updatebestand der Produkte zu gewährleisten. Weiterhin dürfen sich die Produkte zu jeder Zeit aktualisieren. Dies ist wichtig, um auch Produkte mit In-the-Cloud Abfragen sinnvoll und fair in das Testfeld integrieren zu können.