Zum Inhalt springen

Schutzwirkung

1. Teil: Schutz gegen 0-Day Malware Angriffe aus dem Internet, inklusive bösartiger Webseiten und E-Mails (Real-World Testing).

Die wichtigste Kategorie im Bereich Schutzwirkung ist der Test gegen aktuelle Bedrohungen aus dem Internet. Hierbei werden bekanntermaßen bösartige Webseiten oder E-Mails aufgerufen um zu testen, ob das Schutzprodukt in der Lage ist, den Angriff abzuwehren.

Ablauf der Testdurchführung beim Real-World Testing:

  1. Die Produkte werden in Standard/Default Einstellungen installiert, aktualisiert und gestartet, es besteht zu jeder Zeit vollständiger Internetzugriff für das Schutzprogramm.
  2. Mit Hilfe des selbst entwickelten Analyseprogramms Sunshine wird ein Abbild des nicht infizierten Systems erstellt.
  3. Es wird dann versucht die bösartige Webseite bzw. E-Mail aufzurufen.
  4. Wird der Zugriff blockiert bzw. gibt es Meldungen des Schutzprogramms, so wird dies dokumentiert. Hierbei spielt es keine Rolle an welcher Stelle bzw. mit welcher Technik der Zugriff blockiert wird:

    1. Zugriff auf die URL wird blockiert,
    2. Exploit auf der Webseite wird erkannt und blockiert,
    3. Download bösartiger Komponenten wird blockiert,
    4. Ausführung bösartiger Komponenten wird blockiert.

  5. Da die Erkennung von bösartigen Komponenten oder Aktionen nicht immer gleichbedeutend mit der erfolgreichen Blockierung ist, überwacht Sunshine jederzeit alle Aktionen auf dem Computer um festzustellen, ob der Angriff komplett, zum Teil oder gar nicht blockiert wurde.
  6. Auf Grundlage der dokumentierten Erkennung laut Schutzprogramm sowie der durch Sunshine aufgezeichneten Aktionen auf dem System wird ein Ergebnis für den Testfall ermittelt.

Dieser Ablauf wird für alle getesteten Programme und für jeden Testfall gleichzeitig ausgeführt, um allen Schutzprogrammen exakt identische Testbedingungen zu garantieren. Sollte es vorkommen, dass ein Testfall im Verlauf der Testdurchführung nicht mehr verfügbar respektive ausführbar ist bzw. sich das Verhalten bei verschiedenen Schutzprogrammen unterscheidet (was anhand der Sunshine Analysen eindeutig feststellbar ist), wird der Testfall entfernt. Dies stellt sicher, dass alle Produkte gegen exakt die gleichen Testszenarien geprüft wurden. Alle Testfälle kommen ausschließlich aus internen AV-TEST Quellen und werden immer komplett von AV-TEST analysiert. Es wird zu keiner Zeit auf Testfälle oder Analysen zurückgegriffen, die von Herstellern oder anderen externen Quellen bereitgestellt werden.

Da dieser Test ausschließlich reale, aktuelle Bedrohungen einsetzt, reflektiert er perfekt die tatsächliche Gefährdungslage. Auf Grund der Komplexität der Testdurchführung und Analyse der Ergebnisse muss die Menge der Testfälle auf ein sinnvolles Maß beschränkt werden. Dies hat typischerweise keinen Einfluss auf die Aussagekraft des Tests, da es sich bei den tausenden verschiedenen Bedrohungen im Internet stets nur um Variationen einer geringen Anzahl bestimmter Schädlingsfamilien handelt.

 

2. Teil: Erkennung von weit verbreiteter und häufig auftretender Malware aus den letzten 4 Wochen (AV-TEST Referenz-Set).

Um die statistische Relevanz der Tests zu erhöhen, werden weitere Analysen gegen eine große Anzahl aktueller Bedrohungen durchgeführt. Man verringert die Komplexität des Tests und erhöht im Gegenzug die Anzahl der Testfälle um ein Vielfaches. Es geht hierbei um die statische Erkennung von Dateien, also die Erkennung mit Signaturen, Heuristiken und In-the-Cloud Abfragen. Hierzu nutzt AV-TEST zwei verschiedene Testmengen:

  1. Alle Bösartigen Dateien, die in den letzten 4 Wochen vor Testbeginn von AV-TEST entdeckt wurden, das sind etwa 10.000 bis 15.000 Dateien.
  2. Sehr weit verbreitete bösartige Dateien, die in den letzten 4 Wochen vor Testbeginn von AV-TEST entdeckt wurden (Detection of widespread malware). Etwa 1.000 bis 1.500 Dateien.

In beiden Testmengen werden ausschließlich von AV-TEST selbst entdeckte und analysierte Dateien verwendet. Daten von Herstellern werden nicht berücksichtigt, um eine Beeinflussung der Testmengen durch die Hersteller zu ihren Gunsten zu verhindern. Damit wird die Qualität der Testmenge durch die unabhängige Analyse durch AV-TEST auf ein sehr hohes Level gebracht.

Ablauf der Testdurchführung für das AV-TEST Referenz-Set:

  1. Die Produkte werden in Standard/Default Einstellungen installiert, aktualisiert und gestartet, es besteht zu jeder Zeit vollständiger Internetzugriff für das Schutzprogramm.
  2. Es wird ein On-Demand Scan über die jeweilige Testmenge gestartet, das Produkt hat dabei vollen Internetzugriff. Die Reportdateien werden detailliert ausgewertet, um Erkennungen und Scanfehler zu protokollieren und das Zwischenergebnis zu ermitteln.
  3. Alle Dateien, die während des On-Demand-Scans nicht erkannt wurden, werden im Anschluss ausgeführt, um auf weitere (dynamische) Erkennungen zu prüfen. Dafür wird mit Hilfe des selbst entwickelten Analyseprogramms Sunshine zunächst ein Abbild des nicht infizierten Systems erstellt.
  4. Wird der Zugriff auf die bösartigen Dateien blockiert bzw. gibt es Meldungen des Schutzprogramms, so wird dies dokumentiert.
  5. Da die Erkennung von bösartigen Komponenten oder Aktionen nicht immer gleichbedeutend mit der erfolgreichen Blockierung ist, überwacht Sunshine jederzeit alle Aktionen auf dem Computer um festzustellen, ob der Angriff komplett, zum Teil oder gar nicht blockiert wurde.
  6. Auf Grundlage der dokumentierten Erkennung laut Schutzprogramm sowie der durch Sunshine aufgezeichneten Aktionen auf dem System wird ein Ergebnis für den Testfall ermittelt.

Auch bei diesem Test ist es wichtig, alle Produkte simultan gegen die gleichen Testfälle zu analysieren, um einen identischen Updatestand der Produkte zu gewährleisten. Weiterhin dürfen sich die Produkte zu jeder Zeit aktualisieren. Dies ist wichtig, um auch Produkte mit In-the-Cloud Abfragen sinnvoll und fair in das Testfeld integrieren zu können.