Dauertest: Schutzwirkung von Firmenlösungen im Fokus
Bei der Wahl einer Security-Lösung für Unternehmen liegt das Hauptaugenmerk immer auf ihrer Schutzwirkung. Das Labor von AV-TEST hat 14 Firmenlösungen in einem 4-monatigen Dauertest untersucht.
Sicher, die Schutzwirkung einer Security-Suite für ein Unternehmen ist nur einer von drei geprüften Bereichen im Testlabor von AV-TEST. Allerdings ist sie die am meisten beachtete Kernfunktion. Der im Labor nötige Prüfungsaufwand ist zwar sehr hoch, liefert aber zuverlässige Ergebnisse.
14 Lösungen – über 20.000 Angriffe
Im Test befanden sich die Security-Suiten für Unternehmen von Avast, Bitdefender, F-Secure, G Data, Kaspersky Lab (mit Endpoint und Small Office Security), McAfee, Microsoft, Palo Alto Networks, Seqrite, Sophos, Symantec (mit Endpoint Protection und Endpoint Protection Cloud) und Trend Micro. Der Testzeitraum erstreckte sich von Juli bis Oktober 2017. Jedes Produkt wurde jeden Monat bei einem vollen Testdurchlauf mit dem Real-Word-Test und dem AV-TEST-Referenz-Set geprüft. Die Sets enthielten insgesamt 400 noch neue, unbekannte Schädlinge und 20.590 Exemplare bereits bekannter Malware.
Die Tabellen zeigen in einem Endwert aufaddiert, wie gut die einzelnen Produkte in der Schutzwirkung sind. Die Lösungen von Bitdefender, sowie Kaspersky Lab mit beiden Produktversionen und Symantec mit beiden Versionen haben über 4 Monate hinweg ohne Ausnahme jeden Schädling – ob neu oder bekannt – erkannt und liquidiert; insgesamt 20.990 Exemplare.
Fast 21.000 Testfälle pro Produkt
Der Testaufwand im Labor ist hoch. Schließlich muss jedes Produkt mehrfach den Real-World-Test und den Test mit dem Referenz-Set durchlaufen.
Real-World-Test: Der Begriff Real-World steht für die im Test genutzten Schädlinge. Sie werden am Tag des Tests gesammelt, sortiert und dann zum Teil eingesetzt. Dazu nutzt AV-TEST eigene Honey-Pots, zum Beispiel ungeschützte PCs, die beim Surfen angegriffen werden. Die besuchten und verseuchten Webseiten registriert das Team in einer speziellen Datenbank und wertet die Art des Angriffs aus. Ebenso nutzt man E-Mail-Honey-Pots, also viele Mail-Konten, die Nachrichten mit schädlichen Dateien, Links zu Dateien oder Links zu Webseiten mit Malware enthalten. Jeder gefundene Schädling wird analysiert, es wird also genau festgehalten, was er auf einem System anstellt. Die damit erstellte Aktionsliste eines Schädlings wird im Test zur Überprüfung genutzt, ob die Schutzlösung wirklich alle Aktionen blockt.
Alle gefundenen Schädlinge müssen noch neu sein und nicht bereits in den Datenbanken registriert. Sind sie es doch, aber kürzer als 2 Wochen, dann wandern sie in die Liste als möglicher Kandidat für den zweiten Testabschnitt mit dem Referenz-Set.
Der eigentliche Real-World-Test läuft dann folgendermaßen ab: Auf einem Windows-Test-PC (AV-TEST nutzt viele exakt baugleiche PCs) wird das Testprodukt installiert. Das Labor nutzt bei Endkunden-Software die Standardeinstellung des Produkts. Bei den Business-Produkten wird die vom Hersteller empfohlene Einstellung verwendet. Die Produkte können sich jederzeit per Online-Update aktualisieren und ihre Cloud-Services nutzen. So kann eine Lösung auch auf die Hilfe aus der Cloud zugrückgreifen, wenn die lokalen Erkennungstechniken erschöpft sind. So wie das auch in der täglichen Realität der Fall ist. Danach wird die Schutzlösung mit der definierten Gruppe der 0-Day-Malware geprüft. Dabei wird registriert, wie die Schutzlösung agiert.
AV-TEST Referenz-Set: Für das spezielle Set sammelt man nach dem gleichen System wie im Real-World-Test die Schädlinge ein. Allerdings sind die meist mehr als 5.000 Vertreter der Malware bereits bis zu 2 Wochen alt und daher eigentlich schon bekannt. Sinn der Aktion ist zu prüfen, ob die Produkte eventuell zuerst nicht erkannte Angreifer im Nachhinein, also mit etwas Verzögerung, erkennen können.
Das Referenz-Set besteht natürlich nicht nur aus einer speziellen Gruppe, wie etwa Trojanern. Das Labor achtet auf eine gute Durchmischung mit zum Beispiel Backdoors, Bots, Viren, Trojanern, Würmern, Downloadern, Droppern oder Password-Stealern. Aber auch die Bekanntheit eines Schädlings spielt eine Rolle: nur wenn er auch relevant und stark verbreitet ist (bestätigt durch mindestens zwei unabhängige Quellen), wird er eventuell mit ins Set genommen. Ob eine Malware stark verbreitet ist, prüft das Labor mit Hilfe von Telemetrie-Daten und Informationen von Unternehmen, Forschungseinrichtungen und Herstellern von Sicherheitssoftware.
Auch in diesem Test wird die Schutzlösung wieder auf einem PC installiert und aktiviert. Danach soll die Lösung die Angreifer scannen und erkennen (On-Demand-Scan). Jede Malware, die dabei nicht erkannt wurde, wird danach einzeln ausgeführt, um den On-Execution-Schutz zu testen. Arbeitet ein Produkt ohne statischen Schutz, also nur mit einer verhaltensbasierten Erkennung, dann werden im Test natürlich alle Dateien ausgeführt. Da die schädlichen Dateien bis zu 2 Wochen bekannt sind, sollten die Produkte diese nahezu ausnahmslos erkennen. Das können auch sehr viele Produkte, aber nicht alle. Auch in dieser Testphase hat das Schutzprodukt immer Zugriff auf seine erweiterten Schutztechniken in der Cloud.
Nur wer blockiert, ist erfolgreich
In den Tests werden alle einzelnen Ergebnisse pro Produkt registriert und ausgewertet. Als „erfolgreiche Erkennung“ gelten dabei nur diese Fälle:
- Zugriff auf die URL wird blockiert
- Exploit wird auf der Webseite erkannt und blockiert
- Download bösartiger Komponenten wird blockiert
- Ausführung bösartiger Komponenten wird blockiert
Im Test reichen die reine Erkennung oder das Warnen vor einer schädlichen Datei oder einem Link nicht als erfolgreiche Abwehr aus. Der Zugriff oder die Ausführung muss effektiv blockiert werden.
Wichtig zu wissen: Alle im Test verwendeten Schädlinge, verseuchte Webseiten oder Mails wurden vom Labor gesammelt. Auf Material aus anderen Quellen, etwa von den Herstellern oder aus anderen offenen Datenbanken, greift das Labor nicht zurück. Damit der Test für alle Produkte gleich ist, laufen die Testschritte für alle Produkte simultan auf einer Reihe identischer Windows-PCs ab.
Die Ergebnisse im Detail
Im aktuellen Dauertest von Juli bis Oktober 2017 zeigten die 5 Lösungen von Kaspersky und Symantec mit jeweils 2 Versionen und Bitdefender die beste Leistung. Sie erkannten in allen Testphasen die insgesamt 400 Angreifer im Real-World-Test und die 20.590 Schädlinge aus dem Referenz-Set.
Die Produkte von McAfee und Trend Micro erkannten jeweils lediglich einen einzelnen Angreifer im Real-World-Test nicht. Auch die Lösung von F-Secure hatte kleinere Erkennungsprobleme mit 5 Angreifern. Alle genannten Produkte erreichten die maximale Punktzahl von 6 für ihre Schutzwirkung, die das Labor für den leichteren Leistungsvergleich der Schutzprodukte vergibt.
Die folgenden Lösungen von G Data und Seqrite hatten mit 21 bzw. 22 Schädlingen Problemen bei der Erkennung, wovon bereits jeweils 4 der Angreifer 0-Day-Malware waren.
Das kostenlose Schutzmodul von Microsoft, das System Center Endpoint Protection, erkannte 51 Angreifer nicht. Bei Sophos und Avast lag die Rate nicht erkannter Schädlinge bereits bei 107 und 190. Das Produkt von Palo Alto Networks konnte 287 Angriffe nicht blockieren.
AV-TEST – Sammelinstitut für 700 Millionen Viren & Co
Maik Morgenstern, CTO AV-TEST GmbH
In den Datenbanken von AV-TEST sind bereits über 700 Millionen Schädlinge registriert und katalogisiert.
Das unabhängige Testen von Antiviren-Produkten würde niemals objektiv funktionieren, wenn das Institut die Schädlinge nur von den Herstellern bekommen würde. Daher sammelt AV-TEST seit über 15 Jahren die Malware im Internet ein, analysiert sie und ordnet sie Gruppen zu. AV-TEST verwendet dazu unter anderem Honeypot-Systeme. Diese enthalten verwundbare Versionen von Windows und anderen gängigen Applikationen. Ziel ist es, diese durch Schädlinge befallen zu lassen und sie dann in Echtzeit zu analysieren. Diese PCs nehmen alles an, was im Internet zu finden ist: etwa verseuchte Webseiten oder Links zu bösartigen Dateien. Zusätzlich verwendet AV-TEST viele E-Mail-Konten, die so viel Spam wie möglich einsammeln sollen. Diese empfangenen Spam- und Phishing-E-Mails haben dann gleich den Angreifer mit im Gepäck oder wollen den Nutzer über einen Link auf eine bösartige Seite schicken.
Als weitere Quellen, um Malware aufzuspüren, nutzt das Labor auch verschiedene Suchmaschinen und Social Media Dienste wie Twitter: jeden Tag suchen die Experten mit Hilfe populärer Stichwörter in verschiedenen Suchmaschinen. Die Ergebnisse werden dann analysiert und Links zu bösartigen Webseiten protokolliert. Zusätzlich checkt das Labor auch für Anwender interessante Twitter-Tweets mit enthaltenen Links. Sie werden verfolgt und die Zieladresse überprüft. Auf diese Weise untersucht das Labor täglich über 400.000 Ergebnisse aus Suchmaschinen und über 1 Million Twitter-Nachrichten.
Die Anzahl der gefundenen Schädlinge pro Monat nimmt rasant zu: waren es 2007 noch etwa 500.000, so kamen 2017 etwa 10 Millionen Schädlinge pro Monat neu hinzu. Das ist eine Steigerung um den Faktor 20. Insgesamt sind es mehr als 700 Millionen Dateien. AV-TEST hat nicht nur alle diese Schädlinge registriert, sondern auch als Exemplar gespeichert. Schließlich landen einige der tagesaktuellen Angreifer im Set für den Real-World-Test. Eine ausgesuchte Gruppe der maximal 2 Wochen alten Exemplare dient dann im Test als Referenz-Set.