ATP-Dauertest: 31 Security-Produkte für 6 Monate im erweiterten Windows-10-Test
Security-Produkte für private Anwender und Unternehmen haben eine schwere Aufgabe. Sie müssen die Systeme rund um die Uhr schützen und mit den neuesten Bedrohungen klarkommen. Manchmal erkennen die Produkte die Angreifer sofort – manchmal auch erst in einem weiteren Verteidigungsschritt. Genau diesen Punkt untersuchen die Advanced Threat Protection-Tests. In diesem Dauertest zeigen 31 Produkte, wie gut sie Angreifer nicht nur erkennen, sondern auch, wie wirksam sie die Windows-10-Systeme verteidigen. Das Ergebnis ist spannend und birgt einige ungeahnte Überraschungen.
Private Anwender stellen sich genauso wie Verantwortliche in Unternehmen immer die gleichen Fragen: Hat man mit der aktuellen Schutzlösung auf das richtige Pferd gesetzt? Oder welche Lösung sollte man einsetzen? Die Experten von AV-TEST geben mit ihren Tests genau darauf Antworten. Der aktuelle Dauertest zeigt bei vielen Produkten auch die Kontinuität ihrer Schutzleistung auf. Dabei hat der Advanced Threat Protection, kurz ATP-Dauertest noch weitere Besonderheiten. Viele der untersuchten Produkte haben an 1, 2 oder sogar 3 Tests teilgenommen, so dass die Ergebnisse im Vergleich dargestellt werden können. Der Test klärt, ob die Produkte die Angreifer erkennen und wenn ja, ob sie diese auch aufhalten können – sofort oder in späteren Abwehrschritten.
ATP-Test: Reale Angriffe, wie sie täglich ablaufen
Aber der ATP-Test hat noch eine Besonderheit: das Labor kopiert die Angreifer nicht plump auf die Windows-Systeme. Vielmehr lassen die Experten die Malware ihre perfiden Angriffstechniken nutzen. Zum Beispiel gelangt nach einer Spear-Phishing-Attacke ein gefährlicher Anhang in ein Windows-System. Dort schleicht er sich in einen laufenden Prozess ein, der selbst so viele Rechte hat, dass er andere Windows-Tools starten und diese so missbrauchen kann. Hier folgt nun eine Liste, mit den von den Angreifern in den Tests genutzten Angriffstechniken. Sie werden teils explizit verwendet oder auch kombiniert in Angriffsketten genutzt.
Reflective code injection: Die reflektierende Code-Injektion injiziert den Code in den Speicher des Prozesses. Das reflektierende Laden kann auf diese Weise prozessbasierte Erkennungen umgehen, da die Ausführung des beliebigen Codes innerhalb eines legitimen und harmlosen Prozesses maskiert wird. Diese Art der Code-Injektion ist somit auch dateilos.
Fileless Malware: Dateilose Malware bedeutet, dass ein gefährlicher Code nicht per Dateipaket ins System gebracht wird. Stattdessen schreibt sich der schädliche Code selbst aus dem Speicher etwa direkt in die Windows-Registrierung. Der Angreifer nutzt dazu Windows-eigene Werkzeuge, wie etwa die PowerShell.
Bring A Scripting Interpreter: Angreifer nutzen Skript-Interpreter wie die PowerShell, um schädliche Skripte auszuführen. Allerdings überwachen viele Schutzprogramme entsprechend die Interpreter. Eine neue Variante ist der Angriff mit Software-Interpretern, wie etwa AutoHotkey (AHK). Ein Skript installiert den Interpreter und führt dann ein AHK-Skript aus, welches eine Ransomware oder einen Infostealer in das Windows-System einspielt.
In den Tests wird ebenfalls der LuaJit Just-in-Time-Compiler für die Programmiersprache Lua verwendet. Angreifer verstecken dabei bösartigen Code in Lua-Skripten, um sie dann auf den Rechnern der Opfer auszuführen.
Microsoft Software Installer: MSI (Microsoft Installer) ist ein Windows-Installationspaketformat, welches eine zu installierende Anwendung samt der nötigen Daten und Steuerbefehlen in einem Paket für den Rechner der Endbenutzer bereitstellt. Bedrohungsakteure verstecken bösartige Dateien in einer MSI-Datei und geben Steueraktionen an.
NSIS (Nullsoft Scriptable Install System): Mit dem quelloffenen, skriptgesteuerten Tool lassen sich Windows-Software-Installationsprogramme erstellen. Angreifer verstecken Malware und Scheindateien in den Installationspaketen, die ausgeführt werden und dann Ransomware oder Infostealer starten.
In LNK-Datei versteckter Code: In einer harmlosen wirkenden Verknüpfungsdatei (.LNK) versteckt sich bösartiger Code, der via Windows-eigener PowerShell extrahiert wird. Dann lädt der Code Ransomware und Infostealer auf das Windows-System und führt sie aus.
31 Produkte im ATP-Test
Alle Produkte haben an 1, 2 oder 3 ATP-Tests teilgenommen. Jeder einzelne Test wird immer innerhalb von 2 Monaten ausgeführt. Damit wurden einige Produkte volle 6 Monate lang von Januar bis Juni 2024 unter Windows 10 untersucht, andere Lösungen 4 Monate und einige mit einem Test nur 2 Monate. Während die Produkte mit einem Test interessante Ergebnisse zeigen, liefern die Tests über 4 bzw. 6 Monate einen guten Überblick über ihr Schutz-Kontinuität.
Im ATP-Test werden die einzelnen Schritte der Erkennung und der Verteidigung aufgezeichnet und in einer Matrix nach dem MITRE ATT&CK-Standard beschrieben. Bei Ransomware gilt es, drei wesentliche Schritte zu erkennen, bei Infostealern sind es vier Aktionen. Für jeden abgewehrten Schritt bzw. jede abgewehrte Aktion vergibt das Labor einen halben oder ganzen Punkt. Damit kann ein Produkt für jede erkannte und liquidierte Ransomware fünfmal 3 Punkte erhalten, für die Infostealer sind es fünfmal 4 Punkte. Somit liegt der Bestwert im Schutz-Score bei einem Test bei 35 Punkten. Produkte, die an 2 Tests teilgenommen haben, können im Schutz-Score 70 Punkte erreichen, mit 3 Tests bis zu 105 Punkte.
ATP-Dauertest-Ergebnis: 14 Privatanwender-Produkte
In der ATP-Testübersicht zu den Privatanwender-Produkten finden sich 14 bekannte Schutzpakete. Einige Produkte haben eine Punktedifferenz zum maximalen Schutz-Score. Ist das der Fall, haben die Produkte im Test kleine Fehler gemacht und dabei Punkte verloren.
In der erste Gruppe mit 3 Tests finden sich die 4 Pakete von Microsoft, Bitdefender, Avast und AVG. Die etwas unerwartete Überraschung des Dauertests: Der Windows-interne Defender Antivirus (Consumer) hat alle 30 Angriffe im Test erkannt und erreicht einen Schutz-Score von 103,5 von 105 möglichen Punkten. Damit liegt der Defender an der Spitze der Tabelle. Knapp dahinter folgt Bitdefender mit 29 von 30 erkannten Angriffen und 99 von 105 Punkten. Die Pakete von Avast und AVG erkennen ebenfalls alle 30 Angriffe und erreichen 94 der 105 möglichen Punkte über 3 Tests hinweg.
Die zweite Gruppe mit 2 Tests besteht aus 8 Produkten. Darin finden sich die Hersteller G Data, McAfee, Microworld, Norton, PC Matic mit jeweils 70 von 70 erreichbaren Punkten. Sie haben somit alle 20 Angriffe der 2 Tests erkannt und abgewehrt.
In dieser Gruppe finden sich auch noch Avira, ESET und F-Secure. Die Pakete erkennen zwar alle Angreifer, haben aber hier und da Probleme bei der weiteren Abwehr. Das kostet sie wertvolle Punkte: Avira erhält 69, ESET 65 und F-Secure 57 der 70 möglichen Punkte.
Die dritte Gruppe mit einem Test besteht nur aus 2 Produkten: Kaspersky und Surfshark. Beide schließen den Test fehlerfrei ab und erhalten 35 der 35 möglichen Punkte für ihren Schutz-Score.
ATP-Dauertest-Ergebnis: 17 Unternehmens-Lösungen
Der ATP-Testverlauf für Unternehmens-Lösungen ist identisch zu den privaten Produkten. In der Übersicht mit 1, 2 und 3 Tests finden sich 17 Schutzlösungen für Unternehmen. Auch hier haben wieder einige Produkte eine kleine Punktedifferenz zum maximalen Schutz-Score. Ist das der Fall, haben sich die Produkte im Test kleine Abwehrfehler geleistet und dabei Punkte verloren.
In der erste Gruppe mit 3 Tests sind 4 Produkte vertreten. Darunter sind 2 verschiedene Bitdefender-Versionen, sowie Avast und Check Point. Sie alle haben die 30 Angriffe fehlerfrei erkannt. Das einzige Produkt im Dauertest mit 105 von 105 möglichen Punkten ist die Lösung Bitdefender Endpoint Security Ultra. Das zeugt von einer starken Schutz-Kontinuität. Direkt dahinter folgt die Version Endpoint Security von Bitdefender mit 100,5 von 105 Punkten. Mit glatten 100 Punkten folgen Avast und Check Point mit 98 Punkten.
Die zweite Gruppe mit 2 Tests von Unternehmensprodukten besteht aus 8 Paketen. Darin erkennen alle Lösungen die jeweils 20 Angriffe auf die Systeme. Die Produkte von ESET, HP Security, die beiden Versionen von Kaspersky, Qualys, Symantec und Withsecure erhalten alle die maximal zu erreichenden 70 Punkte für ihren Schutz-Score.
Lediglich der Microsoft Defender Antivirus Enterprise verliert in den Tests einen Punkt und erreicht noch 69 Punkte.
Die dritte Gruppe mit einem Test ist bei den Unternehmensprodukten etwas umfangreicher. Sie besteht aus 5 Lösungen. Dabei erhalten Microworld, Sophos und Trellix die maximal erreichbaren 35 Punkte für ihren Schutz-Score. Cybereason macht Fehler und kommt so nur auf 30,5 der 35 Punkte. Seqrite hat das gleiche Problem, wodurch nur 29 von 35 Punkten bleiben.
Starke Leistungen im ersten ATP-Dauertest-Test
Die normalen, kontinuierlichen ATP-Tests geben immer wieder klare Aussagen zu den Security-Lösungen für private Anwender und Unternehmen. Sie zeigen, wie gut die Schutzpakete Angreifer in realen Szenarien abwehren und wie sie zum Teil auch weitere Schutzmodule einsetzen, um Angreifer in nachfolgenden Schritten aufzuhalten.
Die Zusammenstellung der Tests zeigt, wie gut und beständig die Produkte die privaten Nutzer oder Mitarbeiter in Unternehmen schützen. Das zeigen besonders gut die Gruppen mit 3 Tests über 6 Monate hinweg. Dort überrascht bei den privaten Nutzern der Windows-interne Defender Antivirus mit 103,5 von 105 Punkten. Mit geringem Abstand folgen die Schutzpakete von Bitdefender, Avast und AVG mit 99 und 94 Punkten.
In der Gruppe der Lösungen für Unternehmen mit 3 Tests nimmt Bitdefender Endpoint Security Ultra eine herausragende Rolle ein: es ist das einzige Produkt im ATP-Dauertest, welches 105 von 105 Punkten erreicht. Gleich darauf folgt die zweite Bitdefender-Version ohne Ultra mit 100,5 Punkten von maximal 105. Aber auch Avast und Check Point brauchen sich mit ihren 100 bzw. 98 Punkten nicht zu verstecken.
Die mittlere Gruppe mit 2 Tests zeigt zwar auch eine gewissen Schutz-Kontinuität, sie ist aber natürlich nicht so aussagekräftig wie mit 3 Tests. Dennoch liegen in dieser Gruppe die meisten Produkte bei der maximalen Punktzahl von 70 Punkten. Es wird interessant sein, in den nächsten Testergebnissen dieser Produkte zu sehen, ob sie diese Konstanz halten können.
Die für den Dauertest zugrunde liegenden ATP-Untersuchen sind folgende: