Einfuss auf die Benutzbarkeit

Neben den auf Bedrohungen fokussierten Tests der Schutzwirkung und Reparaturleistung wird auch die Usability (Benutzbarkeit) der Schutzprodukte untersucht. Da die Benutzbarkeit des Produktes an sich nur schwer objektiv zu quantifizieren ist, steht hier insbesondere der Einfluss auf die Benutzbarkeit des Systems im Vordergrund.

Performance Testing

Möglicherweise störende Funktionen des Betriebssystems, des Schutzprogramms und anderer Programme werden vor Testbeginn abgeschaltet. Dies beinhaltet automatische Updates, aber auch geplante Aktionen wie Scans oder Backups. Die Tests werden auf einer begrenzten Zahl von baugleichen und verifiziert gleich schnellen Computern durchgeführt, um allen Produkten die gleichen Chancen einzuräumen.

Jede einzelne Aktion wird mindestens siebenmal ausgeführt, um daraus einen verlässlichen Mittelwert zu bilden. Sollte die Standardabweichung der einzelnen Werte einen bestimmten Schwellwert übersteigen, so deutet dies auf einen Fehler hin und der Test wird komplett wiederholt. Wenn verlässliche Werte für alle Produkte und alle Testfälle erzielt worden sind, werden diese mit den Werten des Referenzsystems verglichen und die Differenz berechnet. Diese Differenz gibt dann die Verlangsamung des Systems bei den getesteten Aktionen an.

False Positive Testing

Um die Ablenkung des Nutzers durch zu viele oder fälschliche Warnmeldungen zu messen, werden die jeweils aktuellsten Versionen von weit verbreiteten Programmen herangezogen, unter anderem Mozilla Firefox, Adobe Reader und Flash, Java Runtime Environment, VLC Media Player und ähnliche. Die Produkte werden regelmäßig ausgetauscht, so dass sich kein Hersteller auf die Liste einstellen kann. Die Testfälle werden dann von der Originalwebseite heruntergeladen, installiert und benutzt. Dabei wird protokolliert, ob das Schutzprogramm fälschlicherweise Warnmeldungen ausgibt oder beim Benutzer erfragt, ob bestimmte Aktionen zulässig sind oder nicht. Weiterhin wird mittels des AV-TEST Analyse-Systems Sunshine überprüft, ob das Programm komplett installiert wurde und alle Funktionen verfügbar sind. Ist dies nicht der Fall bzw. werden bestimmte Aktionen von der Schutzsoftware blockiert, so wird auch das dokumentiert und fließt in die Bewertung ein. Als Resultat steht die Anzahl der Programme, bei denen Warnmeldungen ausgegeben wurden und die Anzahl derer, die (ganz oder teilweise) blockiert wurden.

Auf Grund der Komplexität dieser Tests ist die Anzahl von Testfällen recht gering gehalten. Daher wird noch ein weiterer Test auf fälschliche Erkennungen in vereinfachter Form durchgeführt. Hier werden dann etwa 600.000 bis 750.000 Testfälle untersucht, um eine statistisch relevante Größenordnung zu erreichen.

Die Basis hierfür bildet das AV-TEST-interne Flare Archiv mit einem Volumen von fast 10 Millionen Dateien. Dieses beinhaltet sowohl Installationsprogramme als auch installierte Dateien diverser aktueller und älterer Programme in verschiedenen Versionen. Täglich kommen tausende neuer Programme hinzu ─ das Archiv wird wöchentlich um mehr als 100.000 neue Dateien erweitert. Alle Dateien werden analysiert um sicherzustellen, dass diese tatsächlich harmlos und für Fehlalarmtests verwendbar sind.

Aus diesem Archiv wird eine zufällige Testmenge aus den in den letzten Wochen hinzugefügten Dateien erstellt. Über diese wird dann mit jedem Schutzprogramm ein On-Demand Scan ausgeführt um zu prüfen, wie viele dieser gutartigen Dateien fälschlicherweise als Schädling erkannt werden. Dabei werden Dateien aus dem Graubereich (wie Remoteverwaltungssoftware, Passwort-Recovery Programme oder kommerzielle Keylogger) aus dem Ergebnis ausgenommen, um nur eindeutige Fehlalarme zu zählen.