Zum Inhalt springen

Einfluss auf die Benutzbarkeit

Neben den auf Bedrohungen fokussierten Tests der Schutzwirkung und Reparaturleistung wird auch die Usability (Benutzbarkeit) der Schutzprodukte untersucht. Da die Benutzbarkeit des Produktes an sich nur schwer objektiv zu quantifizieren ist, steht hier insbesondere der Einfluss auf die Benutzbarkeit des Systems im Vordergrund.

Dieser wird mit 2 verschiedenen Faktoren gemessen:

  1. Die Ablenkung des Nutzers durch Warnmeldungen bei unbekannten Programmen oder auf Grund von Fehlalarmen.
  2. Die fälschliche Erkennung von gutartigen Programmen als schädliche Software.

False Positive Testing

Um die Ablenkung des Nutzers durch zu viele oder fälschliche Warnmeldungen zu messen, werden die jeweils aktuellsten Versionen von weit verbreiteten Programmen herangezogen, unter anderem Mozilla Firefox, Adobe Reader und Flash, Java Runtime Environment, VLC Media Player und ähnliche. Die Produkte werden regelmäßig ausgetauscht, so dass sich kein Hersteller auf die Liste einstellen kann. Die Testfälle werden dann von der Originalwebseite heruntergeladen, installiert und benutzt. Dabei wird protokolliert, ob das Schutzprogramm fälschlicherweise Warnmeldungen ausgibt oder beim Benutzer erfragt, ob bestimmte Aktionen zulässig sind oder nicht. Weiterhin wird mittels des AV-TEST Analyse-Systems Sunshine überprüft, ob das Programm komplett installiert wurde und alle Funktionen verfügbar sind. Ist dies nicht der Fall bzw. werden bestimmte Aktionen von der Schutzsoftware blockiert, so wird auch das dokumentiert und fließt in die Bewertung ein. Als Resultat steht die Anzahl der Programme, bei denen Warnmeldungen ausgegeben wurden und die Anzahl derer, die (ganz oder teilweise) blockiert wurden.

Auf Grund der Komplexität dieser Tests ist die Anzahl von Testfällen recht gering gehalten. Daher wird noch ein weiterer Test auf fälschliche Erkennungen in vereinfachter Form durchgeführt. Hier werden dann etwa 600.000 bis 750.000 Testfälle untersucht, um eine statistisch relevante Größenordnung zu erreichen.

Die Basis hierfür bildet das AV-TEST-interne Flare Archiv mit einem Volumen von fast 10 Millionen Dateien. Dieses beinhaltet sowohl Installationsprogramme als auch installierte Dateien diverser aktueller und älterer Programme in verschiedenen Versionen. Täglich kommen tausende neuer Programme hinzu ─ das Archiv wird wöchentlich um mehr als 100.000 neue Dateien erweitert. Alle Dateien werden analysiert um sicherzustellen, dass diese tatsächlich harmlos und für Fehlalarmtests verwendbar sind.

Aus diesem Archiv wird eine zufällige Testmenge aus den in den letzten Wochen hinzugefügten Dateien erstellt. Über diese wird dann mit jedem Schutzprogramm ein On-Demand Scan ausgeführt um zu prüfen, wie viele dieser gutartigen Dateien fälschlicherweise als Schädling erkannt werden. Dabei werden Dateien aus dem Graubereich (wie Remoteverwaltungssoftware, Passwort-Recovery Programme oder kommerzielle Keylogger) aus dem Ergebnis ausgenommen, um nur eindeutige Fehlalarme zu zählen.