Testmodule unter MacOS

Benutzbarkeit

Der Fokus beim Test von Schutzprogrammen liegt eindeutig auf der Ermittlung der Schutzwirkung. Doch auch die Benutzbarkeit der Schutzprodukte spielt eine nicht zu unterschätzende Rolle. Denn Fehlalarme können den Arbeitsablauf ebenso stören wie Angriffe durch Malware.

Stufe 1: Fälschliche Erkennungen von normaler Software als Malware während eines Systemscans

Dieser Teil des Fehlalarm-Tests erfasst die Quantität fälschlicher Erkennungen von ungefährlichen Dateien durch die Schutzprogramme. In hunderten Testfällen müssen die Produkte eine möglichst geringe Fehlalarmquote erzielen.

Dateien für die Prüfung stammen aus einem seit über 15 Jahren ständig wachsenden Archiv von bekanntermaßen gutartiger Software. Dateien aus Graubereichen (darunter etwa Remote-Verwaltungssoftware, Password Recovery-Programme oder kommerzielle Keylogger) werden aus dem Testset entfernt, um nur eindeutige Fehlalarme zu erfassen.

Generell erfolgt ein On-Demand-Scan über das Testset. Für alle Programme ohne On-Demand-Scanfunktion werden die Dateien nacheinander auf dem Testsystem ausgeführt.

Stufe 2 – Fehlalarm-Test bei Standard-Software: Fälschliche Warnungen vor und Blockierungen von bestimmten Aktionen während der Installation und Benutzung von normaler Software

In diesem Modul erfassen die Tester die Anzahl der durch die Produkte verursachten Fehlalarme beim Einsatz der aktuellsten Versionen weit verbreiteter Software. Dabei kommt eine Auswahl aus den „Top 100 für MacOS“ zum Einsatz, also auf Apple-Rechnern meistgenutzte Programme, zu denen etwa Apache Open Office, Firefox, GIMP, Google Chrome, iTunes, Java, Libre Office, Opera, Picasa, Safari und Virtualbox gehören.

Überprüft werden neben dem fehlerfreien Download auch die reibungslose Installation und die problemlose Nutzung. So erfassen die Tester unter anderem fälschliche Warnmeldungen sowie Anfragen seitens der Schutzprodukte, die eine den Arbeitsablauf störende Nutzerinteraktion erfordern. Als Resultat dieser Tests entsteht ein genaues Protokoll über Zahl und Art fälschlich ausgegebener Warnmeldungen und Programmblockaden.