Skip navigation

Influecia en la utilidad

Además de las pruebas del efecto protector y de la capacidad de reparación, las cuales se centran en las amenazas, también se investiga la utilidad de los productos de seguridad. Ya que la utilidad del producto es difícil de cuantificar de manera objetiva, el proceso se centra sobre todo en la influencia en la utilidad del sistema.

La influencia se mide según 2 factores distintos:

  1. La distracción de los usuarios causada por los mensajes de advertencia de programas desconocidos o causada por falsos positivos.
  2. Identificar erróneamente los programas seguros como software malicioso.

Pruebas falsos positivos

Para medir la distracción de los usuarios causada por los multitud de mensajes de advertencia o por mensajes de advertencia erróneos, se recurre a las versiones actuales de los programas más populares, entre ellos Mozilla Firefox, Adobe Reader y Flash, Java Runtime Environment, VLC Media Player, etc. Los productos se reemplazan con regularidad para que ningún proveedor se prepare para superar la lista.

Los casos de prueba se descargan de la página Web original, se instalan y se utilizan. Durante este proceso, se registra si el programa de protección emite mensajes de advertencia erróneos o si pregunta al usuario si están permitidas o no determinadas acciones. Además con Sunshine, el sistema de análisis de AV-TEST, se comprueba si el programa se ha instalado completamente y si están disponibles todas las funciones. Si no fuera así o si el software de seguridad bloqueara determinadas acciones, también quedará documentado y se incluirá en la evaluación. El resultado muestra el número de programas que emiten mensajes de emergencia y el número de los que han sido bloqueados (ya sea total o parcialmente).
Debido a la complejidad de estas pruebas, el número de casos de prueba es bastante reducido. Por esa razón se realiza otra prueba simplificada de detecciones erróneas. Para ello se examinan entre unos 600.000 y 750.000 casos de prueba con el fin de obtener una magnitud estadísticamente significativa.

El archivo interno Flare de AV-TEST, con casi 10 millones de archivos forma la base de estas pruebas. Este archivo incluye tanto los programas de instalación como los archivos instalados de las distintas versiones de programas actuales y antiguos. Cada día se introducen miles de programas nuevos con lo que el archivo se amplia cada semana con más de 100.000 archivos nuevos. Se analizan todos los archivos para asegurarse de que en verdad son seguros y que se pueden utilizar para realizar pruebas de falsos positivos.

A partir de este archivo se establece una cantidad de pruebas aleatorias provenientes de los archivos agregados durante las últimas semanas. Se realizará un análisis directo de esta cantidad de pruebas con todos los programas de protección con el fin de comprobar cuantos archivos seguros son detectados como malware. Quedan excluidos los archivos que se encuentran en la zona gris (programas de administración remota, programas de recuperación de contraseñas o keylogger comerciales) para poder contabilizar solo los falsos positivos que sean evidentes.