Deutsch
English
Français
Español
- Compartir:
Prueba de larga duración: ¿Generan los paquetes de seguridad constantemente falsas alarmas?
Uno confía en la solución de seguridad que ha instalado. Si esta dispara la alarma es porque acecha algún peligro, ¿o se trata solo de una falsa alarma? No importa si se trata de un usuario privado o una empresa, no deberían producirse falsas alarmas. AV-TEST ha comprobado mediante una prueba de larga duración de 14 meses qué soluciones de seguridad generan inseguridad en el usuario con frecuencia y cuáles en absoluto.
[Translate to Español:] AV-TEST hat 33 Produkte 14 Monate lang geprüft.
Puede que ya le haya ocurrido. Una ventana de aviso, casi siempre en un rojo brillante, aparece en la pantalla dando la alarma. El causante es un archivo que se acaba de copiar o una aplicación que se acaba de iniciar. Pero, ¿qué pasa si el software de seguridad afirma que, por ejemplo, el navegador Chrome o un archivo que forma parte de Windows es un peligroso atacante? Entonces se trata del clásico falso positivo que crea inseguridad en el usuario privado o hace apresurarse al administrador de una empresa.
En el resumen aparecen todas las falsas alarmas generadas por cada productos, realmente pocas.
5 productos recibieron la máxima puntuación de 6 en todas las secciones de prueba durante 14 meses.
Incluso archivos conocidos se identifican de forma errónea una y otra vez.
La cuota de falsas alarmas es muy escasa, algo que aprecian los administradores.
Las soluciones empresariales examinadas en 6 o 7 pruebas alcanzaron casi todas siempre la máxima puntuación de 6.
Las soluciones para empresas apenas detuvieron aplicaciones por error en las pruebas
Distinguir entre amigos y enemigos
Una solución de seguridad debe poder distinguir perfectamente entre "amigos" y "enemigos". Por eso, el laboratorio de AV-TEST ha comprobado a lo largo de 14 meses —de enero de 2015 a febrero de 2016— lo que bien que lo hacen las soluciones de seguridad. En total se sometieron a la prueba 19 paquetes para usuarios privados y 14 soluciones para empresas.
Los encargados de la prueba establecieron cuatro puntos a comprobar en la prueba de usabilidad (usability), que en sus protocolos formulan así en "lenguaje de laboratorio":
- Falsas alarmas o bloqueos durante la visita a un sitio web
- Detección errónea como malware de software seguro durante el análisis de sistema
- Avisos erróneos provenientes de determinadas acciones durante la instalación y el uso de software seguro
- Bloqueos erróneos provenientes de determinadas acciones durante la instalación y el uso de software seguro
Así se llevó a cabo la prueba
En todas las secciones de la prueba se comprobaron solo páginas web seguras, archivos limpios o aplicaciones conocidas e inocuas, puesto que se tiene una visión más clara del número de archivos y aplicaciones limpios existente en el mundo TI que del de los infectados. Por ello, todas las soluciones trabajaron con llamadas bases de datos de listas blancas, en las que están guardados todos los datos limpios y seguros con huellas dactilares y valores hash. Si un programa no reconoce un archivo en un momento dado, pregunta en la nube si ese archivo ya está registrado. De no ser así, analiza el archivo y lo cataloga como bueno o malo.
Para poder conseguir resultados realmente relevantes en cuestión de falsos positivos, el número de datos inocuos comprobados ha de ser alto. El laboratorio ha cumplido por entero este requisito.
Con cada una de las soluciones se visitaron unas 7.000 páginas web y se comprobaron 7,7 millones de archivos en un plazo de 14 meses. Además, se ejecutaron dos veces 280 aplicaciones y se anotó si se mostraron advertencias injustificadas o si incluso se bloqueó la aplicación.
En el set con 7,7 millones de archivos de prueba se incluyeron, por supuesto, todos los archivos nuevos de programas populares como Windows 7 a 10 y Office. Si un software de seguridad clasificara erróneamente un nuevo archivo de sistema de Windows, las consecuencias serían en su mayoría fatales. Por eso, estos importantes archivos se comprueban siempre actualizados en el escenario de prueba.
Software para usuarios privados: Algunos funcionan a la perfección
A pesar de las elevadas exigencias de la prueba con muchos datos, algunas aplicaciones consiguieron no generar ninguna falsa alarma. Este fue el caso de Avira Antivirus Pro y Kaspersky Internet Security.
A estas les siguen con menos de 10 falsos positivos en la prueba de larga duración: Intel Security, Bitdefender, AVG y Microsoft. Pero incluso los paquetes de seguridad que ocupan los últimos lugares de la tabla estuvieron lejos de obtener resultados catastróficos en la prueba.
Los resultados en detalle:
- "Falsas alarmas o bloqueos durante la visita a un sitio web": No se produjo ninguno durante toda la prueba en la que se visitaron 7.000 páginas web.
- "Detección errónea como malware de software seguro durante el análisis de sistema": El peor valor, obtenido por Ahnlab V3 Internet Security, es de 98 archivos de 7,7 millones detectados erróneamente. Esto equivale a una cuota del 0,001 por ciento. Un valor aceptable, si bien podría ser mejor.
- "Avisos erróneos provenientes de determinadas acciones durante la instalación y el uso de software seguro": De los 19 programas, 11 no generaron ninguna falsa alarma. 6 soluciones advirtieron en vano entre 1 y 3 veces en 280 pruebas. Solo la suite de K7 Computing generó en total 10 advertencias falsas.
- "Bloqueos erróneos provenientes de determinadas acciones durante la instalación y el uso de software seguro": En este punto, también la mayoría de los 19 programas ofrecieron un buen rendimiento. Mientras 7 soluciones no bloquearon nada por error, 11 paquetes de seguridad bloquearon entre 1 y 6 aplicaciones inocuas. Comodo Internet Security Premium lo hizo 29 veces.
Software para empresas: Solo Kaspersky lo consigue sin fallos
En la prueba de usabilidad (usability) con 14 soluciones de seguridad para empresas también casi todos los productos demostraron que distinguen entre amigos y enemigos sin casi cometer fallos. Solo las dos soluciones de Kaspersky Endpoint Security y Small Office Security superaron las pruebas sin cometer fallos. No obstante, solo participaron en 6 de las 7 rondas de prueba.
A lo largo de 14 meses, las soluciones de Sophos, Intel Security y Bitdefender alcanzaron una cuota total de fallos inferior a 10. Pero también el resto de los productos realizaron escasos de fallos en detección teniendo en cuenta la cantidad de archivos de prueba.
Los resultados en detalle:
- "Falsas alarmas o bloqueos durante la visita a un sitio web": No se produjo ninguno durante toda la prueba con software de seguridad para empresas, en la que se visitaron 7.000 páginas web.
- "Detección errónea como malware de software seguro durante el análisis de sistema": El peor valor durante el conjunto de las pruebas lo obtuvo F-Secure con meros 49 archivos de 7,7 millones detectados erróneamente. Un buen resultado, pero no tan bueno como el de la solución de Sophos que solo se equivocó con 2 archivos.
- "Avisos erróneos provenientes de determinadas acciones durante la instalación y el uso de software seguro": Solo 4 de 14 programas emitieron 1 o 2 falsas alarmas en las respectivas 280 pruebas. Un resultado que alegra especialmente a los administradores de las empresas.
- "Bloqueos erróneos provenientes de determinadas acciones durante la instalación y el uso de software seguro": Los resultados también son extremadamente buenos en esta sección de la prueba. Tras 280 pruebas con cada uno de los programas, los resultados eran los siguientes: 8 veces todo sin ningún fallo y 6 veces con solo entre 1 y 5 bloqueos erróneos. En comparación, ¡el peor resultado de las soluciones para consumidores era de 29!
Las soluciones para empresas generan menos falsos positivos
Si se contrastan las pruebas con software de seguridad para empresas y para usuarios privados, queda patente que las soluciones empresariales, de media, desencadenan menos falsos positivos. No obstante, llama la atención que los fabricantes de productos para ambos grupos obtuvieron los mejores resultados en ambos casos. Esto es así en lo referente a los productos de Kaspersky, Bitdefender, Microsoft, Trend Micro, Symantec y F-Secure.
Pero, en conjunto, todos los productos ofrecen una buena calidad en cuestión de usabilidad (usability). El laboratorio siempre descuenta puntos si se producen falsos positivos, pero, visto objetivamente, se trata de críticas al rendimiento a un nivel muy alto.
A algunos fabricantes les dará rabia ver qué programas produjeron falsas alarmas. En las tablas Top 15 y Top 30 aparece un resumen. Son programas conocidos como Notepad++, Yahoo Messenger o WinRAR. Realmente no se trata precisamente de rarezas, sino de software estándar que debería conocerse. Dada la escasa cantidad de falsas alarmas, los fabricantes no deberían tener problema en resolverlo rápidamente en las próximas versiones de sus programas.
Proyecto Flare: Nueva remesa diaria de miles de archivos de prueba
Maik Morgenstern, CTO AV-TEST GmbH
El mundo de la TI produce cada día nuevos archivos limpios que los productos de seguridad no deberían detectar erróneamente. Por eso, AV-TEST recaba cada día nuevos archivos mediante su proyecto Flare y los utiliza en las pruebas.
Los productos de seguridad reconocen los archivos buenos y limpios basándose en los valores hash y las huellas dactilares que depositan, por ejemplo, en la nube. Gracias a las bases de datos con valores hash y huellas dactilares es posible escanearlos con gran rapidez. De modo que, por regla general, los archivos conocidos no generan falsas alarmas.
Para poder probar de forma profesional si los productos de seguridad generan falsas alarmas, el laboratorio de pruebas debe contar en todo momento con los archivos más nuevos que se hayan producido en el mundo informático: aplicaciones, actualizaciones de programas, complementos, descripciones, controladores, etc. Para ello, AV-TEST se sirve de su proyecto interno Flare.
Flare examina cada día Internet en busca de archivos nuevos, por ejemplo, en páginas de fabricantes o portales de descarga. Si hay productos nuevos, los descarga y los instala automáticamente. Después se comprueba si algo contiene malware o programas indeseados. Si la aplicación y todos los archivos que a ella pertenecen están limpios, se transfieren a la base de datos. De este modo, ¡la base de datos se llena cada día con diez mil nuevos archivos! Actualmente, la base de datos Flare cuenta con casi 40 millones de archivos limpios con un volumen total de cerca de 25 terabytes.
Por cierto, la colección incluye, por supuesto, todas las nuevas actualizaciones populares como las de Microsoft Windows, Office, Adobe, Oracle, Mozilla, Google, Intel, IBM o SAP. Si un archivo de estas empresas fuese clasificado erróneamente por una suite de seguridad, las consecuencias serían casi siempre fatales. Por eso, estos archivos siempre se incluyen en los 7,7 millones de archivos que componen el extenso escenario de prueba de AV-TEST.
