Há um bom tempo estudamos a efetividade dos scanners de aplicação Web e, apesar das melhorias observadas nessas ferramentas, ainda está longe de podermos confiar cegamente nos resultados obtidos por elas.

Recentemente, Larry Suto, pesquisador que ficou famoso por um estudo comparativo entre três grandes ferramentas (Webinspect, AppScan, NTOSpider) em 2007, do qual os resultados não agradaram muito IBM e HP e gerou muita discussão na comunidade de segurança, publicou um novo comparativo de scanners de aplicação com enfoque diferente: avaliar a eficácia e eficiência das soluções. O estudo, entitulado “Analyzing the Accuracy and Time Costs of Web Application Security Scanners” (Analisando a Acuracidade e Custo de Tempo de Scanners de Segurança de Aplicações Web), avaliou as mais expressivas e conhecidas soluções do mercado, sendo:

• Acunetix Web Security Scanner
• Appscan da IBM
• BurpSuitePro da Portswigger.com
• Hailstorm da Cenzic
• NTOSpider da NT OBJECTives
• Qualys Web Application Scanning da Qualys
• WebInspect da HP

A metodologia de testes desse comparativo foi bastante simples. Não foram exploradas funcionalidades específicas, tecnologias suportadas,  etc. As soluções foram executadas em dois modos diferentes para cada uma das aplicações de teste citadas abaixo. Na primeira rodada, foi utilizada a forma “point and shoot”, onde o teste é realizado sem qualquer tipo de configuração além da URL, e outra forma, fazendo toda configuração e treinamento da solução.

Os ambientes de testes utilizados foram as aplicações providas pelos próprios fabricantes, desenvolvidas para a demonstração das ferramentas. Essas aplicações estão publicamente disponíveis e podem ser utilizadas para aprendizado:

• HP – http://zero.webappsecurity.com
• Acunetix TestPHP – http://testphp.acunetix.com
• Acunetix AspNet – http://testaspnet.acunetix.com
• Cenzic – http://crackme.cenzic.com
• IBM – http://demo.testfire.net
• NTOSpider – http://www.webscantest.com

Então, foram anotadas a quantidade de vulnerabilidades detectadas, o tempo de execução e as taxas de falso-positivos e falso-negativos.

O resultado obtido por este estudo mostra o que nossos consultores já vivênciam na prática: mais da metade das vulnerabilidades presentes nas aplicações de testes não foram detectadas pelas soluções testadas!!! O que significa que se você baseia a segurança de suas aplicações no resultado de um scanner automatizado, existe uma enorme chance do resultado mascarar reais vulnerabilidades, as quais podem estar presentes em sua aplicação e acarretar no comprometimento de seu ambiente e negócio.

O diagnóstico adequado de segurança de aplicações requer interações humanas e a qualidade do trabalho vai depender unicamente do conhecimento e experiência do consultor alocado para o projeto.

A máxima dos advogados se aplica muito bem aqui: “Consulte sempre um Especialista!” 🙂

No próximo post, iremos cutucar um pouco mais essa ferida e discutir mais a fundo os scanners de aplicação Web.

Até lá!