MRG Effitas: Динамическое тестирование. Часть I (Q2 2013)

Содержание

- Введение
- Тестируемые решения безопасности
- Методология, используемая в тесте
- Используемые вредоносные образцы
- Результаты тестирования
- Выводы

Введение

Проект динамического тестирования MRG Effitas "Real Time Protection Testing" является заменой и эволюцией тестирования "Flash Tests", которое проводилось до этого времени.

Для тех, кто незнаком с тестами "Flash Tests" - их целью было показать эффективность антивирусных продуктов против угроз из списка "In the Wild" (ITW) применительно к тестируемой системы "System Under Test" (SUT) с использованием действенных и реальных направлений и процессов заражения.

Несмотря на использование угроз из списка "In the Wild" (ITW) и реалистичных методов заражения, в MRG Effitas всегда отмечали, что из-за малого количества вредоносных образцов результаты отдельных тестов "Flash Tests" не должны использоваться в качестве строгой оценки эффективности антивирусных программ, а целью тестов было - дать оценку эффективности защиты с течением времени.

Проект MRG Effitas "Real Time Protection Testing" разработан для преодоления данных ограничений "Flash Tests" с помощью значительного увеличения числа образцов и повышения частоты тестирования.

Проект будет осуществляться в течение двенадцати месяцев, начиная со второго квартала (Q2) 2013 года и заканчивается в конце первого квартала (Q1) 2014.

Тестирование проводится еженедельно, используя около пятидесяти уникальных образцов (без дублирующих файлов), а результаты будут опубликованы в конце каждого квартала. MRG Effitas публикует результаты этого квартала раньше, поскольку это дает им возможность поддерживать связь с вендорами до начала первого полного квартала испытаний, которые начнутся в первую неделю июля 2013 года.

Тестируемые решения безопасности

1. avast! Internet Security 8.0
2. AVG Internet Security 2013
3. Avira Internet Security 2013
4. Bitdefender Internet Security 2013
5. Emsisoft Anti-Malware 7.0
6. ESET Smart Security 6.0
7. GFI VIPRE Internet Security 2013
8. Kaspersky Internet Security
9. Malwarebytes Anti-Malware 1.75 *
10. McAfee Internet Security 2013
11. Microsoft Security Essentials 4.2
12. Norton Internet Security 2013
13. Panda Internet Security 2013
14. SoftSphere DefenseWall 3.21
15. SourceFire Immunet Antivirus Plus 3.0
16. SUPERAntiSpyware 5.6 *
17. Trend Micro Titanium Premium Security 2013

* Приложения для дополнительной защиты

Методология, используемая в тесте

1. Операционная система Windows 7 Service Pack 1 32-разрядная установлена на виртуальную машину со всеми последними обновлениями. Изменяемый состав сторонних приложений добавляется для тестов определенных эксплойтов, которые могут быть проведены.

2. Создается образ операционной системы.

3. Копия образа системы создается для каждого из 17 защитных решений, которые используются в тестах.

4. Отдельные приложения безопасности установлены с настройками по умолчанию на каждой системе, созданной на шаге 3, а затем, при необходимости обновляются.

5. Создается копия системы, после завершения шага 4.

6. Проводится тестирование:

a) Загрузка образца с использованием Internet Explorer на рабочий стол, закрывается Internet Explorer и проводится сканирование через контекстное меню или, где это недоступно, сканирование системы, а затем выполняется запуск образца.

7. Тест считается пройденным, по следующим критериям:

a) Приложение безопасности блокирует URL-ссылку, по которой расположен образец, таким образом предотвращая его загрузку.

b) Приложение безопасности обнаруживает образец, пока он загружается на рабочий стол.

c) Приложение безопасности обнаруживает образец в процессе контекстного или системного сканирования.

d) Безопасности приложение обнаруживает образец при его выполнении в соответствии с следующим критерием:

- Он определяет образец как вредоносный и либо автоматически блокирует его или приостанавливает его исполнения, и уведомляет пользователя, не запуска его и ожидая решения пользователя.

8. Тест считается проваленным по следующим критериям:

a) Приложение безопасности не в состоянии обнаружить образец в условиях 7a, 7b, 7c или 7d.

9. Все системы в тестировании имеют доступ в Интернет.

10. Все приложения безопасности имеют полный функционал в незарегистрированных версиях или в версиях зарегистрированных анонимно, без всякой связи с MRG Effitas.

Используемые вредоносные образцы

Отбор вредоносных образцов имеет принципиальное значение для этого и всех подобных (динамических) тестов. В случае тестирования"Real Time Protection Testing" использовались все "живые" и "In the Wild" образцы, под которыми понимаются образцы, расположенные по URL-ссылкам, созданными злоумышленниками, и они не отстают по времени от ITW-списка.

Поскольку это "живые" образцы ITW, они представляют угрозу на настоящее время. Так как нет эффективного способа проверить образцы перед тестированием, они проверяются после испытаний. Все образцы, которые могут оказаться недействительными исключаются из результатов теста после окончания проверки.

Тип и соотношение используемых вредоносных образцов в выборке определяется MRG Effitas на основе ряда критериев, сконцентрированных вокруг ключевых параметров:

1. Распространенность - они широко распространены и также представляют собой наиболее общие угрозы.

2. Рост - их может быть несколько сейчас, но исследования показывают, что они быстро расширяются.

3. Инновации - они используют инновационные методы для противодействия мерам безопасности.

В общей сложности в тестировании было использовалось 585 "живых" образцов "In the Wild". График ниже показывает пропорции по каждой категория вредоносных программ:

Результаты тестирования

Выводы

В первом части динамического тестирования "Real Time Protection Testing" продукты Kaspersky, Emsisoft и SoftSphere показали максимальные результата со 100% эффективностью, не полагаясь на решения пользователей, тем самым демонстрируя эффективную защиту без рисков от этих угроз. Все три приложения безопасности награждены высшей наградой "5 звезд".

Avast набрал 100%, но не попал в первую группу, как достигнутый результат зависел от решения пользователей. Антивирусу присуждается четыре с половиной звезды вместе с Bitdefender, Trend Micro, Symantec, SourceFire, Malwarebytes, ESET, Avira и GFI, все из которых показали хорошие результаты.

Стоит отметить Malwarebytes, который является дополнительным защитным решением, и от него не следует ожидать полной защиты от вредоносных программ, как от его соперников по группе.

Исключительную производительность в этом тесте показали AVG, McAfee и Panda, довольно эффективно защищая, пропустив менее 4% угроз. Здесь ясно есть возможности для улучшения, и они награждены четырьмя звездами.

Microsoft пропустил более 17% угроз, и награжден тремя звездами.

SUPERAntiSpyware, как Malwarebytes является дополнительной защитой от вредоносных программ и пропустил более 41% угроз, получив две с половиной звезды.

В таблице ниже представлены рейтинги по количеству звезд, присужденные программам безопасности по итогам первой части тестирования:

Полный отчет (English, pdf).