MRG Effitas: Динамическое тестирование антивирусов. Q1 2018

Динамическое тестирование "360 Assessments" от независимой лаборатории MRG Effitas показывает возможности антивирусов защищать от реальных угроз. Также, в случае, если система была заражена, измеряется время, необходимое для обнаружения и устранения последствий заражения.

Используемая методология приближена к реальному использованию антивирусных программ на среднестатистической системе и позволяет дать реалистичную оценку возможностей продукта безопасности.

Специалисты MRG Effitas учитывают ту особенность, что многие антивирусы способны обнаруживать заражение только во время перезагрузки / автозапуска, или если по умолчанию было установлено сканирование по расписанию. Для оценки времени обнаружения использовалась методология, основанная на том, что зараженная система перезагружается один раз в течение 24-часового периода.

Название тестирования "360 Assessments" обусловлено тем, что испытание производилось с полным спектром вредоносных программ, а не только с финансовыми угрозами. Для тестирования использовались трояны, трояны-бэкдоры, шифровальщики, финансовые зловреды и другие вредоносные образцы.

Методология тестирования

Подробная информация

1. Операционная система Windows 10 64-разрядная установлена на виртуальную машину. В системе установлены Adobe Flash, Reader, Java, Microsoft Office 2010, Microsoft Edge и VLC Player. Все компоненты Microsoft полностью обновлены, а все сторонние компоненты устарели на три месяца.

2. Создается образ операционной системы.

3. Копия образа системы создается для каждого из тестируемого продукта.

4. Отдельные приложения безопасности установлены с настройками по умолчанию (при наличии опции защиты от ПНП, она включается) на каждой системе, созданной на шаге 3, а затем, при необходимости обновляются.

5. Создается копия системы, после завершения шага 4.

6. Проводится тестирование. Выполняется загрузка вредоносного образца по активной URL-ссылке с использованием браузера Microsoft Edge на рабочий стол, после закрытия Microsoft Edge выполняется запуск образца.

7. Тест считается пройденным по следующим критериям:

a) Приложение безопасности блокирует URL-ссылку, по которой расположен образец, таким образом предотвращая его загрузку.

b) Приложение безопасности обнаруживает образец, пока он загружается на рабочий стол.

d) Приложение безопасности обнаруживает образец при его выполнении в соответствии со следующим критерием:

- Антивирус определяет образец как вредоносный, а затем либо автоматически блокирует его или приостанавливает его исполнение, и уведомляет пользователя, не запуская его и ожидая решения пользователя.

8. Тест считается проваленным по следующим критериям:

a) Приложение безопасности не в состоянии обнаружить образец по всем условиям пункта 7.

9. Тестирование на зараженной системе продолжается в течение 24 часов с помощью следующего процесса:

a) Перезагрузка системы выполняется один раз в 24-часовом периоде, ровно через 12 часов после заражения системы.

10. Способность антивируса восстанавливать зараженную систему определяется ручной проверкой состояния системы в сравнении с ее первоначальным состоянием, а не с помощью антивирусной проверки с помощью самого продукта безопасности.

11. В процессе тестирования все системы имеют доступ в Интернет.

12. Все программы безопасности имеют полный функционал в незарегистрированных версиях или в версиях, зарегистрированных анонимно, без всякой связи с MRG Effitas.

13. Все испытания проводились в 1-ом квартале 2018 года.

14. Испытание не предусматривает принудительный запуск сканеров, поэтому для предотвращения угроз тестируемые продукты могли использовать различные собственные технологии обнаружения и устранения вредоносных программ, включая фоновое сканирование, сканирование при загрузке системы, запланированное сканирование, системный мониторинг и т.д. Сканирование по расписанию использовалось, только если оно было включено по умолчанию.

Тестируемые антивирусы

Использовались следующие антивирусные программы с последними версиями на момент тестирования:

Антивирус	Версия
Avast Internet Security	18.3.2333
AVG Internet Security	18.3.3051
Avira Internet Security	15.0.34.27
Bitdefender Internet Security 2018	22.0.20.260
ESET NOD32 Internet Security	11.0.159.9
F-secure Business, Computer Protection	18.4
Kaspersky Internet Security 2018	18.0.0.405 (g)
Malwarebytes Anti-Malware*	3.4.4.2398
McAfee Internet Security	16.0 R10
Microsoft "Защитник Windows" + SmartScreen	4.12.16299.15
Panda Internet Security	17.0.1
SurfRight Hitman Pro*	3.8.0.292
Symantec Norton Security	22.14.0.54
ThreatTrack VIPRE Advanced Security	10.1.4.33
Trend Micro Maximum Security	12.0.1226
Watchdog Anti-Malware *	2.72.186.426
Webroot SecureAnywhere AntiVirus	9.0.19.43
Zemana AntiMalware*	2.74.2.150

* Malwarebytes Anti-Malware, Surfright HitmanPro, Watchdog Anti-Malware и Zemana AntiMalware являются дополнительными антивирусными инструментами. HitmanPro не имеет защиты в режиме реального времени и был протестирован только при сканировании "по требованию".

Используемые вредоносные образцы

В общей сложности было использовано 337 активных "In the Wild" образцов, среди которых: трояны (177), трояны-бэкдоры (65), финансовые вредоносные программы (67), шифровальщики (16) и другие (12). Дополнительно было проверено, как антивирусы справляются с ПНП (32).

Результаты тестирования

Пропущенные и заблокированные образцы

Auto blocks - автоматическая блокировка угроз, Behaviour block - поведенческая блокировка с помощью проактивной защиты, Block in 24h - блокировка в течение 24 часов, Miss - пропущенные угрозы