Dennis Technology Labs: Динамическое тестирование антивирусов

Исследователи лаборатории Dennis Technology Labs определили лучшие антивирусы для Windows с учетом уровня защиты и влияния на производительность системы, собрав данные по результатам собственных испытаний.

В данном отчете приводятся результаты динамического тестирования антивирусов, которые определили уровень защиты тестируемых антивирусных решений.

Тестируемые антивирусы

В сравнительном тестировании принимали участие следующие антивирусы:

• AVG Anti-Virus Free
• Avast Free Antivirus
• ESET Smart Security
• Kaspersky Internet Security
• McAfee Internet Security
• Microsoft Security Essentials
• Norton Security
• Trend Micro Internet Security

Суммарные показатели надежности защиты (Total Accuracy Ratings)

Рейтинги суммарной надежности защита позволяет судить о том, насколько эффективен антивирус при противостоянии угрозам с помощью простого графика.

Тем не менее, антивирусное ПО не должно только блокировать угрозы, оно должно позволять беспрепятственный запуск надежных приложений.

Результаты ниже учитывают то, насколько точно программы обрабатывали тестовые зловреды и насколько правильно вели себя по отношению к легитимным программам.

Суммарные показатели надежности защиты учитывают не только успешную блокировку угроз, но и игнорирование зловредов, а также ложные срабатывания на безопасные приложения.

Методика тестирования:

Запускалось два различных теста: один из них выявлял, как эффективно антивирусы блокируют Интернет-угрозы, а другой проверял обработку надежных программ.

Идеальный продукт блокирует все угрозы и разрешает запуск всех безопасных программ.

Игнорирование угрозы, атакующей тестовую систему является нарушением. При блокировке и выводе уведомления на надежное ПО регистрируется должное срабатывание.

Продукты зарабатывают очки за успешную нейтрализацию угроз и за беспрепятственный доступ к легитимным программам. Соответственно решения теряют очки, если не удается заблокировать угрозу или ошибочно блокируется доступ к безопасному источнику.

Затем каждый антивирус получает итоговый рейтинг, основанный на результатах двух тестов.

Эти результаты демонстрируют суммарный показатель эффективности защиты, учитывающий производительность с угрозами и безопасным ПО. Максимальный результат равняется 4,484 баллам, а минимальный - -5,284.

Рейтинг за защиту (Protection Ratings)

Результаты ниже показывают, насколько эффективно протестированные продукты противостояли угрозам. Ложные срабатывания здесь не учитываются.

• Нейтрализация (+1)

Если продукт прекращает выполнение запустившейся угрозы, событие идентифицируется как нейтрализация. В этом случае антивирус получает 1 балл.

• Нейтрализация, полное восстановление (+2)

Продукт получает одно дополнительное очко, если кроме остановки исполнения вредоносной программы, он удалил все вредоносные следы атаки.

• Блокировка (+3)

Продукты, которые предотвратили запуск угрозы, получали 3 балла в конкретном тестовом случае.

• Игнорирование (-5)

Если угроза смогла беспрепятственно запуститься в системе, не будучи обнаруженной или смогла инфицировать систему, из результата продукта вычиталось 5 баллов.

Наилучший результат в данном тесте равнялся 1200 баллам, наихудший - -2000 баллам.

Таким образом, рейтинг за защиту высчитывался по следующей формуле:

Рейтинг за защиту = (3 * количество блокировок) + (1 * количество нейтрализаций + (1 * количество полных восстановлений) + (-5 * количество игнорирований)

Обратите внимание, что “количество полных восстановлений” относится лишь к событиям нейтрализаций, в которых было достигнуто удаление вредоносных следов. Полное восстановление автоматически предполагается для всех случаев “блокировка”.

Весовые коэффициенты распределены таким образом, чтобы продукты, которые препятствуют любой активности вредоносных программ в системе получали максимальные баллы, а продукты, игнорирующие угрозы, получали существенное наказание.

Возможно применить альтернативные весовые коэффициенты при желании.

Баллы за защиту (Protection Scores)

Диаграмма ниже показывает общий уровень защиты, сочетающий результаты блокировки и нейтрализации угроз. Здесь не представлены различия между отдельными уровнями защиты: либо система защищена, либо нет.

Баллы за защиты показывают, сколько раз каждый продукт предотвращал инфицирование системы угрозами.

Детальная информация о защите (Protection Details)

Антивирусные продукты обеспечивали различные уровни защиты. Когда продукт блокировал угрозу, он предотвращал попытку угрозы закрепиться в целевой системе. Вредоносная программа могла проникнуть в систему и инфицировать ее, и в некоторых случаях продукт нейтрализовывал угрозу после запуска или позже. Если продукт игнорировал угрозу, безопасность системы была нарушена.

График показывает, как продукты обрабатывали атаки. Они сортированы в порядке баллов за защиту.

Рейтинг по ложным срабатываниям (Legitimate Software Ratings)

Рейтинг по ложным срабатываниям позволяет судить о том, как эффективно антивирусные программы работали с безопасными программами.

Антивирусные программы должны разрешать беспрепятственный запуск надежных приложений. Данные результаты принимают в расчет уровень взаимодействия продукта с пользователем при принятии решения и распространенность программы.

Когда продукт неправильно классифицировал популярную программу, он получал более серьезное наказание, чем если бы файл был мало распространенным.

Рейтинг взаимодействия (Interaction ratings)

При тестировании учитывалось любое поведение антивируса по отношению к надежному ПО: блокирование, разрешение исполнения и различные пользовательские запросы.

Продукт получает максимальные баллы, если разрешает запуска безопасных программ автоматически, без запросов и любых других видов взаимодействия с пользователем. Антивирус теряет баллы при увеличении уровня взаимодействия и уменьшении точности обработки.

Если продукт выдает ложное срабатывание с ошибочной формулировкой оповещений (например, “Вредоносное ПО”), он получает суровое наказание.

График ниже показывает наиболее распространенные возможности совместно с некоторыми результатами, которые могли быть только в случае, если продукт работал некорректно.

Максимальные баллы получают наиболее точные решения. Продукты, которые задают слишком много вопросов и являются очень параноидальными, штрафуются.

Рейтинг распространенности (Prevalence ratings)

Распространенность каждого образца имеет большое значение. Если антивирус взаимодействует с популярными приложениями, тогда ситуация имеет большую серьезность, чем при обработки редких и нераспространенных приложений. Тем не менее, обычно ожидается, что антивирусы разрешают запуск любых безопасных программ.

Программы, отобранные для теста на ложные срабатывания, были разделены на пять групп по степени взаимодействия: Очень высокое (Very High Impact), высокое (High Impact), среднее (Medium Impact), низкое (Low Impact) и очень низкое (Very Low Impact).

Таблица ниже показывает сравнительную важность каждой группы, выражаемую в числовом значении.

Эти категории были отнесены к программному обеспечению в зависимости от недельного показателя количества загрузок, полученного от сторонних сайтов загрузок, включая портал Download.com на момент тестирования.

По возможности файлы загружались из официальных источников, а не со сторонних порталов, чтобы исключить добавление ПНП к установщику. Наличие сторонних расширений переводит надежные программы в разряд потенциально опасных и подозрительных и может быть основанием для блокировки антивирусным ПО.

Таблица ниже показывает зависимость уровня взаимодействия от недельного количества загрузок безопасных программ.

Рейтинг точности (Accuracy ratings)

Рейтинг точности обработки легитимного ПО высчитывается с помощью перемножений рейтингов взаимодействия и распространенности

Рейтинг точности = Количество программ * (рейтинг взаимодействия * рейтинг распространенности)

Например, если продукт разрешает запуск 10 надежных программ с уровнем распространенности Medium Impact без взаимодействия с пользователем, тогда рейтинг будет равен:

Рейтинг точности 10 * (2*3) = 60

Распространение категорий взаимодействия

Максимально возможный показатель в данном тесте равняется 4000 баллов, а самый худший результат - -4000 баллов (учитывая, что все приложения были классифицированы в категорию Very High Impact).

На самом деле, распространение приложений не ограничивалось исключительно уровнем Very High Impact. Таблица ниже показывает реальную картину распределения распространенности образцов.

Тестирование защиты

Угрозы

Очень важно обеспечить эмуляцию реального использования пользователями, чтобы проиллюстрировать реальные случаи встречи повседневных Интернет-атак.

Например, в данном тесте, доступ к веб-угрозам осуществлялся с помощью браузера при обращении к реальным инфицированным сайтам, а не с помощью CD-дисков или внутренних тестовых сайтов.

Все целевые системы были полностью открыты для угроз. Это означает, что любой код эксплойта и других вредоносных программ мог свободно запускаться. Угрозы запускались и могли выполняться, так, как и было задумано.

Минимальный период времени в 5 минут давался на то, чтобы вредоносные программы имели возможность исполниться.

Раунды тестирования

Испытания проводились в несколько раундов. В каждом раунде фиксировалось взаимодействие антивируса с конкретной угрозой. Например, в раунде “1” каждый продукт должен был столкнуться с одним и тем же вредоносным веб-сайтом.

В конце каждого раунда, система полностью сбрасывались к исходному состоянию, чтобы удалить возможные вредоносные следы перед началом следующего раунда.

Мониторинг

Регистрация событий в целевых системах необходима для оценки относительных успехов вредоносных программ и антивирусов. В тесте применялось запись следующей активности: сетевой трафик. Создание файлов и процессов и изменения важных файлов.

Уровни защиты

Продукты показывали различные уровни защиты. Иногда продукт предотвращал выполнение угрозы или по крайней мере предотвращал существенные изменения в целевой системе.

В других случаях угроза могла выполнять определенные задания в целевой системе (например, эксплуатация уязвимости или выполнение вредоносного кода), после чего антивирус мог вмешаться и удалить вредоносное содержимое.

Наконец, угроза могла полностью обойти защиту и выполнить вредоносные задания оставаясь необнаруженной. В некоторых случаях даже возможно было отключение антивирусной защиты.

Иногда собственные защитные механизмы Windows могли заблокировать угрозу, после игнорирования со стороны тестируемого антивируса. Еще одни результатом тестового случая мог быть сбой вредоносного ПО.

Различные уровни защиты, обеспечиваемые каждым продуктом, выявлялись путем анализа файлов журнала событий.

Если вредоносная программа не смогла корректно запуститься в конкретном случае, предположительно из-за наличия защиты, а не из-за конкретных действий антивируса, продукт получал преимущества полной блокировки угрозы.

Если тестовая система была повреждена, данный случай расценивался как игнорирование угрозы, даже если активные компоненты вредоносной программы были удалены продуктом.

Виды защиты

Все протестированные продукты обеспечивали два основным вида зашиты: защита реального времени и защита по требованию. Защита реального времени постоянно следит за системой и предотвращает доступ к системе вредоносным программам.

Защита по требованию является по существу сканированием на вирусы, которое запускается пользователем в произвольный момент времени.

Результаты теста отражают поведение обоих типов защит. Защита реального времени на протяжении всего теста выполняла мониторинг системы, в то время, как сканирование по требованию запускалось только в конце испытания для оценки того, как антивирус рассматривает уровень безопасности системы.

Ручное сканирование запускалось лишь в том случае, когда исследователь лаборатории выявлял, что вредоносная программа смогла взаимодействовать с целевой системой. Другими словами, если антивирус заблокировал атаку на первоначальном шаге, и журналы событий подтвердили это, тестовый случай рассматривался как завершенный и фиксировалась успешная блокировка.

Целевые системы

Для создания честной тестовой среды, все продукты устанавливались на чистую 64-битную систему Windows 7 с установленным пакетом обновлений SP1. Данная ОС была выбрана из-за широкого распространения угроз, разработанных для нее.

На одной из тестовых систем были установлены последние обновления и запущен Microsoft Security Essentials для определения эффекта совместного использования.

На тестовых системах были установлены сторонние приложения, которые могут иметь уязвимости – среди них Adobe Flash Player, Adobe Reader и Java.

Антивирусные продукты могли автоматически обновляться и обновлять сигнатурные базы. Кроме того, перед каждым раундом тестирования процесс обновления запускался вручную.

Каждая целевая система представляла собой физический компьютер, а не виртуальную машину и была подключена к Интернету с помощью собственной виртуальной сети VLAN во избежание перекрестных заражений вредоносным ПО.

Выбор угроз

Вредоносные ссылки, используемые в тесте, не предоставлялись антивирусными вендорами.

Они были собраны с помощью списка, сформированного с помощью базы данных Dennis Technology Labs.

Во всех случаях использовалась уникальная система контроля (Verification Target System - VTS) для подтверждения того, что URL-адрес относится к сайту с вредоносным ПО.

Вредоносные URL и файлы не отправлялись вендорам во время тестирования.

Награды в тестировании (Awards)