Dennis Technology Labs: Динамическое тестирование антивирусов: Июль-Сентябрь 2013

Dennis Technology Labs является членом AMTSO - Организация по стандартизации тестирования средств защиты от вредоносных программ (Anti-Malware Testing Standards Organisation).

Целью данного динамического тестирования было сравнение эффективности антивирусных программ (комплексных решений и бесплатных антивирусов), предоставляемых известными и популярными вендорами.

Антивирусные решения подверглись испытанию интернет-угрозами, которые были активными в течение периода проведения тестирования. Это динамическое тестирование было проведено методами, тесно отражающими реальный опыт использования антивирусных программ в повседневной жизни.

Результаты показывают, что произошло бы, если пользователь использовал одно из антивирусных решений, представленных в испытании, и посетил зараженный веб-сайт.

Тестируемые антивирусы

В сравнительном тестировании принимали участие следующие антивирусы:

McAfee провалил независимое антивирусное тестирование

Известные независимые антивирусные лаборатории AV-Test и AV-Comparatives обычно включают от 20 до 25 продуктов в программу тестов. Исследователи из Dennis Technology Labs тестируют более малочисленную группу из 8-9 антивирусных решений, однако их интенсивные испытания проходят в условиях, максимально приближенных к реальному использованию. В последнем ежеквартальном отчете компании 5 продуктов отработали отлично, 3 показали хороший результат, а McAfee просто провалил тестирование.

Тестирование защиты

Половина проводимых лабораторией тестов оценивают противостояние защитных механизмов против 100 вредоносных атак. Для статических сигнатурных тестов это совсем небольшое количество. Тем не менее, методика тестов, проводимых Dennis Technology Labs достаточно проста. Исследователи используют специализированные веб-приложения для фиксирования взаимодействия между вредоносным сайтом и незащищенным компьютером. Это же ПО используется для оценки взаимодействия между угрозами и машиной с установленным продуктом.

Продукт, который полностью противостоит атаке получает 3 балла. Если антивирус блокирует вредоносную программу уже после ее запуска и успешно удаляет следы, то он получает 2 балла. Если продукт заблокировал угрозу, но не очистил систему от ее следов, то он зарабатывает только один балл. Если вредоносная программа смогла обойти защиту, общий балл уменьшается на 5 пунктов. Таким образом, в итоге продукт может получить от 300 до -500 очков.

Kaspersky Internet Security заработал отличные 300 очков. Norton и ESET оказались немного позади с результатами в 282 и 274 очка соответственно. McAfee набрал скромные 136 баллов, хуже результат только у Microsoft: 124 балла.

Детальный анализ ложных срабатываний

Для антивирусных продуктов важно не только противостоять угрозам, но и не препятствовать нормальному использованию ПК. Блокировка надежных программ не дает пользователю работать в обычном режиме.

Несколько тестов назад в Dennis Labs начали учитывать ложные срабатывания и последствия ошибочных действий. В новом тесте исследователи пошли вперед и теперь оценивают два разных аспекта ложных срабатываний.

Первая категория оценки описывает, как антивирус характеризует надежное приложение: неизвестное, неклассифицированное, подозрительное, нежелательное или вредоносное. Если безопасная программа характеризуется как вредоносная это наихудший результат.

Другой аспект описывает взаимодействие с надежной программой. Самым худшим результатом здесь будет отправка в карантин без запроса, а самым лучшим – беспрепятственный запуск программы. Есть еще промежуточные результаты, когда программа спрашивает пользователя о действии. По умолчанию антивирус может предлагать разрешить процесс, заблокировать его или не предлагать никакое из вышеперечисленных действий.

Microsoft показал наилучший результат в этом тесте – 748 очков, он вообще не заблокировал ни одной надежной программы. Kaspersky, AVG, и avast! расположились в 10-бальном интервале от лидера. Внизу таблицы опять McAfee – 583 очка.

Общая оценка

Общий результат позволяет на одном графике оценить эффективность антивирусных решений. Антивирусы должны не только обнаруживать угрозы, но и позволять легитимным приложениям беспрепятственно работать на компьютере пользователя.

Результат, приведенный ниже, учитывает уровень обнаружения угроз и количество ложных срабатываний.

Сертификаты и заключения

Kaspersky и ESET получили рейтинг ААА, наивысший рейтинг в лаборатории Dennis Technology Labs. AVG, Avast и Norton получили АА, а Bitdefender, Microsoft, и Trend Micro – сертификат B. Только McAfee не прошел сертификацию.

В докладе делается вывод, что блокирование URL-адресов на основе анализа репутации может быть очень эффективным. Если защищаемая система ни разу не сталкивалась с инфицированным сайтом, вредоносная программа имеет нулевой шанс произвести атаку. В отчете лаборатории отмечается, что некоторые антивирусные программы слишком «параноидальные и недоверчивые" при блокировании надежных программ.

Уникальная методика тестов, используемая в Dennis Labs позволяет максимально приблизить синтетические тесты к реальному опыту использования компьютера. Надеемся, что в скором времени лаборатория найдет ресурсы для увеличения количества тестируемых продуктов.

С полным отчетом вы можете ознакомиться по этой ссылке.