AV-Comparatives: Тестирование защиты от спама

Введение

Под термином спам мы понимаем массово распространяемые нежелательные сообщения. Подобные письма могут отправляться в рекламных целях, в этом случае они они скорее раздражают пользователей, чем наносят какой-либо вред. Тем не менее, многие спамные сообщения являются действительно вредоносными. Они могут содержать фишинг-атаку, содержать ссылки на мошеннические сайты и ресурсы с вредоносным ПО или включать вредоносные файлы в виде вложений. Важно отметить, что не все нежелательные письма нужно расценивать как спам - есть разграничения между безусловным спамом и легитимной рекламной рассылкой. Все, используемые в тесте AV-Comparatives сообщения являются безусловным спамом.

Цель теста заключается в предоставлении информации об эффективности популярных антивирусных программ со встроенным спам-фильтром. Испытание не учитывает другие функции продуктов (например, антивирусную защиту). Тем не менее, 12 из 13 протестированных решений включают защиту от вредоносного ПО, а значит данная защита могла заблокировать вредоносные вложений еще до того, как сообщения будут помечены как нежелательные встроенным спам-фильтром.

Тестирование проходило в марте 2016 года на машинах на базе ОС Microsoft Windows 7 SP1 64-битная (английский), а в качестве почтового клиента использовался Microsoft Outlook 2013. Тестовая коллекция включала более 127 000 спамных сообщений.

Тестируемые антивирусы и программы

• Avast Free Antivirus 2016
• AVG Internet Security 2016
• Bitdefender Internet Security 2016
• BullGuard Internet Security 16.0
• ESET NOD32 Smart Security 9.0
• F-Secure Internet Security 2016
• G Data InternetSecurity 2016
• Kaspersky Internet Security 2016
• Lavasoft Ad-Aware Pro Security 11.1
• McAfee Internet Security 2016
• Microsoft Outlook 2013
• SuperSpamKiller Pro 6.30
• Symantec Norton Security 22.6

Процедура тестирования

В 2015 году подобный тест уже проводился AV-Comparatives, но не являлся публичным. Тогда использовались сообщения, предоставленные сервисом Abusix. Вендоры получили результаты испытания, чтобы проверить методику тестирования и обеспечить обратную связь. Многие решения продемонстрировали низкую эффективность, и у вендоров было время, чтобы исправить проблемы или даже полностью заменить технологии фильтрации. В марте 2016 года тест был проведен повторно, но его результаты опубликованы публично.

В любом испытании на обнаружение важно протестировать ложные срабатывания. Некоторые программы безопасности автоматически увеличивают чувствительность антиспама когда фиксируется большое количество нежелательных писем. Поэтому был проведен коротко-срочный тест на ложные срабатывания - каждый продукт на протяжении недели работал на пользовательской машине, а затем анализировалось, какое количество легитимных сообщений было ошибочно помечено как спам (в действительно ни один продукт не выдал ложные срабатывания). Лаборатория посчитала данное испытание достаточным для демонстрации, что протестированные решения не склонны к ложным срабатываниям.

Сводная информация

• В тестировании принимали участие потребительские продукты;
• Тестируемым продуктам были запрещены любые формы обучения и адаптации;
• Встроенный антиспам Microsoft Outlook 2013 был отключен;
• Любая предварительная фильтрация со стороны провайдеров услуг электронной почты (Gmail, Yahoo и т.д.) не учитывалась в испытании.

Каждый продукт получал электронные письма из почтового ящика POP3. Продукты могли использовать информацию о домене и IP-адресе из заголовков сообщений. Использовался узел SMTP с фиксированным IP-адресом, поэтому адрес узла не мог использоваться для фильтрации спама.

Сбор спамных сообщений и их передача выполнялась силами компании Abusix. Лента сообщения предварительно фильтровалась (использовались только проверенные письма). Все сообщения перенаправлялись на целевую машину без правок исходного текста, но заголовок сообщения изменялся таким образом, как-будто сообщение отправлялось адресату напрямую. Все остальные поля оставались без изменений. Сообщения с недействительными заголовками не засчитывались в итоговых результатах. Некоторые сообщения были анонимизировали и могли иметь адрес вида [email protected] - такие письма тоже отбрасывались. Также исключались сообщения, содержащие одно поле получателя с IP-адресом в заголовке.

В результате тестовая коллекция насчитывала 127 000 образцов спама.

Результаты

Данный тест проверяет эффективность компонентов антиспама, встроенных в популярные решения Internet Security.

Ниже представлены результаты испытания продуктов. Microsoft Outlook включает собственный спам-фильтр, результаты которого также представлены в таблице. Результаты продуктов, которые отработали хуже базовой линии защиты (Microsoft Outlook) не показаны.

Карта спама

Данная карта показывает географическое распределение источников спамных ловушек. Цвет каждой страны отображает общее число отправленных нежелательных сообщений и варьируется от желтого (меньшее количество спама) до красного (максимальное количество спама). Синие точки показывают новейшие источники спама.

Интерактивная версия карты доступна на сайте AV-Comparatives по адресу: http://spammap.av-comparatives.org

Самые крупные источники спама:

Обзор тестирования на русском языке подготовлен сайтом Comss.ru. С полным отчетом вы можете ознакомиться по этой ссылке (pdf, английский).