MRG Effitas 2021: Тестирование корпоративных антивирусов для Windows 10

Лаборатория MRG Effitas уделяет основное внимание оценке эффективности программ безопасности при противодействии финансовым угрозам, а также в традиционных динамических тестах.

Методология, используемая в данном тесте, максимально приближена к условиям реального использования. Данная программа тестов называется «360 Assessments», поскольку она затрагивает полный спектр вредоносных программ, а не только финансовые угрозы.

В тестах «360 Assessments» используются трояны, бэкдоры, программы-вымогатели, финансовые угрозы и другие виды угроз. Кроме динамических испытаний, лаборатория проводит тесты для проверки защиты против ПНП (потенциально нежелательных программ), рекламного ПО, эксплойтов, бесфайловых угроз, измеряет уровень ложных срабатываний и влияние программ безопасности на производительность системы.

Динамическое тестирование антивирусов

Комплексное тестирование антивирусов

Большинство вредоносных URL-адресов, используемых в данном тесте соответствуют взломанным, некогда надежным сайтам, которые распространяют вредоносные программы. Данные URL представляет большую опасность для пользователей, потому что они меньше всего ожидают атак в таких ситуациях. URL-адреса собираются с помощью специальных приманок, а в случае с программами-вымогателями и финансовым ПО, используются URL недавно обнаруженных ресурсов по распространению угроз.

Вредоносные программы, применяемые в данном тесте, можно рассматривать как угрозы нулевого дня в истинном значении данного термина. Они представляют серьезный вызов для участников тестирования.

Программы безопасности, которые не защищают систему от шифрования файлов программами-вымогателями, не могут получить сертификацию, потому что они не могут устранить вредоносные последствия и восстановить доступ к файлам.

Примерно 10% угроз, используемых в данном тесте, были введены систему через внутреннюю веб-почту. Эксперты лаборатории стали свидетелями того, как многие организации малого бизнеса страдали от заражений, распространяющихся с помощью корпоративной веб-почты из-за отсутствия надежной системы фильтрации спама. Загрузка вредоносных вложений из корпоративной почты не вызывает срабатывание веб-защиты продуктов, и это часто происходит в реальном мире.

Защита от ПНП / Рекламного ПО

Образцы ПНП (потенциально нежелательных программ), используемые в тесте являются поддельными приложениями или потенциально нежелательными программами (ПНП), которые не являются вредоносными, но считаются неуместными в большинстве домашних и корпоративных сетей. Они содержат агрессивную рекламу, устанавливают тулбары или преследуют другие неочевидные цели. Они могут способствовать повышенному потреблению ресурсов компьютера. ПНП могут вводить в заблуждение пользователя, наносить реальный ущерб, выполнять фальшивые действия, показывать агрессивные всплывающие окна или пугать пользователя. Они могут предоставлять нетрадиционные способы удаления, оставляя некоторые компоненты в системе без согласия пользователя. Лаборатория используют информационный поток организации AppEsteem с дополнительной фильтрацией. AppEsteem сформулировала четкие стандарты ПНП по индустрии, которые применяются ведущими мировыми компаниями в области компьютерной безопасности, а также создала минимальный набор требований, которые должны удовлетворять приложения и сервисы, чтобы не подходить под термин ПНП.

AppEsteem является членом AMTSO и ставить своей миссией содействие компаниям безопасности в защите потребителей от преследований и нежелательных материалов. MRG Effitas, как член AMTSO, также следует данным целям.

Защита от эксплойтов и бесфайловых угроз

Основная цель данного теста – ознакомиться с тем, как программы безопасности защищают от конкретных техник эксплуатации. Чтобы это оценить, лаборатория разработала тестовые сценарии, которые симулируют соответствующий экслойт и пост-эксплуатационные техники. Благодаря данной методике, можно узнать, какие продукты предоставляют защиту от отдельных методов эксплуатации.

Эксплойты со скрытой загрузкой являются одними из самых больших угроз и проблем в корпоративной среде, поскольку для запуска вредоносного ПО на компьютере пользователя не требуется взаимодействие с пользователем. Устаревшие браузеры и среды Office сохраняют высокую популярность в корпоративной среде из-за проблем совместимости, отсутствия правильного контроля над развертыванием патчей и др.

В данном испытании лаборатория не заинтересована в проверке способности продуктов избегать непосредственной встречи с противником, обнаруживать опасность или прерывать доставку угрозы перед внедрением в систему. Вместо этого MRG Effitas концентрируется непосредственно на анализе способности продуктов принимать меры снижения рисков против каждой техники атаки. Результаты не предназначены для оценки полной эффективности продуктов, а скорее для оценки эффективности исключительно защиты от экслойтов и функциям защиты от последствий эксплуатации в изолированной среде.

Тестирование защиты от ботнета – BYOB

В качестве теста на защиту от ботнета использовался инструмент BYOB (Build Your Own Botnet) на основе языка Python. Его поведение идентично любому активному ботнету. Основная встроенная функция предназначена для кражи учетных данных с помощью двух основных компонентов - сервера CnC и загружаемого портативного исполняемого файла.

Симуляция финансовой атаки – Magecart

Имитатором вредоносного ПО финансового характера, использованного в первом квартале 2021 года, была атака Magecart – атака, направленная на вымогательство денег с кредитных карт. Magecart – это название группы мошенников, которые атакуют некоторые сайты электронной коммерции и компании по продаже билетов, такие как Ticketmaster, British Airways, Newegg, Infowars и т.д. Они используют небольшие JavaScript-коды на страницах оформления заказа интернет-магазина. Эти скрипты извлекают персональные данные и/или данные кредитных карт и отправляли их на серверы злоумышленников.

Тест на ложные срабатывания

Блокировка вредоносных программ не всегда достигается 100%-ным уровнем обнаружения. Во многих случаях блокировка угрозы является следствием агрессивно настроенного фильтра, который может блокировать неопасные программы, а также нарушать повседневную работу, блокируя надежные или недавно разработанные собственные приложения.

Чтобы протестировать данную функцию, MRG Effitas проверяет, как тестируемые программы безопасности справляются с обработкой абсолютно чистых, недавно созданных приложений.

Тестирование производительности

Полезность продукта безопасности не зависит только лишь от степени защиты. Большое значение также имеет воздействие на операционную систему и быстродействие машины.

Чтобы оценить влияние продуктов на работу операционной систему, MRG Effitas провела оценку нескольких факторов производительности на физической машине и сопоставила результаты с помощью системы начисления баллов.

В каждом тестовом случае (за исключением теста производительности) тестовая среда лаборатории поддерживала использование совместимых с виртуальными машинами угроз, поэтому специалисты MRG Effitas могли применять более сложные угрозы, которые не запускаются на виртуальных машинах.

Сертификация MRG Effitas

Программа сертификации предназначена для отражения эффективности продукта на основе «имеющих значение метрик».

Во многих предыдущих тестах, особенно тех, которые проверяли защиту против финансового ПО, за точку отсчета бралась гипотеза, что конечная точка уже была скомпрометирована. MRG Effitas, как одним из лидирующих поставщиков списков вредоносных URL и новейших бинарных исполняемых файлов угроз, прекрасно знает, что любая конечная точка может быть заражена независимо от используемого решения безопасности.

Способность продукта блокировать начальное заражение не является единственным показателем, который имеет значение (хотя в некоторых случаях является критически важным). Также необходимо измерять время, которое занимает обнаружение конкретной угрозы и время на восстановление вредоносных последствий.

При проведении данных тестов специалисты лаборатории пытаются моделировать обычное поведение пользователей. Лаборатория понимает, что динамическое тестирование не может проводиться командной профессионалов внутри лаборатории, потому что эксперты знают как работают те или иные виды вредоносных программ, как проводятся вредоносные атаки и как их можно предотвратить. Моделирование стандартного поведения пользователя означает, что лаборатория уделяет особое внимание всем предупреждениям со стороны программ безопасности. Зеленый свет дается только, если предупреждения являются простыми и понятными, и они доступно объясняют, что вредоносное действие должно быть заблокировано.

При этом очень важно отметить, что лучший выбор для обычного пользователя представляет потенциальный продукт, который не показывают слишком много всплывающих оповещений и не задает слишком много вопросов.

Результаты тестирования

Q1 2021

Динамическое тестирование антивирусов проводилось независимой лабораторией MRG Effitas в первом квартале (Q1) 2021 года по следующему сценарию:

• 10 решений безопасности, корпоративные антивирусы
• 360 образцов распространенных угроз "In-the-Wild"
• Тестирование защиты от активного ботнета BYOB
• Симуляция финансовой атаки с помощью Magecart
• Сценарий реального использования без инициированной пользователем нейтрализации угроз
• Проверки защиты против ПНП, рекламного ПО, эксплойтов, бесфайловых угроз
• Проверка уровня ложных срабатываний и влияния антивирусов на производительность системы
• Операционная система: Windows 10 x64
• Браузеры: Google Chrome и Mozilla Firefox

Тестируемые антивирусы

Использовались следующие антивирусные программы с последними версиями на момент тестирования:

Пропущенные и заблокированные образцы

Во время тестирования «In the Wild 360» использовалось 360 активных ITW образцов зловредов. Тестовая полезная нагрузка включала трояны (34), бэкдоры (45), финансовые угрозы (42), программы-вымогатели (53), шпионское ПО (41), зараженные документы (49), зараженные email-сообщения (22), вредоносные скрипты (74).

Блокировка программ-вымогателей (ransomware)

Во время тестирования использовалось 53 программ-вымогателей.

Блокировка финансовых угроз

Во время тестирования использовалось 42 финансовые угрозы.

Блокировка ПНП и рекламного ПО

В тестировании против ПНП / рекламного ПО проводится проверка на защиту от ПНП-угроз (10 образов), полученных из потока AppEsteem.

Блокировка эксплойтов и бесфайловых угроз

Во время тестирования использовалось 8 различных техник эксплуатации.

Защита от ботнета BYOB

Блокировка симулированной атаки

Ложные срабатывания

В испытании на выявление ложных срабатываний использовалась коллекция из безопасных и надежных образцов (1000). Среди тестовых объектов – образцы, которые можно найти в корпоративных средах: драйверы, редакторы мультимедийных файлов, инструменты разработчика и др.

Влияние антивирусов на производительность

Диаграмма отсортирована от наивысшего к низшему баллу, где наивысший балл означает наименьшее влияние на систему.

Сертификат MRG Effitas: 360 Assessment

Из 10 протестированных продуктов, 6 антивирусов смогли выполнить необходимые условия для получения сертификации MRG Effitas: 360 Assessment Q4 2020.

Уровень 1

Для получения ежеквартальной сертификации MRG Effitas 360 Degree (Уровень 1), приложение безопасности должно полностью защитить систему от первоначального заражения: либо путем автоматической блокировки каждого ITW образца, или блокировкой угроз на основе их поведения, предотвращая любые вредоносные действия. Также антивирус должен пройти тест на активный ботнет (Live Botnet Test). Тесты на защиту от ПНП, ложные срабатывания, защиту от эксплойтов и бесфайловых угроз, симулятор финансового вредоносного ПО и тесты производительности не являются частью сертификации.

• Bitdefender Endpoint Security

Уровень 2

Сертификация MRG Effitas 360 Degree (Уровень 2) дается, если антивирус блокирует или обнаруживает любое изначально пропущенное вредоносное ПО, по крайней мере, в 98% случаев при повторном тестировании чрез 24 часа, в то время как изначально пропущенные тестовые случаи составляют менее 10%. В случае успешного запуска трояна-вымогателя, если файлы больше недоступны, сертификация 2-го уровня теряется.

• Avast Business Antivirus
• F-Secure Computer Protection Premium
• Malwarebytes Endpoint Protection
• Microsoft Defender Antivirus
• Sophos Intercept X
• Symantec Endpoint Protection
• Trend Micro Security

Без сертификата

Следующие антивирусы не смогли обнаружить более 98% угроз и исправить заражение во время процедуры тестирования.

• Avira Antivirus Pro
• ESET Endpoint Security