AV-Comparatives 2024: Лучшие антивирусы для защиты от целевых атак

В расширенном динамическом тестировании антивирусов Advanced Threat Protection Test 2024 (Enhanced Real-World Test) исследователи AV-Comparatives используют хакерские инструменты и техники взлома, которые позволяют злоумышленникам получать доступ к внутренним компьютерным системам.

Тестируемые антивирусы

В расширенном динамическом тестировании (Enhanced Real-World Test) принимали участие следующие вендоры. Антивирусы данных вендоров хорошо зарекомендовали себя во внутреннем предварительном тестировании. Компании-разработчики были достаточно уверены в возможностях своих антивирусов при противостоянии бесфайловым атакам и приняли решения участвовать в открытом тестировании. Все остальные разработчики антивирусов, участвующих в основной серии испытаний, отказались от тестирования.

• Avast Free Antivirus
• AVG Internet Security
• Bitdefender Total Security
• ESET NOD32 Internet Security
• G Data Total Security
• Kaspersky Standard для Windows
• McAfee Total Protection

Все потребительские антивирусы тестировались со стандартными настройками (настройками по умолчанию).

Общая информация

Термин «Постоянная серьезная угроза» (Advanced Persistent Threat, APT) обычно используется для описания таргетированных или целевых атак, направленных на взлом информационной системы и применяющих сложные методы и техники кибернападения. Среди конечных целей таких атак может быть кража, искажение или повреждение конфиденциальной информации или создание возможностей для саботажа, который, в свою очередь, может привести к финансовым и репутационным потерям целевых организаций. Подобные атаки отличаются узкой направленностью и использованием специализированных инструментов, таких как обфусцированный вредоносный код, злонамеренное использование легитимных системных инструментов или бесфайловый вредоносный код.

В расширенном динамическом тестировании (Enhanced Real-World Test) исследователи AV-Comparatives используют хакерские инструменты и техники взлома, которые позволяют злоумышленникам получать доступ к внутренним компьютерным системам организации. Данные атаки можно описать по модели Cybersecurity Kill Chain, разработанной компанией Lockheed Martin, выделив 7 различных фаз, каждая из которых имеет свой индикатор компрометации (Indicator of Compromise, IOC). Во всех тестах используется набор так называемых «тактик, методов и процедур» (Tactics, Techniques, Procedures, TTP), приведенных в базе знаний MITRE ATT&CK. В финальный отчет также включены результаты испытания на ложные срабатывания.

В тестах AV-Comparatives используется целый ряд методов и ресурсов, имитирующих поведение реальных вредоносных программ. Для обхода сигнатурного обнаружения исследователи лаборатории используют системные приложения. Для этого используются различные сценарные языки (JavaScript, пакетные файлы, PowerShell, скрипты Visual Basic и др.). В испытаниях применяются как одноэтапные, так и многоэтапные вредоносные образцы, выполняющие обфускацию при развертывании или шифрование вредоносного кода перед выполнением (с использованием стандартов Base64, AES). Для связи с киберпреступникам используются различные С2 каналы (HTTP, HTTPS, TCP). Также используются известные фреймворки для эксплойтов (Metasploit Framework, Meterpreter, PowerShell Empire, Puppy и др.).

В качестве целевых систем использовались полностью пропатченные 64-разрядные системы Windows 10. На каждой из систем был установлен свой антивирус. В корпоративном тестировании использовалась стандартная учетная запись пользователя, а в потребительском тестировании – учетная запись администратора устройства. По этой причине (а также из-за других настроек) результаты потребительского теста не могут быть напрямую сопоставимы с результатами корпоративного теста.

Как только жертва запускает полезную нагрузку, устанавливается канал связи с контрольным центром (Command and Control Channel, C2). Для этого на машине атакующего должен быть запущен прослушивающий модуль (listener). В этой роли может выступать Metasploit Listener, доступный в системе Kali Linux. С помощью С2-канала злоумышленник получает неограниченный доступ к взломанной системе. Функциональность и стабильность удаленного контроля оценивалась индивидуально в каждом тестовом случае.

В тестировании использовалось 15 различных атак. В будущих тестах в общедоступных отчетах планируется предоставить более подробную информацию о сложности испытания и тестовом покрытии. В данном тестировании основное внимание уделялось защите, а не обнаружению.

Вендорам, принимающим участие в основной серии испытаний AV-Comparatives (AV Main-Test-Series), была предоставлена возможность отказаться от данного теста, до запуска открытого тестирования, поэтому не все компании-разработчики учитывались в данном тесте.

Область тестирования

Тестирование Advanced Threat Protection (ATP) направлено на оценку того, насколько эффективно тестируемые продукты защищают от узкоспециализированных методов целевых атак. Испытание не учитывает общий уровень безопасности, предоставляемый каждой программой, или её способность защищать систему от вредоносных программ, загруженных из Интернета или попавших на устройство через USB-накопители и общие сетевые ресурсы.

Результаты теста следует рассматривать как дополнение к результатам динамического тестирования (Real-World Protection Test) и теста на защиту от вредоносных программ (Malware Protection Test), а не их замену. Следовательно, при оценке уровня защиты каждого отдельного продукта рекомендуется учитывать результаты других тестов из серии Main-Test. Данный тест показывает, защищает ли антивирус от определенных методов атаки и эксплуатации, используемых в целевых атаках. Пользователи, которые обеспокоены такими атаками, могут рассмотреть продукты, участвующие в этом тесте, поскольку их вендоры уверены в способности защитить систему от этих угроз.

В рамках ATP тестирования мы концентрируемся на создании и проверке различных видов вредоносных программ с управляемыми каналами C2, основанных на различных тактиках и методах злоумышленников. Мы применяем множество сценариев доставки, учитывающих потенциальные стратегии противников. Цель теста ATP — продемонстрировать возможности продуктов по предотвращению атак. Для этого мы используем различные POC, которые при выполнении пытаются установить стабильный C2-канал, что имитирует успешный начальный взлом. В случаях, когда POC не был предотвращен, и злоумышленник смог открыть стабильную C2-сессию, целевой ПК считался скомпрометированным. Тест не проверяет этапы атаки на разных стадиях (для этого у нас существует тест EPR).

Различия между “MITRE ATT&CK test” и “AV-Comparatives Advanced Threat Protection Test”

Тестирование Advanced Threat Protection (ATP) от AV-Comparatives сильно отличается от “MITRE test”, хотя в нем также используются элементы матрицы MITRE ATT&CK. “MITRE test” оценивает решения защиты конечных точек от сложных угроз (Endpoint Detection and Response, EDR) в сценариях, где вендоры активно отслеживают текущие атаки в режиме реального времени. В кибербезопасности для таких ситуаций существует специальный термин – “red and blue team testing”. Основное внимание здесь уделяется обнаружению и регистрации атакующих процессов (видимость), оповещению системных администраторов и предоставлению вспомогательных данных для ручной локализации и противодействия угрозам.

При подготовке к “MITRE test” вендоры переводят свои антивирусы в режим «регистратора» (“log-only”), чтобы получить как можно больше информации о цепочке атаки. Такие испытания имеют свою ценность и предоставляют ценные данные. Тем не менее, целью данного теста не является оценка защиты отдельных систем от заражения, повреждения системы и данных. Кроме того, тест MITRE не предусматривает системы рейтингов и просто предоставляет исходные данные для последующего анализа.

В тестировании Advanced Threat Protection Test от AV-Comparatives исследователи пытаются выяснить, насколько эффективно продукт защиты обеспечивает безопасность системы в повседневном использовании. Ключевым моментом является способность тестируемого антивируса предотвратить атаку в целом. Все остальное вторично: какой именно компонент заблокировал атаку и на каком этапе она была приостановлена, при условии, что тестовая система не была взломана (данная информация может быть добавлена в будущих тестах). В данном тесте также учитывались ложные срабатывания.

Процедура тестирования

Скрипты, содержащие вредоносный код, такие как VBS, JS или макросы MS Office, могут выполнять и устанавливать бесфайловый бэкдор на компьютере жертвы и создавать канал управления (C2) для злоумышленника, который обычно находится в другом физическом месте и даже может быть в другой стране. Помимо этих хорошо известных сценариев, распространение бесфайловых вредоносных программ возможно через эксплойты, удаленные вызовы (PSexec, wmic), планировщик задач, записи реестра, аппаратные устройства Arduino (например, USB RubberDucky) и вызовы WMI. Это может быть выполнено с помощью встроенных средств Windows, таких как PowerShell. Эти методы позволяют загружать вредоносную программу непосредственно из Интернета в память целевой системы и далее распространяться по локальной сети с помощью штатных инструментов операционной системы. Кроме того, злоумышленник может сделать угрозы устойчивыми на машине жертвы. В данном тесте не использовались портативные исполняемые (Portable executable, PE) угрозы.

Бесфайловые атаки

Существует множество категорий классификации вредоносных программ, и одна из них – наличие или отсутствие файловой системы. С 2017 года наблюдается значительный рост количества бесфайловых угроз. Одной из главных причин популярности данного типа атак является их высокая успешность с точки зрения злоумышленников. Одним из факторов их эффективности является то, что бесфайловые угрозы работают только в памяти скомпрометированной системы, что усложняет их обнаружение антивирусными решениями. Важно, чтобы такие угрозы распознавались как потребительскими продуктами, так и корпоративными решениями безопасности.

Векторы атаки и цели

В тестах на проникновение (Penetration tests) видно, что некоторые векторы атаки могут еще не быть полностью охвачены решениями безопасности, и многие популярные антивирусные продукты все еще обеспечивают недостаточную защиту. Некоторые корпоративные решения улучшают защиту в этой области и предоставляют более надежную защиту в определенных сценариях. Команда AV-Comparatives считает, что потребительские продукты также нуждаются в усилении защиты от таких атак, так как подобные угрозы могут быть направлены на любых пользователей. Любой человек может стать мишенью, например, в случае «доксинга» (публикации конфиденциальной личной информации) как акта мести. Взлом домашних компьютеров сотрудников также является очевидным путем доступа к корпоративной информации.

Методы атаки

В рамках Advanced Threat Protection Test используются различные стеки командной строки, команды CMD/PS, которые позволяют загружать вредоносную программу из сети непосредственно в оперативную память (в развернутом виде) или через вызовы, закодированные в Base64. Эти методы позволяют полностью избежать доступа к файловой системе, которая обычно хорошо защищена антивирусными решениями. Иногда применяются простые методы сокрытия или изменяются способы вызова основной нагрузки (stager). После загрузки второй части вредоносного кода устанавливается подключение к злоумышленнику через протоколы HTTP или HTTPS. Этот механизм позволяет установить C2-канал к злоумышленнику, обходя защитные меры большинства решений NAT и фаерволов. После успешного установления туннеля атакующий может использовать все доступные механизмы управления C2-продуктами (такими как Meterpreter, PowerShell Empire и т.д.). Они позволяют загружать и выгружать файлы, делать скриншоты экрана, регистрировать нажатия клавиш, управлять оболочкой Windows и записывать изображение с веб-камеры. Мы ожидаем, что атаки будут заблокированы, независимо от их размещения и способа исполнения. Если атака распознается только при очень специфических обстоятельствах, то такой продукт нельзя считать эффективно защищающим систему.

Тест на ложные срабатывания

Продукт, блокирующий 100% вредоносных атак, но также блокирующий легитимные (не вредоносные) действия, может оказаться весьма разрушительным. Поэтому AV-Comparatives проводит испытания на ложные срабатывания в рамках Advanced Threat Protection Test, чтобы проверить, могут ли продукты различать вредоносные и безопасные действия. В противном случае продукт мог бы блокировать 100% атак, использующих вложения электронной почты, скрипты и макросы, просто блокируя эти функции, что сделало бы невозможным выполнение повседневных задач для многих пользователей. Соответственно, оценки за ложные срабатывания учитываются в итоговом балле продукта.

Важно отметить, что постоянные предупреждения пользователя об открытии безобидных вложений электронной почты могут привести к сценарию «мальчик, который кричал волки». Пользователи, сталкивающиеся с множеством ложных предупреждений, рано или поздно начинают предполагать, что все предупреждения являются ложными, и могут проигнорировать истинное предупреждение, когда оно появится.

Тестовые сценарии

AV-Comparatives использовали пять различных фаз начального доступа (Initial Access Phases), распределенных между 15 тестовыми сценариями:

• Доверительные отношения: "Злоумышленники могут взломать или иным образом использовать организации, имеющие доступ к предполагаемым жертвам. Доступ через доверенные отношения с третьей стороной использует существующую связь, которая может быть не защищена или подвергаться меньшей проверке, чем стандартные механизмы получения доступа к сети".
• Действительные учетные записи: "Злоумышленники могут украсть учетные данные конкретного пользователя или учетной записи службы с помощью методов доступа к учетным данным или получить учетные данные на более ранних этапах разведки с помощью социальной инженерии [...]".
• Репликация через съемные носители: "Злоумышленники могут проникать в системы [...] путем копирования вредоносного ПО на съемный носитель [...] и переименования его в легитимный файл, чтобы обманом заставить пользователей выполнить его на отдельной системе. [...]"
• Целевой фишинг через вложение письма: "Спирфишинг вложений – это [...] использование вредоносных программ, прикрепленных к электронному письму. [...]"
• Целевой фишинг через ссылку: "Спирфишинг со ссылкой [...] использует ссылки для загрузки вредоносного ПО, содержащегося в электронном письме [...]".

Ниже приводится краткое описание 15 тестовых сценариев, использованных в данном тестировании:

1. Репликация через съемные носители: Создан вредоносный SCR-файл заставки, который выполняет payload для установления канала C2 через DNS. Использована коммерческая C2-платформа.
2. Действительные учетные записи: Разработан вредоносный JavaScript (JS), который выполняет shellcode через нативные API и DLL Side-Loading для открытия канала C2 по HTTP. Использована коммерческая C2-платформа.
3. Целевой фишинг через вложение письма: Создан вредоносный Visual Basic Script (VBS), который выполняет обфусцированный payload для открытия C2-канала через DNS. Использована коммерческая C2-платформа.
4. Доверительные отношения: Создан вредоносный SCR-файл заставки, который выполняет payload для открытия C2-канала через HTTP. Использована коммерческая C2-платформа.
5. Репликация через съемные носители: Создан вредоносный ярлык (LNK), который выполняет обфусцированный payload с помощью CertUtil для установления канала C2 через DNS. Использована коммерческая C2-платформа.
6. Целевой фишинг через ссылку: Создан MSI-файл, запускающийся одним кликом, который использует файл-приманку для запуска легитимного приложения и выполнения payload через rundll32 для открытия C2-канала Meterpreter по HTTP.
7. Действительные учетные записи: Создан вредоносный JavaScript (JS), который выполняет shellcode через нативные API и DLL Side-Loading для открытия C2-канала Meterpreter по HTTP.
8. Целевой фишинг через вложение письма: Создан вредоносный CPL-файл, который выполняет shellcode через rundll32.exe для установления канала C2 Meterpreter по HTTP.
9. Доверительные отношения: Создан вредоносный DLL, который выполняет XOR-зашифрованный shellcode через rundll32.exe для установления канала C2 Meterpreter по HTTP.
10. Репликация через съемные носители: Создан вредоносный ярлык .PIF, который способен изменять ETW, перехваченные пользовательские API, и выполнять обфусцированный shellcode для установления канала Meterpreter C2 по HTTP.
11. Целевой фишинг через ссылку: Создан однокликовый MSI-файл, который использует файл-приманку для запуска легитимного приложения и выполнения payload через rundll32 для открытия канала Empire C2 по HTTP.
12. Действительные учетные записи: Создан вредоносный Visual Basic Script (VBS), который выполняет shellcode для установления канала Empire C2 по HTTP.
13. Целевой фишинг через вложение письма: Создан вредоносный HTA-файл, который выполняет зашифрованный shellcode для открытия канала Empire C2 по HTTP.
14. Доверительные отношения: Создан вредоносный DLL, который выполняет AES-зашифрованный shellcode через rundll32.exe для установления канала Empire C2 по HTTP.
15. Репликация через съемные носители: Создан вредоносный DLL, который выполняет XOR-зашифрованный shellcode для установления канала Empire C2 по HTTP.

Тест на ложные срабатывания: Были использованы различные сценарии ложных срабатываний, чтобы проверить, не блокирует ли какой-либо продукт определенные действия (например, вложения электронной почты, коммуникации, скрипты и т.д.). Ни один из протестированных продуктов не показал чрезмерной блокировки в используемых сценариях. Если во время теста продукты адаптировали свою защиту к тестовой среде AV-Comparatives, лаборатория использовала бы контрмеры для обхода таких адаптаций, чтобы убедиться, что каждый продукт действительно может обнаружить атаку, а не только тестовую ситуацию.

Результаты тестирования

Тестовые сценарии	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15	FPs	Оценка
Avast																N	12
AVG																N	12
Bitdefender																N	13
ESET																N	14
G Data																N	9
Kaspersky																N	13
McAfee																N	8

Обозначения

	Угроза обнаружена, сессия С2 не была установлена, система защищена	1 балл
	Предупреждение не показывалось, сессия С2 не была установлена, система защищена	1 балл
	Угроза не была обнаружена, сессия С2 успешно установлена	0 баллов
	Результат защиты недействителен, поскольку были заблокированы и не вредоносные скрипты/функции	N/A
	FPs – ложные срабатывания: N (нет), Y (да)
	Оценка (Score) – общая оценка антивируса

Исследователи AV-Comparatives считают, что основная цель системы защиты (AV, EPP или EDR) заключается в том, чтобы обнаружить и предотвратить атаки или другие типы вредоносных программ на самых ранних этапах, по возможности до начала выполнения вредоносного кода. Важно предотвратить подключение к командному центру (C2) и блокировать угрозу до этапов пост-эксплуатации. Хорошая система безопасности должна срабатывать при первом признаке взлома, а не ждать, пока начнется кража данных или другой ущерб.

Тестирование акцентировало внимание на раннем обнаружении и предотвращении, чтобы не допустить развитие угрозы после запуска. Раннее прерывание канала C2 нарушает цепочку кибератаки и защищает от последующих вредоносных действий. Включение более вредоносных действий могло бы сместить акцент теста с раннего предотвращения на пост-эксплуатационные возможности, поэтому они не учитывались.

Анвтивирусы, блокирующие определенные легитимные функции (например, вложения электронной почты или скрипты), классифицировались только как «Tested». Тем не менее, ни один из протестированных продуктов не продемонстрировал чрезмерную блокировку в тестовых сценариях с ложными срабатываниями.

Примечания по потребительским антивирусам

В данном разделе приводится дополнительная информация, представляющая интерес читателям.

Этапы обнаружения/блокировки

• Предварительное выполнение (PRE): когда угроза не запущена и статически неактивна в системе.
• При выполнении (ON): сразу после запуска угрозы (динамическое состояние).
• После выполнения (POST): после того, как угроза была запущена, и её действия были распознаны (в памяти).

Примечания

• Avast Free Antivirus, AVG Internet Security: Обнаружение угроз происходило в основном до запуска или при запуске, с одним случаем после запуска.
• Bitdefender Total Security: Обнаружение угроз происходило либо до запуска, либо при запуске.
• ESET NOD32 Internet Security: Обнаружение угроз происходило в основном до запуска или при запуске.
• G Data Total Security: Обнаружение угроз происходило либо до запуска, либо при запуске.
• Kaspersky Standard для Windows: Обнаружение угроз происходило в основном при запуске или после запуска. В одном случае оповещение не отображалось, но сессия C2 не была установлена.
• McAfee Total Protection: Обнаружение угроз происходило при запуске.

Разработчики всех тестируемых антивирусов постоянно вносят улучшения в свои продукты, поэтому можно ожидать, что многие из пропущенных атак, использованных в тесте, уже покрыты.

Уровень наград в тестировании защиты от целевых атак

Исходя из своего опыта, лаборатория AV-Comparatives отмечает, что многие потребительские антивирусные программы не обеспечивают эффективную защиты от типов угроз, используемых в данном тестировании. По этой причине, если потребительский антивирус обнаруживает хотя бы 5 из 15 угроз, то уже заслуживает награду за «Advanced Threat Protection». Точные критерии награждения приведены ниже: