AV-Comparatives 2023: Лучшие антивирусы в защите от целевых атак

В расширенном динамическом тестировании антивирусов Advanced Threat Protection Test 2023 (Enhanced Real-World Test) исследователи AV-Comparatives используют хакерские инструменты и техники взлома, которые позволяют злоумышленникам получать доступ к внутренним компьютерным системам.

Тестируемые антивирусы

В расширенном динамическом тестировании (Enhanced Real-World Test) принимали участие следующие вендоры. Антивирусы данных вендоров хорошо зарекомендовали себя во внутреннем предварительном тестировании. Компании-разработчики были достаточно уверены в возможностях своих антивирусов при противостоянии бесфайловым атакам и приняли решения участвовать в открытом тестировании. Все остальные разработчики антивирусов, участвующих в основной серии испытаний, отказались от тестирования.

• Avast Free Antivirus
• AVG Free Antivirus
• Avira Prime
• Bitdefender Internet Security
• ESET NOD32 Internet Security
• G Data Total Security
• Kaspersky Standard для Windows

Все потребительские антивирусы тестировались со стандартными настройками (настройками по умолчанию).

Общая информация

Термин «Постоянная серьезная угроза» (Advanced Persistent Threat, APT) обычно используется для описания таргетированных или целевых атак, направленных на взлом информационной системы и применяющих сложные методы и техники кибернападения. Среди конечных целей таких атак может быть кража, искажение или повреждение конфиденциальной информации или создание возможностей для саботажа, который, в свою очередь, может привести к финансовым и репутационным потерям целевых организаций. Подобные атаки отличаются узкой направленностью и использованием специализированных инструментов, таких как обфусцированный вредоносный код, злонамеренное использование легитимных системных инструментов или бесфайловый вредоносный код.

В расширенном динамическом тестировании (Enhanced Real-World Test) исследователи AV-Comparatives используют хакерские инструменты и техники взлома, которые позволяют злоумышленникам получать доступ к внутренним компьютерным системам организации. Данные атаки можно описать по модели Cybersecurity Kill Chain, разработанной компанией Lockheed Martin, выделив 7 различных фаз, каждая из которых имеет свой индикатор компрометации (Indicator of Compromise, IOC). Во всех тестах используется набор так называемых «тактик, методов и процедур» (Tactics, Techniques, Procedures, TTP), приведенных в базе знаний MITRE ATT&CK. В финальный отчет также включены результаты испытания на ложные срабатывания.

В тестах AV-Comparatives используется целый ряд методов и ресурсов, имитирующих поведение реальных вредоносных программ. Для обхода сигнатурного обнаружения исследователи лаборатории используют системные приложения. Для этого используются различные сценарные языки (JavaScript, пакетные файлы, PowerShell, скрипты Visual Basic и др.). В испытаниях применяются как одноэтапные, так и многоэтапные вредоносные образцы, выполняющие обфускацию при развертывании или шифрование вредоносного кода перед выполнением (с использованием стандартов Base64, AES). Для связи с киберпреступникам используются различные С2 каналы (HTTP, HTTPS, TCP). Также используются известные фреймворки для эксплойтов (Metasploit Framework, Meterpreter, PowerShell Empire, Puppy и др.).

В качестве целевых систем использовались полностью пропатченные 64-разрядные системы Windows 10. На каждой из систем был установлен свой антивирус. В корпоративном тестировании использовалась стандартная учетная запись пользователя, а в потребительском тестировании – учетная запись администратора устройства. По этой причине (а также из-за других настроек) результаты потребительского теста не могут быть напрямую сопоставимы с результатами корпоративного теста.

Как только жертва запускает полезную нагрузку, устанавливается канал связи с контрольным центром (Command and Control Channel, C2). Для этого на машине атакующего должен быть запущен прослушивающий модуль (listener). В этой роли может выступать Metasploit Listener, доступный в системе Kali Linux. С помощью С2-канала злоумышленник получает неограниченный доступ к взломанной системе. Функциональность и стабильность удаленного контроля оценивалась индивидуально в каждом тестовом случае.

В тестировании использовалось 15 различных атак. В будущих тестах в общедоступных отчетах планируется предоставить более подробную информацию о сложности испытания и тестовом покрытии. В данном тестировании основное внимание уделялось защите, а не обнаружению.

Вендорам, принимающим участие в основной серии испытаний AV-Comparatives (AV Main-Test-Series), была предоставлена возможность отказаться от данного теста, до запуска открытого тестирования, поэтому не все компании-разработчики учитывались в данном тесте.

Область тестирования

Расширенное динамическое тестирование показывает, как успешно тестируемые антивирусы справляются с узкоспециализированными таргетированными методами атаки. Испытание не учитывает общий уровень безопасности или эффективность защиты от вредоносных программ, загружаемых из Интернета или распространяемых через портативные устройства хранения.

Результаты теста следует рассматривать как дополнение к результатам динамического тестирования (Real-World Protection Test) и теста на защиту от вредоносных программ (Malware Protection Test), а не полную им замену. Таким образом, при оценке эффективности каждого отдельного антивируса следует учитывать результаты других тестов серии Main-Test. Данный тест показывает, защищает ли антивирус от определенных методов атаки и эксплуатации, используемых в ATP. Пользователи, которые обеспокоены такими видами атак, должны рассмотреть результаты потребительских антивирусов, участвующих в данном тестировании. Ожидается, что в следующем году количество участников Enhanced Real-World Test увеличится.

Различия между “MITRE ATT&CK test” и “AV-Comparatives Advanced Threat Protection Test”

Расширенное динамическое тестирование AV-Comparatives серьезно отличается от “MITRE test”, хотя в нем также используются элементы матрицы MITRE ATT&CK. "MITRE test" оценивает решения защиты конечных точек от сложных угроз Endpoint Detection and Response (EDR) в тех сценариях, когда вендоры выполняют активный мониторинг текущих атак в режиме реального времени. Для этого в сфере кибербезопасности есть отдельный термин – “red and blue team testing”. Основное внимание уделяется обнаружению и регистрации атакующих процессов (видимость), оповещению системных администраторов и предоставлению вспомогательных данных для ручной локализации угроз и противодействия угрозам.

При подготовке к "MITRE test" вендоры переводят свои антивирусы в режим «регистратора» (“log-only”), чтобы узнать как можно больше информации о цепочки атаки. Данные испытания имеют свое применение и предоставляют очень ценные данные. Тем не менее, оценка защиты отдельных систем от заражений, повреждения системы и данных не является целью данного теста. Кроме того, тест MITRE лишен какой-либо системы рейтинга, а просто предоставляет исходные данные для последующего анализа.

В тестировании AV-Comparatives Advanced Threat Protection Test исследователи пытаются выяснить, как эффективно решение безопасности защищает систему при повседневном использовании. Критически важный момент – сможет ли тестируемый антивирус защитить систему от атаки в целом. Все остальное вторично: какой именно компонент заблокировал атаку и на каком этапе атака была приостановлена, при условии, что тестовая система не была взломана (данная информация может появиться в будущих тестах). В данном тесте лаборатория также учитывала ложные срабатывания.

Процедура тестирования

Скрипты, содержащие вредоносный код, такие как VBS, JS или макросы MS Office, могли выполнить и установить бесфайловый бэкдор на компьютере жертвы и установить подключение к командному центру (С2 канал) злоумышленника, которые обычно использовал другое физическое расположение и мог находиться в другой стране. Кроме данных распространенных сценариев, доставлять бесфайловые вредоносные нагрузки можно с помощью эксплойтов, удаленных вызовов (PSexec, wmic), планировщика задач, ключей реестра, одноплатного компьютера Arduino (USB RubberDucky) или WMI вызовов. Для этого можно использовать встроенные инструменты Windows, например PowerShell. Данные методы позволяют разместить вредоносную программу из Интернета непосредственно в памяти целевой системы и развивать атаку в локальной сети с помощью встроенных инструментов операционной системы. Кроме того, злоумышленник может сделать угрозы устойчивыми на машине жертвы. В данном тесте не применялись портативные исполняемые (Portable executable, PE) угрозы

Бесфайловые атаки

Существует много различных категорий классификации вредоносных программ. Одно из разделений связано с наличием или отсутствием файлов. С 2017 года зарегистрировано значительное увеличение количества бесфайловых атак. Одна из главных причин популярности данного типа угроз в среде киберпреступников связана с их успешностью. Бесфайловые вредоносные программы действуют только в памяти скомпрометированной системы, что затрудняет их распознавание антивирусными решениями. Важно, чтобы бесфайловые угрозы распознавались как потребительскими программами защиты, так и корпоративными решениями безопасности.

Векторы атаки и цели

В тестах на проникновение (Penetration tests) мы видим, как некоторые векторы атаки могут быть еще не полностью охвачены антивирусными решениями, и многие популярные решения безопасности обеспечивают недостаточную защиту. Некоторые корпоративные решения защиты получают улучшения в данной области и в некоторых сценариях срабатывают лучше. Команда AV-Comparatives считает, что в потребительских антивирусах следует улучшить защиту от подобных видов атак, потому что обычные пользователи также могут подвергаться этим атакам. Абсолютно любой человек может стать мишенью, например с целью «доксинга» (публикации конфиденциальной личной информации) в качестве акта мести. Взлом домашних компьютеров сотрудников компании также может быть очевидным путем доступа к корпоративным данным.

Методы атаки

В расширенном динамическом тестировании использовалось несколько стеков командной строки, команды CMD/PS, которые позволяют загрузить вредоносную программу из сети непосредственно в оперативную память, а также зашифрованные по base64 вызовы. Данные методы позволяют полностью избежать доступа к файловой системе, которая обычно хорошо защищается антивирусными решениями. Иногда используются простые методы скрытия или изменяется метод вызова stager-нагрузки, т.е. нагрузки разбитой не части. Когда вредоносная программа загрузила вторую часть, устанавливается подключение к злоумышленнику по протоколам HTTP или HTTPS. Такой внутренний механизм позволяет установить C2 канал к злоумышленнику в обход защитных мер большинства фаерволов и NAT. После успешного развертывания туннеля, атакующий может использовать все доступные механизмы контроля С2 продуктов (Meterpreter, PowerShell Empire и др.). Он получает возможность загружать и выгружать файлы, снимать скриншоты экрана, регистрировать клавиатурные нажатия, управлять оболочкой Windows и снимать изображений с веб-камеры. Все используемые инструменты доступны бесплатно. Их исходный код является открытым для исследовательских целей. Тем не менее, злоумышленники злонамеренно используют данный инструментарий для криминальных целей.

Тест на ложные срабатывания

Антивирус, который блокирует 100% вредоносных атак, но также блокирует и абсолютно безопасные (не вредоносные) действия, может оказаться очень деструктивным. AV-Comparatives проводит испытание на ложные срабатывания в рамках расширенного динамического тестирования, чтобы выяснить, может ли антивирус отличить вредоносные действия от безопасных. В противном случае, антивирус может полностью блокировать 100% вредоносных атак, которые используют вложения электронной почты, скрипты или макросы, просто за счет блокировки данных функций. В этом случае большинство пользователей не смогут выполнять повседневные задачи. Следовательно, результаты теста на ложноположительные срабатывания принимались во внимание при подсчете итоговых баллов антивирусов.

Важно отметить, что постоянное предупреждение пользователя об открытии безобидных вложений электронной почты может привести к сценарию «мальчик который кричал волки». Пользователи, которые сталкиваются с рядом избыточных предупреждений, рано или поздно предположат, что все предупреждения являются ложными, и проигнорируют подлинное предупреждение при его появлении.

Тестовые сценарии

AV-Comparatives использовали пять различных фаз начального доступа (Initial Access Phases), распределенных между 15 тестовыми сценариями:

• Доверительные отношения: "Злоумышленники могут взломать или иным образом использовать организации, имеющие доступ к предполагаемым жертвам. Доступ через доверенные отношения с третьей стороной использует существующую связь, которая может быть не защищена или подвергаться меньшей проверке, чем стандартные механизмы получения доступа к сети".
• Действительные учетные записи: "Злоумышленники могут украсть учетные данные конкретного пользователя или учетной записи службы с помощью методов доступа к учетным данным или получить учетные данные на более ранних этапах разведки с помощью социальной инженерии [...]".
• Репликация через съемные носители: "Злоумышленники могут проникать в системы [...] путем копирования вредоносного ПО на съемный носитель [...] и переименования его в легитимный файл, чтобы обманом заставить пользователей выполнить его на отдельной системе. [...]"
• Целевой фишинг через вложение письма: "Спирфишинг вложений – это [...] использование вредоносных программ, прикрепленных к электронному письму. [...]"
• Целевой фишинг через ссылку: "Спирфишинг со ссылкой [...] использует ссылки для загрузки вредоносного ПО, содержащегося в электронном письме [...]".

Ниже приводится краткое описание 15 тестовых сценариев, использованных в данном тестировании:

1. Репликация через съемные носители: Создан вредоносный двоичный файл, который выполняет shellcode для установления C2-канала Meterpreter. Файл был помещен в ZIP-контейнер, а затем в ISO-контейнер.
2. Репликация через съемные носители: Разработан вредоносный JavaScript, который выполняет shellcode через DLL Side-Loading для открытия C2-канала meterpreter.
3. Репликация через съемные носители: Создан вредоносный CPL-файл, который запускает shellcode через rundll32.exe для установления C2-канала Meterpreter.
4. Действительные учетные записи: Разработан вредоносный JavaScript, который выполняет shellcode через нативные API и DLL Side-Loading для открытия C2-канала Meterpreter.
5. Целевой фишинг через вложение письма: Создан вредоносный .exe файл, который выполняет XOR-зашифрованный shellcode для открытия C2-канала Meterpreter.
6. Целевой фишинг через вложение письма: Создан вредоносный JavaScript, который выполняет зашифрованный shellcode и открывает C2-канал к коммерческой C2-платформе.
7. Целевой фишинг через вложение письма: Создан вредоносный .exe файл, который может изменять ETW и выполнять обфусцированный/зашифрованный shellcode для установления C2-канала с коммерческой C2-платформой.
8. Целевой фишинг через ссылку: Создан вредоносный однокликовый MSI файл для выполнения обфусцированного shellcode через легитимное приложение и установления C2-канала с коммерческой C2-платформой.
9. Целевой фишинг через ссылку: Создан маскированный вредоносный .exe файл, который выполняет shellcode через нативные API для установления C2-канала с коммерческой C2-платформой.
10. Целевой фишинг через ссылку: Создан вредоносный документ Office, который способен изменять AMSI и выполнять обфусцированный shellcode для установления C2-канала с коммерческой C2-платформой.
11. Целевой фишинг через вложение письма: Создан вредоносный .PIF ярлык, который способен изменять ETW, изменять перехваченные API в пользовательском режиме и выполнять обфусцированный shellcode для установления канала Empire C2.
12. Целевой фишинг через вложение письма: Создан маскированный вредоносный .exe файл, способный изменять ETW, пользовательские API и выполнять зашифрованный shellcode для установления канала Empire C2.
13. Действительные учетные записи: Создан вредоносный код PowerShell, который сначала изменяет AMSI с использованием аппаратных точек останова, а затем выполняет закодированный shellcode для установления канала Empire C2.
14. Доверительные отношения: Создан вредоносный файл .HTA, который выполняет зашифрованный shellcode для установления канала Empire C2.
15. Целевой фишинг через вложение письма: Создан обфусцированный вредоносный файл .JS, который выполняет shellcode через powershell.exe для установления канала Empire C2.

Тест на ложные срабатывания: Были использованы различные сценарии ложных срабатываний, чтобы проверить, не блокирует ли какой-либо продукт определенные действия (например, блокируя политикой вложения электронной почты, коммуникации, скрипты и т.д.). Ни один из протестированных продуктов не показал чрезмерной блокировки в использованных сценариях тестирования на ложную тревогу.

Если бы в ходе тестирования наблюдалось, как продукты адаптируют свою защиту к тестовой среде AV-Comparatives, лаборатория использовала бы контрмеры для обхода этих адаптаций, чтобы убедиться, что каждый продукт действительно может обнаружить атаку, а не тестовую ситуацию.

Результаты тестирования

Обозначения

	Угроза обнаружена, сессия С2 не была установлена, система защищена	1 балл
	Предупреждение не показывалось, сессия С2 не была установлена, система защищена	1 балл
	Угроза не была обнаружена, сессия С2 успешно установлена	0 баллов
	Результат защиты недействителен, поскольку были заблокированы и не вредоносные скрипты/функции	N/A
	FPs – ложные срабатывания: N (нет), Y (да)
	Score – общая оценка антивируса

Исследователи AV-Comparatives считают, что основная цель защитной системы (AV, EPP или EDR) заключается в том, чтобы обнаружить и предотвратить развитие устойчивых угроз и других типов вредоносного ПО как можно быстрее. Другими словами, если APT распознается до или сразу же после запуска и подключение к командному центру предотвращается, то нет необходимости предотвращать действия после эксплуатации. Хорошая охранная сигнализация должна срабатывать, когда преступники врываются в ваш дом, а не когда они начинают воровать ваши вещи.

Антивирус, который блокирует определенные функции, например, почтовые вложения или скрипты, получит классификацию “Tested”. Тем не менее, ни один из протестированных антивирус не продемонстрировал такое поведение в сценариях с ошибочными срабатываниями / блокировкой функциональности.

Если бы показывалось предупреждение, зависящее от пользователя, то соответствующий антивирус получил бы полбалла, но в данном тесте таких случаев не зарегистрировано.

Примечания по потребительским антивирусам

В данном разделе приводится дополнительная информация, представляющая интерес читателям.

Тестовые сценарии

Этапы обнаружения/блокировки

• Предварительное выполнение (PRE): когда угроза не запущена и неактивна в системе.
• При выполнении (ON): сразу после запуска угрозы.
• После выполнения (POST): после того, как угроза была запущена и ее действия были распознаны.

Примечания

• Avast Free Antivirus, AVG Free Antivirus: Обнаружение угроз в основном происходило до запуска или в момент выполнения, с двумя случаями обнаружения после запуска.
• Avira Prime: Обнаружение чаще всего происходило в момент выполнения, с одним случаем обнаружения после запуска.
• Bitdefender Internet Security: Обнаружение угроз осуществлялось либо до, либо в момент выполнения.
• ESET NOD32 Internet Security: Обнаружение в большинстве случаев происходило до запуска или в момент выполнения, с двумя случаями обнаружения после запуска.
• G Data Total Security: Обнаружение чаще всего происходило до запуска или в момент выполнения, с одним случаем обнаружения после запуска.
• Kaspersky Standard для Windows: Обнаружение преимущественно происходило в момент выполнения, с пятью случаями обнаружения после запуска.

Разработчики всех тестируемых антивирусов постоянно вносят улучшения в свои продукты, поэтому можно ожидать, что многие из пропущенных атак, использованных в тесте, уже покрыты.

Уровень наград в тестировании защиты от целевых атак

Исходя из своего опыта, лаборатория AV-Comparatives отмечает, что многие потребительские антивирусные программы не обеспечивают эффективную защиты от типов угроз, используемых в данном тестировании. По этой причине, если потребительский антивирус обнаруживает хотя бы 5 из 15 угроз, то уже заслуживает награду за «Advanced Threat Protection». Точные критерии награждения приведены ниже: