AV-Comparatives 2022: Лучшие антивирусы в защите от целевых атак

В расширенном динамическом тестировании антивирусов Advanced Threat Protection Test 2022 (Enhanced Real-World Test) исследователи AV-Comparatives используют хакерские инструменты и техники взлома, которые позволяют злоумышленникам получать доступ к внутренним компьютерным системам.

Тестируемые антивирусы

В расширенном динамическом тестировании (Enhanced Real-World Test) принимали участие следующие вендоры. Антивирусы данных вендоров хорошо зарекомендовали себя во внутреннем предварительном тестировании. Компании-разработчики были достаточно уверены в возможностях своих антивирусов при противостоянии бесфайловым атакам и приняли решения участвовать в открытом тестировании. Все остальные разработчики антивирусов, участвующих в основной серии испытаний, отказались от тестирования.

• Avast Free Antivirus 22.9 – 22.10
• AVG Free Antivirus 22.9 – 22.10
• Avira Prime 1.1
• Bitdefender Internet Security 26.0
• ESET NOD32 Internet Security 15.2
• G Data Internet Security 25.5
• Kaspersky Internet Security 21.3
• McAfee Total Protection 26.4
• Microsoft Defender Antivirus 4.18

Все потребительские антивирусы тестировались со стандартными настройками (настройками по умолчанию).

Общая информация

Термин «Постоянная серьезная угроза» (Advanced Persistent Threat, APT) обычно используется для описания таргетированных или целевых атак, направленных на взлом информационной системы и применяющих сложные методы и техники кибернападения. Среди конечных целей таких атак может быть кража, искажение или повреждение конфиденциальной информации или создание возможностей для саботажа, который, в свою очередь, может привести к финансовым и репутационным потерям целевых организаций. Подобные атаки отличаются узкой направленностью и использованием специализированных инструментов, таких как обфусцированный вредоносный код, злонамеренное использование легитимных системных инструментов или бесфайловый вредоносный код.

В расширенном динамическом тестировании (Enhanced Real-World Test) исследователи AV-Comparatives используют хакерские инструменты и техники взлома, которые позволяют злоумышленникам получать доступ к внутренним компьютерным системам организации. Данные атаки можно описать по модели Cybersecurity Kill Chain, разработанной компанией Lockheed Martin, выделив 7 различных фаз, каждая из которых имеет свой индикатор компрометации (Indicator of Compromise, IOC). Во всех тестах используется набор так называемых «тактик, методов и процедур» (Tactics, Techniques, Procedures, TTP), приведенных в базе знаний MITRE ATT&CK. В финальный отчет также включены результаты испытания на ложные срабатывания.

В тестах AV-Comparatives используется целый ряд методов и ресурсов, имитирующих поведение реальных вредоносных программ. Для обхода сигнатурного обнаружения исследователи лаборатории используют системные приложения. Для этого используются различные сценарные языки (JavaScript, пакетные файлы, PowerShell, скрипты Visual Basic и др.). В испытаниях применяются как одноэтапные, так и многоэтапные вредоносные образцы, выполняющие обфускацию при развертывании или шифрование вредоносного кода перед выполнением (с использованием стандартов Base64, AES). Для связи с киберпреступникам используются различные С2 каналы (HTTP, HTTPS, TCP). Также используются известные фреймворки для эксплойтов (Metasploit Framework, Meterpreter, PowerShell Empire, Puppy и др.).

В качестве целевых систем использовались полностью пропатченные 64-разрядные системы Windows 10. На каждой из систем был установлен свой антивирус. В корпоративном тестировании использовалась стандартная учетная запись пользователя, а в потребительском тестировании – учетная запись администратора устройства. По этой причине (а также из-за других настроек) результаты потребительского теста не могут быть напрямую сопоставимы с результатами корпоративного теста.

Как только жертва запускает полезную нагрузку, устанавливается канал связи с контрольным центром (Command and Control Channel, C2). Для этого на машине атакующего должен быть запущен прослушивающий модуль (listener). В этой роли может выступать Metasploit Listener, доступный в системе Kali Linux. С помощью С2-канала злоумышленник получает неограниченный доступ к взломанной системе. Функциональность и стабильность удаленного контроля оценивалась индивидуально в каждом тестовом случае.

В тестировании использовалось 15 различных атак. В будущих тестах в общедоступных отчетах планируется предоставить более подробную информацию о сложности испытания и тестовом покрытии. В данном тестировании основное внимание уделялось защите, а не обнаружению.

Вендорам, принимающим участие в основной серии испытаний AV-Comparatives (AV Main-Test-Series), была предоставлена возможность отказаться от данного теста, до запуска открытого тестирования, поэтому не все компании-разработчики учитывались в данном тесте.

Область тестирования

Расширенное динамическое тестирование показывает, как успешно тестируемые антивирусы справляются с узкоспециализированными таргетированными методами атаки. Испытание не учитывает общий уровень безопасности или эффективность защиты от вредоносных программ, загружаемых из Интернета или распространяемых через портативные устройства хранения.

Результаты теста следует рассматривать как дополнение к результатам динамического тестирования (Real-World Protection Test) и теста на защиту от вредоносных программ (Malware Protection Test), а не полную им замену. Таким образом, при оценке эффективности каждого отдельного антивируса следует учитывать результаты других тестов серии Main-Test. Данный тест показывает, защищает ли антивирус от определенных методов атаки и эксплуатации, используемых в ATP. Пользователи, которые обеспокоены такими видами атак, должны рассмотреть результаты потребительских антивирусов, участвующих в данном тестировании. Ожидается, что в следующем году количество участников Enhanced Real-World Test увеличится.

Различия между “MITRE ATT&CK test” и “AV-Comparatives Advanced Threat Protection Test”

Расширенное динамическое тестирование AV-Comparatives серьезно отличается от “MITRE test”, хотя в нем также используются элементы матрицы MITRE ATT&CK. "MITRE test" оценивает решения защиты конечных точек от сложных угроз Endpoint Detection and Response (EDR) в тех сценариях, когда вендоры выполняют активный мониторинг текущих атак в режиме реального времени. Для этого в сфере кибербезопасности есть отдельный термин – “red and blue team testing”. Основное внимание уделяется обнаружению и регистрации атакующих процессов (видимость), оповещению системных администраторов и предоставлению вспомогательных данных для ручной локализации угроз и противодействия угрозам.

При подготовке к "MITRE test" вендоры переводят свои антивирусы в режим «регистратора» (“log-only”), чтобы узнать как можно больше информации о цепочки атаки. Данные испытания имеют свое применение и предоставляют очень ценные данные. Тем не менее, оценка защиты отдельных систем от заражений, повреждения системы и данных не является целью данного теста. Кроме того, тест MITRE лишен какой-либо системы рейтинга, а просто предоставляет исходные данные для последующего анализа.

В тестировании AV-Comparatives Advanced Threat Protection Test исследователи пытаются выяснить, как эффективно решение безопасности защищает систему при повседневном использовании. Критически важный момент – сможет ли тестируемый антивирус защитить систему от атаки в целом. Все остальное вторично: какой именно компонент заблокировал атаку и на каком этапе атака была приостановлена, при условии, что тестовая система не была взломана (данная информация может появиться в будущих тестах). В данном тесте лаборатория также учитывала ложные срабатывания.

Процедура тестирования

Скрипты, содержащие вредоносный код, такие как VBS, JS или макросы MS Office, могли выполнить и установить бесфайловый бэкдор на компьютере жертвы и установить подключение к командному центру (С2 канал) злоумышленника, которые обычно использовал другое физическое расположение и мог находиться в другой стране. Кроме данных распространенных сценариев, доставлять бесфайловые вредоносные нагрузки можно с помощью эксплойтов, удаленных вызовов (PSexec, wmic), планировщика задач, ключей реестра, одноплатного компьютера Arduino (USB RubberDucky) или WMI вызовов. Для этого можно использовать встроенные инструменты Windows, например PowerShell. Данные методы позволяют разместить вредоносную программу из Интернета непосредственно в памяти целевой системы и развивать атаку в локальной сети с помощью встроенных инструментов операционной системы. Кроме того, злоумышленник может сделать угрозы устойчивыми на машине жертвы. В данном тесте не применялись портативные исполняемые (Portable executable, PE) угрозы

Бесфайловые атаки

Существует много различных категорий классификации вредоносных программ. Одно из разделений связано с наличием или отсутствием файлов. С 2017 года зарегистрировано значительное увеличение количества бесфайловых атак. Одна из главных причин популярности данного типа угроз в среде киберпреступников связана с их успешностью. Бесфайловые вредоносные программы действуют только в памяти скомпрометированной системы, что затрудняет их распознавание антивирусными решениями. Важно, чтобы бесфайловые угрозы распознавались как потребительскими программами защиты, так и корпоративными решениями безопасности.

Векторы атаки и цели

В тестах на проникновение (Penetration tests) мы видим, как некоторые векторы атаки могут быть еще не полностью охвачены антивирусными решениями, и многие популярные решения безопасности обеспечивают недостаточную защиту. Некоторые корпоративные решения защиты получают улучшения в данной области и в некоторых сценариях срабатывают лучше. Команда AV-Comparatives считает, что в потребительских антивирусах следует улучшить защиту от подобных видов атак, потому что обычные пользователи также могут подвергаться этим атакам. Абсолютно любой человек может стать мишенью, например с целью «доксинга» (публикации конфиденциальной личной информации) в качестве акта мести. Взлом домашних компьютеров сотрудников компании также может быть очевидным путем доступа к корпоративным данным.

Методы атаки

В расширенном динамическом тестировании использовалось несколько стеков командной строки, команды CMD/PS, которые позволяют загрузить вредоносную программу из сети непосредственно в оперативную память, а также зашифрованные по base64 вызовы. Данные методы позволяют полностью избежать доступа к файловой системе, которая обычно хорошо защищается антивирусными решениями. Иногда используются простые методы скрытия или изменяется метод вызова stager-нагрузки, т.е. нагрузки разбитой не части. Когда вредоносная программа загрузила вторую часть, устанавливается подключение к злоумышленнику по протоколам HTTP или HTTPS. Такой внутренний механизм позволяет установить C2 канал к злоумышленнику в обход защитных мер большинства фаерволов и NAT. После успешного развертывания туннеля, атакующий может использовать все доступные механизмы контроля С2 продуктов (Meterpreter, PowerShell Empire и др.). Он получает возможность загружать и выгружать файлы, снимать скриншоты экрана, регистрировать клавиатурные нажатия, управлять оболочкой Windows и снимать изображений с веб-камеры. Все используемые инструменты доступны бесплатно. Их исходный код является открытым для исследовательских целей. Тем не менее, злоумышленники злонамеренно используют данный инструментарий для криминальных целей.

Тест на ложные срабатывания

Антивирус, который блокирует 100% вредоносных атак, но также блокирует и абсолютно безопасные (не вредоносные) действия, может оказаться очень деструктивным. AV-Comparatives проводит испытание на ложные срабатывания в рамках расширенного динамического тестирования, чтобы выяснить, может ли антивирус отличить вредоносные действия от безопасных. В противном случае, антивирус может полностью блокировать 100% вредоносных атак, которые используют вложения электронной почты, скрипты или макросы, просто за счет блокировки данных функций. В этом случае большинство пользователей не смогут выполнять повседневные задачи. Следовательно, результаты теста на ложноположительные срабатывания принимались во внимание при подсчете итоговых баллов антивирусов.

Важно отметить, что постоянное предупреждение пользователя об открытии безобидных вложений электронной почты может привести к сценарию «мальчик который кричал волки». Пользователи, которые сталкиваются с рядом избыточных предупреждений, рано или поздно предположат, что все предупреждения являются ложными, и проигнорируют подлинное предупреждение при его появлении.

Тестовые сценарии

AV-Comparatives использовали пять различных фаз начального доступа (Initial Access Phases), распределенных между 15 тестовыми сценариями (например, 3 тестовых сценария использовались с целевым фишингом через вложения электронной почты).

• Доверительные отношения: "Злоумышленники могут взломать или иным образом использовать организации, имеющие доступ к предполагаемым жертвам. Доступ через доверенные отношения с третьей стороной использует существующую связь, которая может быть не защищена или подвергаться меньшей проверке, чем стандартные механизмы получения доступа к сети".
• Действительные учетные записи: "Злоумышленники могут украсть учетные данные конкретного пользователя или учетной записи службы с помощью методов доступа к учетным данным или получить учетные данные на более ранних этапах разведки с помощью социальной инженерии [...]".
• Репликация через съемные носители: "Злоумышленники могут проникать в системы [...] путем копирования вредоносного ПО на съемный носитель [...] и переименования его в легитимный файл, чтобы обманом заставить пользователей выполнить его на отдельной системе. [...]"
• Целевой фишинг через вложение письма: "Спирфишинг вложений – это [...] использование вредоносных программ, прикрепленных к электронному письму. [...]"
• Целевой фишинг через ссылку: "Спирфишинг со ссылкой [...] использует ссылки для загрузки вредоносного ПО, содержащегося в электронном письме [...]".

Ниже приводится краткое описание 15 тестовых сценариев, использованных в данном тестировании:

1. Эта угроза внедряется с помощью целевого фишинга через ссылку. Вредоносный двоичный файл выполняет x86 shell-код для открытия Meterpreter C2-канала по протоколу http.
2. Эта угроза внедряется с помощью целевого фишинга через ссылку. Вредоносный JavaScript-файл выполняет x64 shell-код для открытия канала Meterpreter C2-канала по протоколу http.
3. Эта угроза внедряется с помощью целевого фишинга через ссылку. Вредоносный обфусцированный JavaScript внедряет x64 shell-код в процесс Office для открытия Meterpreter C2-канала по протоколу http.
4. Эта угроза внедряется через "Действительные учетные записи". Вредоносный HTA-файл открывает Meterpreter C2-канал по протоколу http.
5. Эта угроза внедряется через "Действительные учетные записи". Вредоносная команда PowerShell с некоторыми возможностями обхода защиты открывает Meterpreter C2-канал по протоколу http.
6. Эта угроза внедряется через Эта угроза внедряется через "Действительные учетные записи". Вредоносный bat-файл открывает Empire C2-канал по протоколу http, используя нестандартный порт.
7. Эта угроза внедряется через "Доверительные отношения". Вредоносный обфусцированный двоичный файл с некоторыми возможностями обхода защиты и подменой расширения файла открывает PowerShell Empire C2-канал PowerShell Empire по протоколу http, используя нестандартный порт.
8. Эта угроза внедряется через "Доверительные отношения". Вредоносный CPL-файл выполняет полезную нагрузку PowerShell, которая открывает Empire C2-канал по протоколу http, используя нестандартный порт.
9. Эта угроза внедряется через "Доверительные отношения". Вредоносный XSL-файл выполняется через WMI, который открывает обфусцированный Empire C2-канал по протоколу http, используя нестандартный порт.
10. Эта угроза внедряется через Spearphishing Attachment. Вредоносный двоичный файл с поддельным расширением выполняет полезную нагрузку Empire для открытия C2-канала Empire через http с использованием нестандартного порта.
11. Эта угроза внедряется с помощью целевого фишинга через вложение письма. Вредоносный JavaScript-файл с некоторыми возможностями обхода защиты позволяет выполнить вредоносный код через приложение панели управления и открывает C2-канал коммерческого C2-фреймворка по протоколу https.
12. Эта угроза внедряется с помощью целевого фишинга через вложение письма. Вредоносный двоичный файл с некоторыми возможностями обхода защиты открывает C2-канал коммерческого C2-фреймворка по протоколу https.
13. Эта угроза внедряется через съемный носитель. Вредоносный DLL открывает C2-канал коммерческого C2-фреймворка по протоколу https.
14. Эта угроза внедряется через съемный носитель. Вредоносный двоичный файл с расширенными возможностями обхода защиты открывает C2-канал коммерческого C2-фреймворка по протоколу https.
15. Эта угроза внедряется через съемный носитель. Вредоносный офисный документ внедряется в другой процесс в среде пользователя и открывает C2-канал коммерческого C2-фреймворка по протоколу https.

Тест на ложные срабатывания: Были использованы различные сценарии ложных срабатываний, чтобы проверить, не блокирует ли какой-либо продукт определенные действия (например, блокируя политикой вложения электронной почты, коммуникации, скрипты и т.д.). Ни один из протестированных продуктов не показал чрезмерной блокировки в использованных сценариях тестирования на ложную тревогу.

Если бы в ходе тестирования наблюдалось, как продукты адаптируют свою защиту к тестовой среде AV-Comparatives, лаборатория использовала бы контрмеры для обхода этих адаптаций, чтобы убедиться, что каждый продукт действительно может обнаружить атаку, а не тестовую ситуацию.

Результаты тестирования

Обозначения

	Угроза обнаружена, сессия С2 не была установлена, система защищена	1 балл
	Предупреждение не показывалось, сессия С2 не была установлена, система защищена	1 балл
	Угроза не была обнаружена, сессия С2 успешно установлена	0 баллов
	Результат защиты недействителен, поскольку были заблокированы и не вредоносные скрипты/функции	N/A
	FPs – ложные срабатывания: N (нет), Y (да)
	Score – общая оценка антивируса

Исследователи AV-Comparatives считают, что основная цель защитной системы (AV, EPP или EDR) заключается в том, чтобы обнаружить и предотвратить развитие устойчивых угроз и других типов вредоносного ПО как можно быстрее. Другими словами, если APT распознается до или сразу же после запуска и подключение к командному центру предотвращается, то нет необходимости предотвращать действия после эксплуатации. Хорошая охранная сигнализация должна срабатывать, когда преступники врываются в ваш дом, а не когда они начинают воровать ваши вещи.

Антивирус, который блокирует определенные функции, например, почтовые вложения или скрипты, получит классификацию “Tested”. Тем не менее, ни один из протестированных антивирус не продемонстрировал такое поведение в сценариях с ошибочными срабатываниями / блокировкой функциональности.

Если бы показывалось предупреждение, зависящее от пользователя, то соответствующий антивирус получил бы полбалла, но в данном тесте таких случаев не зарегистрировано.

Примечания по потребительским антивирусам

В данном разделе приводится дополнительная информация, представляющая интерес читателям.

Тестовые сценарии

Этапы обнаружения/блокировки

• Предварительное выполнение (PRE): когда угроза не запущена и неактивна в системе.
• При выполнении (ON): сразу после запуска угрозы.
• После выполнения (POST): после того, как угроза была запущена и ее действия были распознаны.

Примечания

• Avast Free Antivirus, AVG Free Antivirus: Большинство обнаружений происходило при выполнении.
• Avira Prime: Обнаружения Avira происходили в основном при выполнении. В одном случае антивирус препятствовал открытию документа Word, который завис и не открылся даже после 20 минут ожидания. Это очень странное поведение, тем более что продукт не выдавал никаких сигналов обнаружения / уведомлений. *) Как минимум в одном случае Avira не различала вредоносные и не вредоносные скрипты/действия, поэтому результаты не доказывают, насколько хорошо антивирус может блокировать атаки, не блокируя при этом легитимные скрипты/действия.
• Bitdefender Internet Security: Обнаружения происходили либо до, либо во время выполнения.
• ESET NOD32 Internet Security: Обнаружения происходили в основном до или во время выполнения, а два – после выполнения.
• G Data Internet Security: Обнаружения в основном происходили до или во время выполнения, одно – после выполнения.
• Kaspersky Internet Security: Обнаружения происходили в основном до или во время выполнения, одно – после выполнения.
• McAfee Total Protection: Обнаружения происходили при выполнении.
• Microsoft Defender Antivirus: Обнаружения происходили в основном до или во время выполнения, два – после выполнения.

Разработчики всех тестируемых антивирусов постоянно вносят улучшения в свои продукты, поэтому можно ожидать, что многие из пропущенных атак, использованных в тесте, уже покрыты.

Уровень наград в тестировании защиты от целевых атак

Исходя из своего опыта, лаборатория AV-Comparatives отмечает, что многие потребительские антивирусные программы не обеспечивают эффективную защиты от типов угроз, используемых в данном тестировании. По этой причине, если потребительский антивирус обнаруживает хотя бы 5 из 15 угроз, то уже заслуживает награду за «Advanced Threat Protection». Точные критерии награждения приведены ниже: