В расширенном динамическом тестировании антивирусов (Enhanced Real-World Test) исследователи AV-Comparatives используют хакерские инструменты и техники взлома, которые позволяют злоумышленникам получать доступ к внутренним компьютерным системам.
Общая информация
Термин «Развитая устойчивая угроза» (Advanced Persistent Threat, APT) обычно используется для описания целевых кибератак, направленных на взлом информационной системы и применяющих сложные методы и техники кибернападения. Среди конечных целей таких атак может быть кража, искажение или повреждение конфиденциальной информации или создание возможностей для саботажа, который, в свою очередь, может привести к финансовым и репутационным потерям целевых организаций. Подобные атаки отличаются узкой направленностью и использованием специализированных инструментов, таких как обфусцированный вредоносный код, злонамеренное использование легитимных системных инструментов или бесфайловый вредоносный код.
В расширенном динамическом тестировании (Enhanced Real-World Test) исследователи AV-Comparatives используют хакерские инструменты и техники взлома, которые позволяют злоумышленникам получать доступ к внутренним компьютерным системам организации. Данные атаки можно описать по модели Cybersecurity Kill Chain, разработанной компанией Lockheed Martin, выделив 7 различных фаз, каждая из которых имеет свой индикатор компрометации (Indicator of Compromise, IOC). Во всех тестах используется набор так называемых «тактик, методов и процедур» (Tactics, Techniques, Procedures, TTP), приведенных в базе знаний MITRE ATT&CK. В финальный отчет также включены результаты испытания на ложные срабатывания.
В тестах AV-Comparatives используется целый ряд методов и ресурсов, имитирующих поведение реальных вредоносных программ. Для обхода сигнатурного обнаружения исследователи лаборатории используют системные приложения. Для этого используются различные сценарные языки (JavaScript, пакетные файлы, PowerShell, скрипты Visual Basic и др.). В испытаниях применяются как одноэтапные, так и многоэтапные вредоносные образцы, выполняющие обфускацию при развертывании или шифрование вредоносного кода перед выполнением (с использованием стандартов Base64, AES). Для связи с киберпреступникам используются различные С2 каналы (HTTP, HTTPS, TCP). Также используются известные фреймворки для эксплойтов (Metasploit Framework, Meterpreter, PowerShell Empire, Puppy и др.).
В качестве целевых систем использовались полностью пропатченные 64-разрядные системы Windows 10. На каждой из систем был установлен свой антивирус. В корпоративном тестировании использовалась стандартная учетная запись пользователя, а в потребительском тестировании – учетная запись администратора устройства. По этой причине (а также из-за других настроек) результаты потребительского теста не могут быть напрямую сопоставимы с результатами корпоративного теста.
Как только жертва запускает полезную нагрузку, устанавливается канал связи с контрольным центром (Command and Control Channel, C2). Для этого на машине атакующего должен быть запущен прослушивающий модуль (listener). В этой роли может выступать Metasploit Listener, доступный в системе Kali Linux. С помощью С2-канала злоумышленник получает неограниченный доступ к взломанной системе. Функциональность и стабильность удаленного контроля оценивалась индивидуально в каждом тестовом случае.
В тестировании использовалось 15 различных атак. В будущих тестах в общедоступных отчетах планируется предоставить более подробную информацию о сложности испытания и тестовом покрытии. В данном тестировании основное внимание уделялось защите, а не обнаружению.
Вендорам, принимающим участие в основной серии испытаний AV-Comparatives (AV Main-Test-Series), была предоставлена возможность отказаться от данного теста, до запуска открытого тестирования, поэтому не все компании-разработчики учитывались в данном тесте.
Область тестирования
Расширенное динамическое тестирование показывает, как успешно тестируемые антивирусы справляются с узкоспециализированными таргетированными методами атаки. Испытание не учитывает общий уровень безопасности или эффективность защиты от вредоносных программ, загружаемых из Интернета или распространяемых через портативные устройства хранения.
Результаты теста следует рассматривать как дополнение к результатам динамического тестирования (Real-World Protection Test) и теста на защиту от вредоносных программ (Malware Protection Test), а не полную им замену. Таким образом, при оценке эффективности каждого отдельного антивируса следует учитывать результаты других тестов серии Main-Test. Данный тест показывает, защищает ли антивирус от определенных методов атаки и эксплуатации, используемых в ATP. Пользователи, которые обеспокоены такими видами атак, должны рассмотреть результаты потребительских антивирусов, участвующих в данном тестировании. Ожидается, что в следующем году количество участников Enhanced Real-World Test увеличится.
Различия между “MITRE test” и “Enhanced Real-World Test”
Расширенное динамическое тестирование AV-Comparatives серьезно отличается от “MITRE test”, хотя в нем также используются элементы матрицы MITRE ATT&CK. "MITRE test" оценивает решения защиты конечных точек от сложных угроз Endpoint Detection and Response (EDR) в тех сценариях, когда вендоры выполняют активный мониторинг текущих атак в режиме реального времени. Для этого в сфере кибербезопасности есть отдельный термин – “red and blue team testing”. Основное внимание уделяется обнаружению и регистрации атакующих процессов (видимость), оповещению системных администраторов и предоставлению вспомогательных данных для ручной локализации угроз и противодействия угрозам.
При подготовке к "MITRE test" вендоры переводят свои антивирусы в режим «регистратора» (“log-only”), чтобы узнать как можно больше информации о цепочки атаки. Данные испытания имеют свое применение и предоставляют очень ценные данные. Тем не менее, оценка защиты отдельных систем от заражений, повреждения системы и данных не является целью данного теста. Кроме того, тест MITRE лишен какой-либо системы рейтинга, а просто предоставляет исходные данные для последующего анализа.
В расширенном динамическом тестировании AV-Comparatives исследователи пытаются выяснить, как эффективно решение безопасности защищает систему при повседневном использовании. Критически важный момент – сможет ли тестируемый антивирус защитить систему от атаки в целом. Все остальное вторично: какой именно компонент заблокировал атаку и на каком этапе атака была приостановлена, при условии, что тестовая система не была взломана (данная информация может появиться в будущих тестах). В данном тесте лаборатория также учитывала ложные срабатывания.
Процедура тестирования
Скрипты, содержащие вредоносный код, такие как VBS, JS или макросы MS Office, могли выполнить и установить бесфайловый бэкдор на компьютере жертвы и установить подключение к командному центру (С2 канал) злоумышленника, которые обычно использовал другое физическое расположение и мог находиться в другой стране. Кроме данных распространенных сценариев, доставлять бесфайловые вредоносные нагрузки можно с помощью эксплойтов, удаленных вызовов (PSexec, wmic), планировщика задач, ключей реестра, одноплатного компьютера Arduino (USB RubberDucky) или WMI вызовов. Для этого можно использовать встроенные инструменты Windows, например PowerShell. Данные методы позволяют разместить вредоносную программу из Интернета непосредственно в памяти целевой системы и развивать атаку в локальной сети с помощью встроенных инструментов операционной системы. Кроме того, злоумышленник может сделать угрозы устойчивыми на машине жертвы. В данном тесте не применялись портативные исполняемые (Portable executable, PE) угрозы
Бесфайловые атаки
Существует много различных категорий классификации вредоносных программ. Одно из разделений связано с наличием или отсутствием файлов. С 2017 года зарегистрировано значительное увеличение количества бесфайловых атак. Одна из главных причин популярности данного типа угроз в среде киберпреступников связана с их успешностью. Бесфайловые вредоносные программы действуют только в памяти скомпрометированной системы, что затрудняет их распознавание антивирусными решениями. Важно, чтобы бесфайловые угрозы распознавались как потребительскими программами защиты, так и корпоративными решениями безопасности.
Векторы атаки и цели
В тестах на проникновение (Penetration tests) мы видим, как некоторые векторы атаки могут быть еще не полностью охвачены антивирусными решениями, и многие популярные решения безопасности обеспечивают недостаточную защиту. Некоторые корпоративные решения защиты получают улучшения в данной области и в некоторых сценариях срабатывают лучше. Команда AV-Comparatives считает, что в потребительских антивирусах следует улучшить защиту от подобных видов атак, потому что обычные пользователи также могут подвергаться этим атакам. Абсолютно любой человек может стать мишенью, например с целью «доксинга» (публикации конфиденциальной личной информации) в качестве акта мести. Взлом домашних компьютеров сотрудников компании также может быть очевидным путем доступа к корпоративным данным.
Методы атаки
В расширенном динамическом тестировании использовалось несколько стеков командной строки, команды CMD/PS, которые позволяют загрузить вредоносную программу из сети непосредственно в оперативную память, а также зашифрованные по base64 вызовы. Данные методы позволяют полностью избежать доступа к файловой системе, которая обычно хорошо защищается антивирусными решениями. Иногда используются простые методы скрытия или изменяется метод вызова stager-нагрузки, т.е. нагрузки разбитой не части. Когда вредоносная программа загрузила вторую часть, устанавливается подключение к злоумышленнику по протоколам HTTP или HTTPS. Такой внутренний механизм позволяет установить C2 канал к злоумышленнику в обход защитных мер большинства фаерволов и NAT. После успешного развертывания туннеля, атакующий может использовать все доступные механизмы контроля С2 продуктов (Meterpreter, PowerShell Empire и др.). Он получает возможность загружать и выгружать файлы, снимать скриншоты экрана, регистрировать клавиатурные нажатия, управлять оболочкой Windows и снимать изображений с веб-камеры. Все используемые инструменты доступны бесплатно. Их исходный код является открытым для исследовательских целей. Тем не менее, злоумышленники злонамеренно используют данный инструментарий для криминальных целей.
Тест на ложные срабатывания
Антивирус, который блокирует 100% вредоносных атак, но также блокирует и абсолютно безопасные (не вредоносные) действия, может оказаться очень деструктивным. AV-Comparatives проводит испытание на ложные срабатывания в рамках расширенного динамического тестирования, чтобы выяснить, может ли антивирус отличить вредоносные действия от безопасных. В противном случае, антивирус может полностью блокировать 100% вредоносных атак, которые используют вложения электронной почты, скрипты или макросы, просто за счет блокировки данных функций. В этом случае большинство пользователей не смогут выполнять повседневные задачи. Следовательно, результаты теста на ложноположительные срабатывания принимались во внимание при подсчете итоговых баллов антивирусов.
Важно отметить, что постоянное предупреждение пользователя об открытии безобидных вложений электронной почты может привести к сценарию «мальчик который кричал волки». Пользователи, которые сталкиваются с рядом избыточных предупреждений, рано или поздно предположат, что все предупреждения являются ложными, и проигнорируют подлинное предупреждение при его появлении.
Тестируемые антивирусы
В расширенном динамическом тестировании (Enhanced Real-World Test) принимали участие следующие вендоры. Антивирусы данных вендоров хорошо зарекомендовали себя во внутреннем предварительном тестировании. Компании-разработчики были достаточно уверены в возможностях своих антивирусов при противостоянии бесфайловым атакам и приняли решения участвовать в открытом тестировании. Все остальные разработчики антивирусов, участвующих в основной серии испытаний, отказались от тестирования.
- Avast Free Antivirus 20.8
- AVG Free Antivirus 20.8
- Bitdefender Internet Security 25.0
- ESET NOD32 Internet Security 13.2 - 14.0
- F-Secure SAFE 17.8
- Kaspersky Internet Security 21.1
- VIPRE Advanced Security 11.1
Все потребительские антивирусы тестировались со стандартными настройками (настройками по умолчанию).
Результаты тестирования
Обозначения
Угроза обнаружена, сессия С2 не была установлена, система защищена | 1 балл | |
Предупреждение не показывалось, сессия С2 не была установлена, система защищена | 1 балл | |
Угроза не была обнаружена, сессия С2 успешно установлена | 0 баллов |
Исследователи AV-Comparatives считают, что основная цель защитной системы (AV, EPP или EDR) заключается в том, чтобы обнаружить и предотвратить развитие устойчивых угроз и других типов вредоносного ПО как можно быстрее. Другими словами, если APT распознается до или сразу же после запуска и подключение к командному центру предотвращается, то нет необходимости предотвращать действия после эксплуатации. Хорошая охранная сигнализация должна срабатывать, когда преступники врываются в ваш дом, а не когда они начинают воровать ваши вещи.
Антивирус, который блокирует определенные функции, например, почтовые вложения или скрипты, получит классификацию “Tested”. Тем не менее, ни один из протестированных антивирус не продемонстрировал такое поведение в сценариях с ошибочными срабатываниями / блокировкой функциональности.
Если бы показывалось предупреждение, зависящее от пользователя, то соответствующий антивирус получил бы полбалла, но в данном тесте таких случаев не зарегистрировано.
Примечания по потребительским антивирусам
В данном разделе приводится дополнительная информация, представляющая интерес читателям.
Тестовые сценарии
Этапы обнаружения/блокировки
- Предварительное выполнение (PRE): когда угроза не запущена и неактивна в системе.
- При выполнении (ON): сразу после запуска угрозы.
- После выполнения (POST): после того, как угроза была запущена и ее действия были распознаны.
Примечания
- Avast Free Antivirus, AVG Free Antivirus: В двух тестовых случаях не было оповещения, но и не было стабильной С2-сессии.
- Bitdefender Internet Security: Большинство обнаружений произошли до того, как угроза была выполнена, благодаря эвристическому анализу вредоносных скриптов.
- ESET NOD32 Internet Security: В одном случае, не было предупреждения, но и не было стабильной C2-сессии. Большинство вредоносных почтовых вложений были обнаружены до того, как вложения были сохранены на диск.
- F-Secure SAFE: Обнаружения были в основном на кодах эксплойта PowerShell.
- Kaspersky Internet Security: Примерно половина атак были заблокирована до выполнения угрозы, благодаря эвристическому анализу вредоносных скриптов, а большинство других атак было заблокировано после выполнения поведенческим блокировщиком.
- VIPRE Advanced Security: Многие обнаружения произошли до того, как угроза была выполнена, благодаря эвристическому анализу вредоносных скриптов. Один случай (#12) был обнаружен (и файл на диске был удален), но угроза продолжала выполняться в памяти, и атака продолжалась без проблем.
Уровень наград в тестировании
Исходя из своего опыта, лаборатория AV-Comparatives отмечает, что многие потребительские антивирусные программы не обеспечивают эффективную защиты от типов угроз, используемых в данном тестировании. По этой причине, если потребительский антивирус обнаруживает хотя бы 5 из 15 угроз, то уже заслуживает награду за «Advanced Threat Protection». Точные критерии награждения приведены ниже:
0-4 | 5-8 | 9-12 | 13-15+ | |
Без ложных уведомлений / блокировок функционала | TESTED | STANDARD | ADVANCED | ADVANCED+ |
Ложные уведомления / блокировки функционала | TESTED | TESTED | TESTED | TESTED+ |
Standard
Последние обзоры и тесты
• Лучший антивирус 2024: Тестирование антивирусов для Windows 11 на максимальных настройках защиты
• AV-Test 2024: Лучшие антивирусы для защиты от шифровальщиков и инфостилеров
• AV-Comparatives 2024: Лучшие антивирусы для защиты от целевых атак
• Антивирусы с минимальным влиянием на производительность Windows ПК – AV-Comparatives 2024
• AV-Test 2024: Тестирование 31 антивируса для Windows. Как антивирусы справляются с реальными атаками
• AV-Test 2024: Лучшие антивирусы для Windows 11 и Windows 10