AV-Test: Анализ веб-угроз в результатах поисковых систем

Поисковые системы, такие как Google, предоставляют доступ к 1 миллиарду ресурсов по всему миру и ежедневно обрабатывают от 4 до 6 миллиардов запросов. Однако, сколько вредоносных ссылок скрывается в результатах поисковой выдачи? В 2015 и 2016 годах немецкая лаборатория AV-Test проанализировала 80 миллионов сайтов и обнаружила вызывающую беспокойство тенденцию.

Оценка 80 миллионов ссылок в год показала непрерывное увеличение количества вредоносных ссылок

Еще в 2013 году AV-Test проверила, сколько вредоносных страниц фигурирует в результатах поисковой выдачи. Уже тогда было ясно, что крупные поисковые операторы, такие как Google и другие системы принимают усилия для фильтрации результатов, но они не в состоянии полностью обработать непрерывный поток веб-угроз. В текущем тестировании, результаты собранные с января 2015 года по август 2016 года использовались в качестве базы данных.

Количество зараженных сайтов в результатах поисковой выдачи увеличивалось ежегодно с 2013 года, несмотря на то, что поисковые системы применяли многочисленные технологии для фильтрации угроз.

Каждый год анализировалось 80 миллионов сайтов

База данных, составленная AV-Test за последние 20 месяцев достигла гигантских размеров. На протяжении только 2015 года лаборатория проанализировала более 80 миллионов веб-сайтов на предмет вредоносного содержимого. Исследование продолжилось и в 2016 году. За последние 8 месяцев AV-Test проверила более 80 миллионов дополнительных сайтов. Полученная база обеспечивает хорошую основу для сравнения результатов. Были протестированы поисковые результаты в определенных пропорциях в поисковых системах Google, Bing, Yandex и Faroo. Дополнительно на наличие угроз было проверено более 315 миллионов твитов из сети Twitter в 2015 году и еще 200 миллионов твитов в 2016 году.

Результаты выдачи многих поисковых машин и сообщения из Twitter использовались в качестве базы данных

Операторы поисковых систем предварительно фильтруют результаты и исключают зараженные ресурсы. Google заявляет об улучшенной защите при использовании инструментов Google Safe Browsing. Они работают либо непосредственно в поисковом интерфейсе Google, либо доступны в Firefox и Chrome при использовании другого поисковика. Лаборатория также выяснила, насколько эффективно инструменты Google Safe Browsing справляются с исключением вредоносных результатов.

Исследователи изучили веб-сайты в несколько этапов:

• Запуск в веб-страницы и проверка ее с помощью сканера VTEST собственной разработки AV-Test.
• Запуск веб-страницы с активным мониторингом Google Safe Browsing. Во время тестирования использовались браузеры Chrome и Firefox, потому что инструменты безопасного просмотра в них интегрированы.

Сколько вредоносных сайтов в поисковых системах?

Итоговый отчет наглядно демонстрирует, что количество поисковых результатов с вредоносными ссылками постоянно увеличивается

Две исследовательские сессии, проведенные с 2015 года по август 2016 года в конечном итоге, дают два важных результатах (без Google Safe Browsing):

• 2015: проверено 80 миллионов веб-сайтов, выявлено 18 280 зараженных веб-страниц.
• 2016 (до августа): проверено 81 миллион веб-сайтов, выявлено 29 632 зараженных веб-страниц.

Для сравнения: в 2013 году было проанализировано 40 миллионов страниц и только 5060 из них оказались вредоносными. Не нужно обладать расширенными математическими знаниями, чтобы увидеть положительную динамику роста веб-угроз.

Теперь посмотрим на результаты при использовании Google Safe Browsing:

• 2015: проверено 80 миллионов веб-сайтов, 9725 предупреждений зафиксировано.
• 2016 (до октября): проверено 81 миллион веб-сайтов, 19 794 предупреждений зафиксировано.

Примечательно, что предупреждения не обязательно показывалась для сайтов, которые были обнаружены сканером VTEST. Дело в том, что VTEST отсортировал страницы, которые ссылались непосредственно на вредоносный файл, либо же сами атаковали посетителя. В этом числе находятся мошеннические сайты, которые пытаются захватить пользовательские данные (фишинг-атаки).

Вот почему был проведен дополнительный тест. Все страницы, обнаруженные VTEST, были проверены при помощи Google Safe Browsing. Были получены следующие результаты:

• 2015: проверено 18 280 зараженных веб-страниц, 555 предупреждений зафиксировано.
• 2016: проверено 29 632 зараженных веб-страниц, 1337 предупреждений зафиксировано.

Дополнительная опасность: сообщения Twitter

Большая доля из более 80 миллионов проанализированных ссылок относится к ссылкам в сообщениях из социальной сети для микроблогинга - Twitter. В 2015 году было проверено более 315 миллионов твитов, после чего было извлечено и исследовано 23 миллиона ссылок. В 2016 году была проведена оценка 200 миллионов твитов и 25 миллионов ссылок в них. В 2015 году было обнаружено 1100 вредоносных угроз, а в 2016 году - 1500. Таким образом, вероятность заражения имеет такую частоту, как и ссылки поисковой выдачи, отфильтрованные Google. Таким образом, Twitter также проверяет ссылки и исключает вредоносное твиты. Однако, итоговые результаты показывают недостаточную эффективность этих мер, как, впрочем, и в случае с поисковыми системами.

Какие вредоносные программы скрываются на веб-сайтах?

Среди 80 миллионов проверенных веб-сайтов, можно найти различные виды угроз. В 2015 и 2016 годах было проверено 2 миллиона и 2,2 миллиона ссылок соответственно, которые ввели непосредственно на исполняемый файл. В 2015 году было зафиксировано 10 000 случаев прямого скачивания вредоносной программы, а в 2016 году - уже 18 000.

Примерно в более 60 процентов случаев атака осуществлялась с помощью файла. Остальные 40 процентов атак были связаны с сниппетами, различными уязвимостями и эксплойтами в Java, Flash и других компонентах.

Лаборатория зарегистрировала типы файлов, которые использовались для организации атак и составила рейтинг 5 самых распространенных типов. Первое место, как и ожидалось, досталось исполняемым EXE файлам. Сам рейтинг:

• EXE: исполняемые EXE файлы
• ZIP: сжатые архивы
• RAR: сжатые архивы
• SWF: мультимедийные файлы Adobe Flash
• MSI: файлы установщика Microsoft Windows Installer

Во время исследования было выявлено еще около 10 распространенных типов файлов с угрозами.

Поисковые машины организуют доступ к инфицированным сайтам

Количество зараженных веб-сайтов, обнаруженных в ходе теста на самом деле не критически большое, но также важно понимать их потенциал. Google ежедневно обрабатывает от 2 до 3 миллиардов запросов и выдает по приблизительным оценкам около 1,1 миллиарда веб-сайтов. При этом важно учитывать, что популярный спортивный сайт вызывается около 100 000 раз, а узкоспециализированный ресурс по разведению карликовых хомячков ищется всего 100 раз. Соответственно, один зараженный сайт может показываться в поисковых результатах тысячи раз в день, а другой - всего 10 раз.

Сделать даже примерную оценку сколько инфицированных веб-сайтов находится в обращении в Интернете фактически невозможно. Однако, тестовые данные, собранными на протяжении нескольких лет, показывают увеличение количества вредоносных сайтов. Если брать промежуток с 2015 года по август 2016 года, то количество веб-угроз увеличилось на 60 процентов в небольшой по меркам глобального Интернета группе из 80 миллионов сайтов.

Эксперты рекомендуют использовать антивирус

Несмотря на усилия операторов поисковых систем и таких инструментов, как Google Safe Browsing, факт остается фактом - вредоносные программы находятся на пике развития. В этих условиях эксперты AV-Test рекомендуют использовать антивирусы для компьютеров и мобильных устройств. Лаборатория регулярно оценивает эффективность антивирусных продуктов для Windows, Mac, iOS и Android.

Преступники пользуются ростом популярности Интернета

По материалам AV-Test