Многие антивирусы улучшили показатели защиты в динамическом тестировании

Независимая антивирусная лаборатория AV-Comparatives со штаб-квартирой в австрийском Инсбруке прилагает титанические усилия для эффективной оценки антивирусных решений в условиях, максимально приближенных к реальным. Каждый день тестирование на противостояние вредоносным программам проходят около двадцати программ. За последние шесть месяцев AV-Comparatives провела около 3000 отдельных тестов. В отчете лаборатории за март-июнь 2013 отчетливо прослеживается, что сразу несколько продуктов значительно улучшили защиту от вредоносного ПО.

Тестовая лаборатория AV-Comparatives. Изображение с блога Евгения Касперского

Количество образцов имеет значение

На интуитивном уровне понятно, что чем больше вредоносных образцов используется для тестирования, тем более точные результаты можно получить. Австрийская лаборатория обосновывает использование компактного тестового набора угроз. Простой отчет отражает данные статистики, которые удивляют. Допустим, конкретный продукт имеет уровень обнаружения – 80 процентов при тестировании с пакетом из 10000 вредоносных образцов. Теперь предположим, что используется всего 10 образцов из того же набора. При анализе всех возможных вариантов оказывается, что события достижения такого же уровня обнаружения, более низкого и более высокого равновероятны. Конечно, 10 образцов – очень радикальный случай, но общая концепция понятна.

Методика тестирования

Исследователи из AV-Comparatives ежедневно отбирают вредоносные сайты вручную и с использованием автоматических методов. Они выбирают как прямые ссылки для загрузки опасных файлов, так и ссылки на сайты, загружающие вредоносное ПО без ведома пользователя. Собрав необходимую коллекцию опасных образцов, сотрудники лаборатории наблюдают за реакцией антивирусных продуктов на угрозу. Положительный результат достигается, когда вредоносное ПО блокируется антивирусом, отрицательный – если угроза смогла обойти защиту.

Иногда в процессе тестирования антивирусных продуктов выводится оповещение, которое запрашивает от пользователя решение: разрешить или заблокировать действие. В тестах AV-Comparatives всегда выбирается разрешение операции. Если антивирус успешно защитил систему, несмотря на выбранное действие, он получает максимальные баллы. Если антивирус позволил инфицировать или повредить систему из-за неправильно выбранного действия его результат уменьшается вдвое.

При завершении тестирования определенного продукта, тестовая система откатывается к своему первоначальному состоянию и снова готова для следующего теста.

Ложные срабатывания

Ложные срабатывания происходят, когда антивирус ошибочно блокирует доступ к надежному файлу или сайту. Конечно, пользователи не хотят, чтобы программы для защиты компьютера удаляли нужные файлы и блокировали доступ к безвредным ресурсам. AV-Comparatives тестирует каждый антивирус с коллекцией из тысячи доменов, выбранных случайным образом, а также с сотнями новых и популярных программ. Для тестирования используются приложения, загруженные исключительно с сайтов разработчиков, а не с варезных порталов.

В отчете компании подчеркивается, что большинство тестируемых решений блокирует доступ, либо выводят оповещение при анализе новых программ и сайтов. Данная агрессивная концепция позволяет антивирусам получать максимальные баллы за защиту, но часто становится причиной блокирования абсолютно безвредных и надежных программ и веб-сайтов. Напомним, что Norton, который использует данный тип обнаружения, не участвует в тестах AV-Comparatives.

Значительное улучшение защиты

Более половины тестируемых продуктов улучшили свои показатели по сравнению с предыдущим тестированием лаборатории. В прошлом докладе австрийской компании Vipre, McAfee и Fortinet провалили тестирование и не получили даже рейтинг STANDARD. На этот раз Fortinet и McAfee достигли рейтинг ADVANCED, а Vipre получил STANDARD. Общий рейтинг всех трех антивирусов ухудшился из-за ложных срабатываний. Если брать в расчет только характеристики обнаружения, то McAfee и Fortinet получили бы ADVANCED+ - наивысший возможный рейтинг.

eScan также улучшил защиту, рейтинг антивируса изменился со STANDARD на ADVANCED+. avast!, ESET и Trend Micro также прогрессируют и вместо ADVANCED получили ADVANCED+. Несколько других решений также подняли рейтинг со STANDARD до ADVANCED.

Bitdefender регулярно получает высшие баллы в тестах сторонних лабораторий. Если рассматривать только результаты обнаружения, антивирус получил бы ADVANCED+, но ложные срабатывания понизили рейтинг до ADVANCED. Аналогичная ситуация у F-Secure и BullGuard.

Динамические тесты AV-Comparatives являются одним из самых трудоемких тестирований. Лаборатория полагается на поддержку австрийского правительства и Инсбрукского университета. Компания проделывает титаническую работу, зато результат максимально точно отображает эффективность защиты в условиях реального использования пользователем.

По материалам интернет-портала PC Magazine