10 лет AV-Comparatives: история одной лаборатории

Многие пользователи осознают важность эффективной антивирусной защиты только тогда, когда сами сталкиваются с заражением на своем компьютере. Подобная история произошла с Андреасом Клементи (Andreas Clementi) - его ПК был заражен распространенным вирусом “November 17” в далеком 1993 году. В 1999 году Андреас начал тестировать различные антивирусные продукты в рамках студенческого проекта в Инсбрукском Университете имени Леопольда и Франца. Позднее он встретил Питера Стелзхаммера (Peter Stelzhammer), и они совместно стали публиковать результаты испытаний на сайте av-comparatives.org. Сейчас в команде лаборатории насчитывается более десятка постоянных сотрудников пяти различных национальностей, и почти все из них являются выпускниками Университета. Кроме того, неоценимый вклад в работу лаборатории вносит огромное количество добровольцев из 20 стран и 8 различных университетов.

10 лет антивирусных испытаний

За 10-летнюю историю своего существования лаборатория протестировала антивирусные продукты 36 различных вендоров. Некоторые решения не смогли попасть в программу тестирования из-за жесткой конкуренции за места. Целью лаборатории является проверка от 16 до 20 антивирусных продуктов, хотя в последнее время в программу испытаний попадают более 20 участников, т.к. пользователи, интернет-издания и компьютерные журналы запрашивают больше информации.

Среди вендоров, которые регулярно участвовали в тестах AV-Comparatives - Avast, AVG, Avira, Bitdefender, ESET, F-Secure, Kaspersky Lab и McAfee. Данные компании всегда стремятся к улучшению своих продуктов. Иногда не самый высокий результат тестирования приводил к интенсивным улучшениям эффективности защиты.

Вместе с развитием лаборатории, развивалась и сопутствующая информационная инфраструктура организации. В частности, в 2004 году услуги хостинга для сайта лаборатории предоставлялись Инсбрукским Университетом. Сайт не имел графического интерфейса и использовался исключительно для хранения текстовых файлов с отчетами. Первый сайт с интерфейсом имел очень простой дизайн и одну колонку меню. Пять лет спустя сайт лаборатории был кардинально пересмотрен с точки зрения дизайна и удобства навигации, а также были добавлены опросы и исследования. В 2013 году веб-ресурс был снова переработан, появились отчеты о проактивных и поведенческих тестах и обзоры испытаний защит для Mac. Надеемся, сайт продолжит развиваться и при следующем обновлении станет еще более привлекательным и удобным в использовании.

Тесты и обзоры

AV-Comparatives первоначально начала проводить простые тесты антивирусов, предназначенных для защиты ОС Windows, на файловое обнаружениe. Данное испытание по-прежнему осуществляется и на сегодняшний день. В 2008 году лаборатория внедрила тестирование на ложные срабатывания, подтверждая, что антивирусные продукты не должны набирать высокие баллы из-за слишком чувствительной системы эвристического обнаружения.

С момента основания лаборатории было добавлено большое количество тестов, самым примечательным из них является динамическое тестирование в условиях, приближенных к реальному использованию. Впервые данное испытание было проведено в 2010 году и с того момента стало стандартом, по которому сравниваются другие подобные тесты.

Еще одним тестом защиты стал проактивный тест, запущенный в 2004 году. Он стартовал как простая ретроспективная проверка эвристических компонентов, а позднее стал включать проактивный тест поведенческой защиты при запуске вредоносных программ.

AV-Comparatives также измеряет влияние антивирусных продуктов на производительность компьютера в отдельном тесте, а также оценивает насколько эффективно решения удаляют активные угрозы на зараженных системах. Испытания защиты от фишинга и родительского контроля отражают эффективность продуктов в противодействии мошенническим угрозам и веб-ресурсам с запрещенным контентом соответственно. Комплексное тестирование защит для Mac OS и Android в лаборатории включает не только тест на блокировку вредоносного ПО, но и другие специализированные проверки, например тест на эксплойты.

Кроме непосредственно тестирования эффективности продуктов, AV-Comparatives занимается обзорами функциональных возможностей и пользовательских интерфейсов большого количества антивирусов. Годовой итоговый отчет включает обзор удобства использования всех антивирусных продуктов для Windows, включенных в программы тестирования. Лаборатория также публикует обзоры антивирусных решений для корпоративных сред Windows, систем Mac OS, Linux и мобильной платформы Android, которые включают рассмотрение интерфейса и функциональности.

Мировое признание

Лаборатория работает для общей пользы, поэтому ее работа поддерживается многочисленными академическими и общественными образованиями, включая правительство Австрии, Европейский Союз, Инсбрукский Университет, Гонконгский университет науки и технологий, Национальный тайваньский университет науки и технологий, Университет Брандейса и Образовательный центр Инсбрука.

Благодаря тому, что деятельность AV-Comparatives субсидируется, лаборатория поддерживает низкие входные взносы для разработчиков, предоставляя возможность участвовать в тестировании вендорам со скромными бюджетами. Все вендоры оплачивают одинаковую стоимость, гарантируя абсолютный нейтралитет.

Результаты тестирования AV-Comparatives используется практически всеми основными IT-изданиями, а также аналитиками Gartner, Forrester и других консалтинговых и исследовательских компаний и часто цитируются антивирусными вендорами.

Публикации лаборатории используются в качестве справочных текстов в университетах. Организация стремится быть максимально открытой. Представители вендоров и журналисты могут посещать офисы компании и наблюдать за процедурами проведения тестов. Результаты некоторых испытаний регулярно публикуются компьютерными журналами, в частности Computerbild, Chip, PCgo, PC Magazine и т.д.

На данный момент AV-Comparatives является членом нескольких организаций, в частности некоммерческой организации по стандартизации методик тестирования (AMTSO), европейской экспертной группы в области IT-безопасности (EICAR) и ассоциации азиатских исследователей антивирусных продуктов (AVAR).

AV-Comparatives была аттестована международной компанией TUV Austria и получила сертификат ISO 9001 за систему управления “Независимое тестирование антивирусного ПО”. Переаттестация проводится каждый код. Кроме того, за последнее AV-Comparatives и ее тестовые методики несколько раз получали награды на различных конференциях и мероприятиях.

Участие в конференциях играет значимую роль для лаборатории. Представители организации постоянно представляют презентации, иногда кооперируясь с университетами-партнерами. Коллектив лаборатории участвовал в следующих конференциях: Virus Bulletin, BlackHat, DefCon, FIRST, MalCon, AMTSO, EICAR, AVAR, RSA, CARO, InfoSecurity, SourceConference, WATeR и BSides.

AV-Comparatives является одной из немногих лабораторий, которые осуществляют сравнительное тестирование - т.е. оценивают результат участника по сравнению с остальными тестируемыми продуктами, а не ограничиваются процедурой сертификации. Статистические данные по количеству проведенных тестов, и протестированных решений по состоянию на декабрь 2014 года указаны в таблице:

AV-Comparatives признает, что постоянное совершенствование методик тестирования вредоносных программ позволяет выдавать релевантные результаты. Тестовые лаборатории должны регулярно улучшать процедуры тестирования, чтобы соответствовать быстрым изменениям вредоносного ПО и постоянному развитию антивирусных продуктов.

Редакция Comss.ru поздравляет коллектив AV-Comparatives с юбилеем!

С нетерпением ждем новых отчетов и тестов!