Как Microsoft определяет качество обновлений Windows 10. Почему данный подход нужно пересмотреть?

В официальном блоге Windows Experience недавно была опубликована новая серия статей, посвященных стремлению компании к повышению качества своих продуктов, и в частности большое внимание уделено обновлениям для Windows 10.

Представители Microsoft в данных постах сообщают о небывало высоком качестве обновлений системы и драйверов, и подробно рассказывают как проверяют обновления Windows 10 перед их релизом.

Как Microsoft определяет качество своих обновлений

В публикации "Data, insights and listening to improve the customer experience" (перев. «Улучшение пользовательского опыта на основе данных, достоверной информации и обратной связи») сообщается, как Microsoft использует данные для определения качества своих обновлений.

Ключевой вопрос, который встает перед релизом: «Готово ли обновление для клиентов компании?». Обновления, выпускаемые Microsoft, проходят несколько этапов:

1. Автоматическое и ручное тестирование обновлений.
2. Оценка качества на основе диагностических данных и отзывов инженеров Microsoft.
3. Тестирование в программе Windows Insider и дальнейшая оценка обновлений.
4. Распространение среди обычных пользователей Windows.

Метрики, которые собирает и отслеживает Microsoft, должны быть такими же или лучше, чем метрики предыдущего обновления.

Чтобы обновление было готово для публичного запуска, его метрики качества, как минимум, должны быть на уровне метрик предыдущего обновления или превосходить их. Основная идея – каждое новое обновление Windows должно сделать опыт работы с Windows 10 лучше.

Работает ли данная стратегия?

Данные играют важную роль, когда речь заходит о выпуске обновлений. Microsoft может использовать данные, чтобы убедиться в работоспособности определенных функций, а также для выявления различных ошибок и проблем.

Стоит ли напоминать, что доставка обновления October 2018 Update (версия 1809) была приостановлена из-за большого количества обнаруженных ошибок, среди которых:

• Проблема потери данных в пользовательских библиотеках
• Проблема с потерей данных при перемещении файлов из архивов
• Проблема с потерей звука и синим экраном смерти (BSOD)
• Проблема с экранными шрифтами
• Проблема с сетевыми дисками

Интересно, что ни одна из перечисленных проблем не была обнаружена на этапах тестирования, сбора и анализа телеметрических данных и мониторинга обратной связи от инженеров Microsoft и участников программы Windows Insider.

Более того, в новом накопительном обновлении для версии 1809 первоначально не была замечена проблема с потерей производительности в играх. Впоследствии Microsoft добавила информацию об ошибке в список известных проблем на странице поддержки.

В чем заключается проблема

Инженеры Microsoft и тестировщики Windows Insider не способны предоставить достаточный объем данных по всем основным случаям использования, например по играм. Согласитесь, маловероятно, что инженеры Microsoft часами залипают в компьютерные игры. Даже если они все-таки это делают, они физически не могут проверить тысячи играх на всевозможных конфигурациях ПК. Инсайдеры, по большей части, также могут не интересоваться играми. Таким образом, компьютерные игры – одна из областей, где подход Microsoft не оправдывает себя.

Конечно, практически нереально ожидать, что Microsoft сможет обнаружить абсолютно все проблемы в обновлениях перед релизом. Огромное количество аппаратных и программных конфигураций делает эту задачу невыполнимой.

Тем не менее, пользователи не должны сталкиваться с серьезными проблемами, такими как потеря производительности в играх.

Именно поэтому рекомендуется не спешить с установкой обновлений, а разворачивать их в системе только спустя некоторое время. Ведь вы никогда не знаете, что произойдет.

Как отключить автоматическое обновление Windows 10

Как вы думаете, как Microsoft может улучшить качество обновлений?

По материалам Ghacks