Аудит QA-отдела «ТатИТнефти»: как провести независимую оценку компетенций за 20 дней и найти точки роста команды

Внутренний QA-отдел — зона особого риска для любой ИТ-компании. Без новых задач и внешних вызовов команда стагнирует: навыки устаревают, а сильные инженеры уходят в более конкурентную среду. Как следствие, снижается качество тестирования ПО, что приводит к росту числа инцидентов и простоев оборудования.

«ТатИТнефть» не стала ждать первых симптомов и обратилась к нам за независимым аудитом отдела тестирования. Вызовом проекта стали сроки: на разработку методологии и оценку компетенций команды было всего 20 рабочих дней. Как мы уложились и что в итоге получил заказчик — рассказываем в кейсе.

Качество ИТ-систем обеспечивается собственным отделом тестирования, который появился в 2024 году и решает широкий круг задач: от проверки мобильных приложений для АЗС до тестирования высоконагруженных систем управления нефтедобычей.

QA-подразделение состоит из 4-х команд, отвечающих за разные ИТ-системы «Татнефти». Каждая имеет свои особенности и технологический стек. Внутри команд инженеры взаимозаменяемы и готовы подхватить задачи коллег при необходимости.

База для всех QA-специалистов — ручное функциональное тестирование. Кроме него инженеры должны владеть автоматизацией, нагрузочным тестированием и понимать особенности тестирования систем на базе 1С.

Подразделения, работающие исключительно на материнскую компанию, подвержены профессиональной стагнации. Причина — отсутствие рыночной обратной связи и внешней конкуренции. Во внутреннем QA-отделе это приводит к снижению качества тестирования, росту инцидентов и оттоку сильных кадров.

Чтобы избежать такого сценария, компании создают искусственную конкуренцию с внешними подрядчиками, привлекают независимых экспертов для аудита и оценки компетенций команды, внедряют индивидуальные планы развития (ИПР) вместо массового обучения «для галочки». «ТатИТнефть» выбрала два последних инструмента.

Компания провела анализ рынка консалтинговых услуг в области тестирования и организовала тендер. В результате нас выбрали подрядчиком для аудита компетенций QA-команды.

— Решающим фактором стал ваш большой опыт работы с разными ИТ-системами и глубокое понимание специфики ручного, автоматизированного и нагрузочного тестирования, — Андрей Скворцов, руководитель группы тестирования «ТатИТнефти».

Аудит состоял из трех этапов:

• Подготовка матрицы компетенций. Это инструмент, включающий перечень навыков и знаний QA-инженеров «ТатИТнефти», общий пул вопросов для тестирования и методологию оценки.
• Технические интервью один на один, на которых мы проверяли знания сотрудников по ключевым темам.
• Анализ результатов и подготовка отчетов о компетенциях каждого инженера, сводных данных по командам и индивидуальных планов развития тестировщиков.

Изначально на проект закладывалось 35 рабочих дней. Из-за задержки с подписанием договора срок сократился до 20. Чтобы уложиться, мы начали подготовку матрицы компетенций еще до формального старта.

— Нам было важно, чтобы аудиторы не ограничивались формальной оценкой «знает/не знает», а могли учесть контекст, в котором работает наша команда, и дать рекомендации, применимые к нашему стеку технологий и продуктам, — Андрей Скворцов, руководитель группы тестирования «ТатИТнефти».

Мы провели несколько встреч с руководителем QA-отдела и определили 16 тем, необходимых инженерам по тестированию «ТатИТнефти». Каждую разбили на конкретные области знаний — всего получилось более 60.

Для каждой области знаний составили открытый вопрос, который требует подробного ответа и позволяет узнать о реальном опыте специалиста. В итоговый пул вошло более 60 вопросов. 

По просьбе заказчика мы разработали 6-балльную шкалу оценки:

• 0 — полное отсутствие знаний,
• 1–2 — поверхностное понимание на уровне определений,
• 3 — уверенный уровень Middle (самостоятельное решение типовых задач),
• 4 — глубокое понимание с отдельными пробелами,
• 5 — уровень Senior с развернутым системным анализом.

Для каждого вопроса прописали 6 вариантов ответов, соответствующих тому или иному баллу — четкие критерии позволяют ставить оценки максимально объективно.

Благодаря такому подходу получился удобный инструмент для различных бизнес-процессов команды: матрицу компетенций можно использовать для найма, адаптации новых сотрудников, оценки эффективности работы.

На основе матрицы мы подготовили опросники для каждой команды с учетом ее технологического стека и специфики задач. Все материалы согласовали с заказчиком и приступили к техническим интервью.

Индивидуальные технические интервью проходили в формате онлайн-созвонов по 1–1,5 часа. На интервью сотрудника ждал блиц-опрос: за отведенное время требовалось ответить на 30–60 вопросов (1–3 минуты на вопрос). Такой формат позволяет за короткий срок получить честный срез знаний, но требует дисциплины и строгого тайминга.

Аудитор QA Service Lab четко удерживал фокус беседы: возвращал к сути вопроса, если испытуемого уносило в пространные рассуждения, а при отсутствии ответа сразу переходил к следующей теме. 

Мы заранее предупредили заказчика, что при такой высокой концентрации вопросов неизбежен элемент субъективности. Оценка складывалась не только из формальной правильности, но и из логики ответов: если эксперт видел, что собеседник знает гораздо больше, чем успевает сказать, балл повышался.

По итогам интервью для каждого сотрудника мы подготовили:

1. Отчет о результатах аудита. В нем собрана информация, которая помогает руководителю принимать решения по кадровым вопросам и развитию компетенций команды. В документе отражены общий уровень сотрудника, средние баллы по каждой теме и комментарий аудитора о сильных и слабых сторонах специалиста.

2. Индивидуальный план развития. Темы в ИПР делятся на две группы:

В каждом плане предусмотрены две траектории развития: сначала в рамках своей команды, затем — в рамках всего отдела тестирования. Такой подход помогает сотруднику понять, как развиваться дальше после достижения необходимого уровня для своей текущей роли.

По просьбе заказчика мы не давали в ИПР ссылок на конкретные материалы — умение самостоятельно искать информацию критически важно для любого инженера по тестированию.

Помимо индивидуальных документов мы подготовили сводные отчеты по каждой из 4-х команд. В них отражены общие сильные стороны и зоны роста коллективов. Например, у одной из команд обнаружились пробелы в понимании подходов к тестированию 1С и в проверках SOAP-интеграций.

Благодаря аудиту руководитель QA-отдела получил объективную картину компетенций каждого сотрудника в отдельности и всего подразделения в целом. Это дает возможность принимать решения на основе фактов, а не субъективных ощущений.

Ключевые результаты и ожидаемые эффекты:

• Прозрачность экспертизы. Сформирована матрица компетенций отдела, которой раньше не существовало. Теперь виден не только уровень каждого инженера, но и баланс экспертизы между ручным, автоматизированным и нагрузочным тестированием.
• Рост вовлеченности за счет четких ИПР: сотрудники увидели, что руководство вкладывается в их профессиональный рост, а критерии оценки стали понятными и измеримыми.
• Основа для масштабирования. Появилась база знаний о текущем уровне компетенций — теперь это эталон для подбора и обучения новых специалистов.
• Фундамент для роста эффективности. Точечное закрытие пробелов, заложенное в ИПР, в перспективе 6–9 месяцев создает предпосылки для сокращения времени регрессионного тестирования и повышения уровня автоматизации на проблемных участках.

— Понравился прагматичный подход и отсутствие «воды». Методика аудита была понятна и прозрачна. Особенно хочется отметить скорость: вы уложились в обещанные сжатые сроки, предоставив не «сырые» данные, а структурированный отчет с готовыми рекомендациями, учитывающими контекст нашего бизнеса, — Андрей Скворцов, руководитель группы тестирования «ТатИТнефти».

Запишитесь на бесплатную онлайн-консультацию: покажем, как адаптируем методику под ваши задачи, и расскажем, какие бизнес-эффекты вы получите от аудита компетенций QA-команды.