Оптимизация внутренних процессов и автоматизация тестирования для ПО в сфере информационной безопасности

Разрабатываемая комплексная система для администрирования сетей быстро развивалась, усложняя продукт и тестовую модель. Система состоит из множества опциональных компонентов, поэтому необходимо было обеспечить максимальное качество работы вне зависимости от конфигурации. Был внедрен новый подход к приоритезации критических областей и актуализации тестовой модели и разработан общий фреймворк для автоматизации тестирования.

Число багов на этапе релиза сократилось на 98%, все тесты были автоматизированы, время на покрытие нового функционала автотестами сократилось на 62%.

Разрабатываемый продукт— комплексная система для администрирования сетей и сетевого оборудования. Помимо этого, в задачи разрабатываемого ПО входит контроль и распределение трафика, авторизация пользователей, проверки на уязвимости узлов и проверки на несанкционированный доступ к данным.

Программный комплекс находится в стадии постоянного развития, функционал расширяется, что ведет за собой усложнение архитектуры и увеличение частоты релизов. Всё это, в свою очередь, приводит к повышенной необходимости в качественном тестировании.

Постоянный ввод нового функционала влечет за собой постоянное расширение тестового покрытия, повышает сложность тестирования. В проверке нуждались интеграция доработок и новых компонентов как между собой и имеющимися модулями, так и с внешними системами, с которыми происходит взаимодействие.

Рост проблем, которые способна решать система, идет с высокой скоростью. Это отражается на автоматизации тестовой базы. Происходит устаревание разработанных ранее автоматизированных тест-кейсов при уменьшении общего покрытия автоматизацией из-за увеличения общего пула задач тестирования.

Ввиду специфики проблем, решаемых этим ПО, спектр интегрируемых систем широк как в плане способов работы с ними, так и решаемых задач. Многие из внешних модулей имеют достаточно узкую специализацию, ввиду чего подход работы с ними может быть незауряден и отличаться от общепринятых практик интеграции между системами.

В свою очередь система состоит из множества независимых модулей, часть из которых опциональна. Это, в свою очередь, накладывает дополнительный пласт задач тестирования, связанный с интеграцией модулей между собой и комбинированием различных наборов конфигураций.

• Обеспечить своевременное тестовое покрытие растущего функционала продукта, а также ввести процесс актуализации существующей тестовой базы.
• Тестировать новый функционал и составлять отчетность о качественном состоянии ПО при каждом итерационном срезе.
• Разработать фреймворк для автоматизации тестирования, имеющий необходимый функционал проверок, а также инструмент отчетности, способный интегрироваться в комплексную среду управления разработкой, поддерживающий все виды интеракции с частями системы, включая: UI, API всех её отдельных модулей, API внешних интегрируемых систем, БД и системы конфигурации внешних модулей.
• Произвести автоматизацию имеющейся тестовой базы и внедрить выполнение автотестов в цикл поставки ежедневных версий, а также разработать график их исполнения для специализированных веток.
• Синхронизировать актуализацию автотестов с доработками тестовой базы продукта.
• Обеспечить объединение автоматизированного модульного, интеграционного и тестирования UI в один фреймворк и разработать инструмент общей отчетности между ними, чтобы централизованно получать целостную информацию о состоянии разрабатываемой системы.
• Своевременно доносить информацию о дефектах, возможных уязвимостях, предложениях к доработке до остальных команд разработки проекта.

Также было оптимизировано получение информации о предрелизном состоянии функционала, что, исходя из всего вышеперечисленного, привело к сокращению сроков покрытия новых разработок тестами.

На основе технологий Selenium, .NET, и NUnit, с помощью языка C# был разработан общий фреймворк для автоматизации разных аспектов тестирования продукта. В разработанный фреймворк были интегрированы переработанные готовые автотесты, налажена разработка новых решений, как в рамках имеющейся тестовой базы, так и её пополнения, доработки.

После ввода в эксплуатацию разработанной тестовой платформы произошло упрощение создания автотестов и ускорение их выполнения за счет корректной группировки и параллелизациии процессов. Также был упрощен анализ, ввиду более целостного подхода.

В ходе совершенствования процессов обеспечения качества произошло значительное сокращение количества багов, доходящих до релиза. Также было уменьшено среднее время обнаружения дефектов в новых сборках и налажен своевременный обмен информацией между всеми участниками процесса разработки.

Также в результате проведенной работы увеличилась скорость выполнения автотестов на 64%, что позволило существенно сократить время на прогоны и запускать их дважды в день. Это также повлияло на общую скорость проведения тестирования на проекте, а скорость анализа состояния продукта после сборки билда увеличилась на 44%, а среднее время обнаружения бага в ветке разработки уменьшилось на 61%

Продукт получил возможность используя внедренные решения продолжать работу над внутренним качеством, при этом наращивая объем нового функционала.