CI/CD — основа DevOps, позволяющая автоматизировать сборку, тестирование и деплой. Но без качественного тестирования может стать CI/CD может стать бутылочным горлышком. В этой статье обзорно разберем, как интегрировать CI/CD с QA-инструментами, чтобы ускорить циклы разработки, минимизировать риски, повысить надежность ПО и улучшить управляемость.
Основы CI/CD и роль тестирования
Continuous Integration (CI) подразумевает частую заливку кода и его мерж в боевую ветку, Continuous Delivery/Deployment (CD) — автоматизированный релиз. Тестирование здесь критично: unit-тесты в CI, интеграционные и E2E в CD. Без инструментов для управления тестами (планы, кейсы, прогоны, отчеты) процесс тормозит.
Популярные CI/CD серверы (Jenkins, GitLab CI) позволяют запускать тесты автоматически, но развернутую отчетность, с анализом трендов из них не получить. Да и для ручного QA нужны платформы, интегрирующиеся с ними в части передачи результатов, создания багов в трекерах.
Ключевые интеграции
Облачные сервисы упрощают: настройка webhook'ов для уведомлений, дашборды для мониторинга. Решения вроде Платформы ITQC поддерживает такие интеграции — от API key для безопасного доступа до API для CI/CD, где боты загружают результаты прогонов на платформу реал-тайм.
Примеры использования
Вариантов использования интеграции CI/CD с платформой по тестированию множество. Например:
1. В проекте на GitLab можно создать репозиторий с автотестами. Автотесты будут автоматически, по расписанию стартовать в определенное время. На платформе будут отображаться результаты. Отчетность позволит проанализировать какие части функционала содержат наибольшее количество дефектов, происходит ли повышение качества разработки со временем, какие категории дефектов наиболее распространены.
2. В проекте на GiLab можно создать репозиторий с автотестами и кодом приложения. В пайплайн CI/CD включить прогон unit тестов и по результатам мердж изменений и прогон UI, API тестов, а также E2E тестов. Уведомления на почту об успешности или неудаче прогона тестов позволяют осуществлять мониторинг процесса не затрачивая дополнительных усилий.
Примеры анализа отчетности
1. Поиск flaky-тестов. Подобные тесты, которые то падают, то работают может быть затруднен, если приходится анализировать большое количество запусков и большое количество тестов.
Решение: аналитика в QA-инструментах для выявления подобных тестов. Например, в Платформе ITQC есть отчетность по количеству успешного/неуспешного запуска тестов в разрезе периодов и тестов. Можно отобрать, например, те тесты, которые падают в 50% случаев.
2. Поиск функционала с наибольшим количеством дефектов. Например, можно сгруппировать тесты по сьютам, которые отображают принадлежность тестов к определенному функционалу и сформировать отчетность о количестве падений по ним.
3. Анализ скорости работы автотестов на функционале. Платформа логирует скорость прогона как ручных, так и автоматизированных тестов. По прогонам тестов можно сформировать отчетность о скорости прогона тестов в разрезе периодов времени.
4. Анализ категорий дефектов. Автотесты позволяют присваивать категории падениям. В дальнейших прогонах при подобных падениях категория будет присваиваться в автоматизированном режиме. Это позволяет выявлять топы причин падений и точечно работать с ними.
Существует множество других вариантов анализа данных на Платформе ITQC и каждый пользователь может найти свои.
В итоге, интеграция CI/CD с QA — ключ к гибкой-разработке. Инструменты вроде Платформы ITQC, с фокусом на анализ прогонов и тест-менеджмент, помогают командам фокусироваться на продукте, а не на рутине в поисках необходимых для анализа данных. Если вы dev или test-lead, протестируйте такие решения — они окупаются быстро.