В данной статье мы подробно рассмотрим, что такое нефункциональное тестирование и для чего оно нужно. Расскажем об отличиях функционального тестирования от нефункционального.
Содержание:
Когда пользователю очень удобно пользоваться тем или иным ПО, когда в его работе не возникает не только досадных технических ошибок, но и не встречается недочётов интерфейса, все работает четко и плавно — это заслуга не только разработчиков, но и тестировщиков, которые провели полноценное нефункциональное тестирование продукта. В этой статье мы подробно рассмотрим для чего нужно такое тестирование, что оно проверяет и в чем главные отличия функционального тестирования от нефункционального.
Начинающий тестировщик может подумать, что в сфере QA все подчиняется жестко описанному техническому заданию, и все, что он будет проверять, должно быть зафиксировано в этом документе. Отчасти это правда, но такие тесты будут называться функциональными. А что делать с теми аспектами, которые напрямую не относятся к функциональности ПО, но которые являются важными для его корректной и надежной работы? Их мы и будем проверять в рамках нефункционального тестирования (non functional testing). Это может быть производительность ПО, его, быстродействие, удобство использования и логичность интерфейса, масштабируемость, доступность, надежность и многие другие характеристики. Одним словом, данные тесты помогут дать оценку качеству работы системы с разных аспектов. Важный нюанс: как правило, заниматься нефункциональным тестированием нужно только после того, как вы удостоверились в правильной работе всех функций ПО. Предположим, что вы разрабатываете веб-приложение для заметок. Когда вы проверяете его способность создавать, сохранять и редактировать заметки — это функциональное тестирование. А вот проверки, насколько стабильно будет работать редактирование или сохранение заметок при плохом или пропадающем интернет-соединении, или не «съедает» ли заряд батареи при работе с заметками — они будут выполнены в рамках нефункционального тестирования.
Цели нефункционального тестирования вполне логичны — это повышение охвата направлений тестирования, и, как следствие, рост качества продукта, эффективности его работы. Для заказчика подключение такого тестирования, наравне с функциональным, означает последующее снижение производственных рисков и трат на исправление нетривиальных ошибок, которые можно пропустить в рамках функционального тестирования.
Одними из самых важных нефункциональных видов тестирования являются следующие шесть:
Про каждый из этих видов можно много говорить отдельно, но давайте в обзорно, разберем каждый из них с примерами использования в деле.
Тестирование производительности (Performance Testing) — это процесс проверки скорости работы ПО и его способности обрабатывать большие объемы данных или большое количество пользователей. Возвращаясь к нашему примеру с веб приложением для создания заметок, то оно явно не должно запускаться с той же скоростью, как грузится Word на старом ПК под управлением Windows XP. Запуск и загрузка приложения должны быть быстрыми, а реакции на действия пользователя, без задержек, либо с минимальными задержками, которые будут приемлемы для комфортной работы. Касается это как работы интерфейса приложения, так и его «внутреннего функционала». К примеру, процесс редактирования большой заметки должен быть оптимизирован таким образом, чтобы при любых изменениях и действиях пользователя, это не приводило к зависаниям или временной недоступности приложения.
Тестирование надежности (Reliability Testing) — проверит стабильность работы программного обеспечения при различных условиях, таких, как, к примеру, длительное использование без перерыва, переключение между вкладками в браузере или сворачивание и разворачивание приложения в мобильной версии. Такого рода операции не должны приводить к ошибкам и сбоям. Частый пример, который важен в жизни – перед запуском в работу интернет-магазин тщательно тестируется, а потом запускается в общее пользование. И вот сколько времени он сможет самостоятельно и автономно работать без сбоев и каких-либо инцидентов, при изменяющихся условиях? Если что-то пойдет не так и сервис вдруг будет недоступен — магазин просто потеряет клиента.
Тестирование безопасности(Security Testing) касается проверки защиты данных, и это особенно важная тема в нынешнее время. Ни у кого стороннего не должно быть лазеек для несанкционированного доступа к личной информации пользователей, их переписке, либо иной конфиденциальной информации, с которой работает приложение. К примеру, у продавцов на маркетплейсах не должно быть доступа к списку заказов их покупателей, либо к их персональным данным, которые они не сообщали продавцу. А покупатели, в свою очередь не должны смочь купить товар бесплатно, просто отправив SQL инъекцию в поле ввода промокода и при оформлении заказа.
Тестирование удобства использования (User Experience Testing)поможет понять, насколько легко и интуитивно новому пользователю получить доступ ко всем необходимым функциям ПО, понятно ли размещена нужная информация, можно ли через меню добраться до желаемого функционала и хватает ли размера кнопки, чтобы пользователь смог с первого раза попасть по ней пальцем на мобильном устройстве. Пример такого тестирования — оценка текущей реализации внешнего вида сайта или приложения и проверка что даже новый покупатель легко найдет все что ему нужно, потому что на видном месте будет расположена форма быстрого поиска, а все сопутствующие элементы интерфейса корректно отображаться.
Тестирование локализации(Localization Testing) определит правильность перевода программного обеспечения на различные языки, адаптацию его для разных культур. К примеру, если сайт по продаже велосипедов, работавший вне России захочет продавать свои товары тут, то им придется мало того, что перевести весь сайт с иностранного языка, на русский, но и преобразовать все единицы изменения и стоимости на те, которые используются у нас, например не футы, а метры, не доллары, а рубли. Причем адаптация ПО может быть не только на основе языка, но и культуры. Так, фейерверк в дизайне сайта пользователям из России будет напоминать про Новый год, а пользователям из США – про день независимости. Такие отличия крайне важно учитывать и проверять в тех случаях, когда приложение предполагается для нескольких стран.
Тестирование совместимости (Compatibility Testing) — проверка работы программного обеспечения на различных устройствах и операционных системах, а также проверка совместимости с другими приложениями. Любое приложение не работает в изолированной среде, поэтому тестирование совместимости обязательно для уверенности, что в большинстве типичных случаев ПО будет работать корректно. Так один и тот же сайт может работать корректно в одних браузерах, но вовсе не работать в других. Либо, приложение на телефоне может зависать при попытке обращения к памяти, потому что стороннее приложение – антивирус, будет считать, что это несанкционированный доступ.
Нефункциональное тестирование, в большинстве случаев, за основу берет специально сформулированную документацию, которая содержит дополнительные характеристики приложения. Они называются «нефункциональными требованиями», эти документы описывают качество работы системы, ресурсный потенциал ПО, включают параметры производительности, надежности, безопасности, удобства использования, совместимости.
Этапов проведения нефункционального тестирования несколько, и четкое понимание важности каждого из них — ключ к максимально подробной проверке.
Для начала необходим анализ того, какой именно функционал ПО нуждается в проверке, как проект должен работать в целом, какие будут сценарии использования, по каким логическим маршрутам внутри программы пойдет пользователь.
Следующий шаг — написание тест-кейсов, где пошагово расписана последовательность проверки каждого определенного функционала. Либо же, в некоторых случаях, можно ограничиться чек-листами.
После этого необходимо подготовить тестовые данные, максимально приближенные к тем, что юзеры будут использовать при работе с ПО.
Предпоследний шаг — непосредственное проведение самого тестирования и оценка результата.
Финал — написание отчета по результатам всего тестирования. В нем должно быть подробно описано всё, что вы делали — и ход тестов, и список багов, и рекомендации по дальнейшему улучшению ПО, которое вы тестировали.
Нефункциональное тестирование — подход довольно гибкий, и часто идет рука об руку с функциональным тестированием. Иногда, опытные инженеры по обеспечению качества могут делать эти два вида тестирования параллельно — функциональное и нефункциональное, однако в большинстве случаев, для наиболее полной и тщательной проверки системы, лучше проводить их по отдельности друг от друга, так как у них есть своя специфика.
Напоследок акцентируем ваше внимание на важных аспектах нефункционального тестирования, которые нужно постоянно держать в голове, и которые помогут чётче провести сам процесс тестирования, от первых встреч с заказчиком до финальной сдачи отчетов. Это:
Измеримость. Она является важным аспектом нефункционального тестирования, так как она позволяет количественно и численно оценить качество продукта, определить, насколько хорошо система выполняет свои функции и соответствует требованиям. Как правило, для этого используются различные заранее согласованные метрики.
Приоритезация требований. Вам, как профессионалу, всегда нужно держать в голове главную дилемму — протестировать 100% сценариев и сочетаний обстоятельств не получится. С другой стороны – мы не можем проверить просто что-то наобум и сослаться на то, что остальное просто погрешность. Всегда нужно выбирать наиболее важные и принципиальные аспекты для проверок и начинать с них, далее двигаясь уже к менее важным, в рамках данного контекста. Поэтому важна приоритезация требований, она позволяет определить, какие нефункциональные требования являются наиболее важными и требуют наибольшего внимания, выделить наиболее критические аспекты качества и сосредоточиться на их тестировании. Это позволяет оптимизировать процесс тестирования и обеспечить максимальное качество продукта.
Правильное определение атрибутов качества. Этот процесс позволяет сосредоточиться на наиболее важных аспектах и обеспечить их полноценное тестирование, что поможет позволяет избежать ошибок и пропусков в процессе тестирования. Другими словами – важно понимать для конкретного проекта и для конкретного заказчика какие из нефункциональных требований являются критически важными.
Нефункциональное тестирование, как и функциональное, может быть автоматизировано, хоть и в меньшем объеме. Для каждого из видов нефункционального тестирования применяются свои специальные инструменты. Их большое множество и все они применяются для решения различных задач, поэтому приведем лишь несколько из них:
В своей работе, мы в QA Service Lab всегда комплексно подходим к вопросу тестирования, и мы уделяем нефункциональным тестам большое внимание, там, где это необходимо. Иногда бывают случаи, когда нефункциональные качества приложения критически важны, а зачастую даже больше, чем полностью работающий функционал приложения.
В нашей практики был один интересный кейс. К нам обратился разработчик мобильного приложения, предназначенного для широкой аудитории пользователей. При этом, функционал приложения был достаточно специфичен и сложен для новичков. Первые 3 месяца жизни приложения показали, что лишь 15% пользователей, которые установили приложение – им пользовались. Остальные 85% после одного – трех запусков либо удаляли приложение, либо переставали им пользоваться. Когда мы проводили аудит качества приложения, выяснилось, что для рядового пользователя, который скачивал приложение, но не разбирался глубоко в теме, самостоятельно разобраться как именно пользоваться даже основным функционалом в приложении оказывалось практически невозможно. Благодаря совместным усилиям мы предложили улучшения для дизайна и интерфейса, чтобы улучшить UX и приложение стало интуитивно понятным, также добавили большой раздел по обучению и введению в матчасть. Как итог — приложение стало гораздо более понятным и удобным и как следствие — уже 70% пользователей приложения, после установки продолжали активно им пользоваться.
Нефункциональное тестирование — это то, про что часто забывают, либо же не придают столько значения, как функциональному. Многие заказчики считают так: если приложение работает — это уже хорошо, и больше ничего не требуется, но это неверно. Важно всегда соблюдать баланс и планировать, и проводить именно тот объем тестирования, который требуется для данного приложения в конкретный момент времени.
Понравилось статья?
Вам будет интересно
Ручное тестирование: виды, методы, инструменты, лайфхаки от QA Service Lab
Давайте разберемся, что же такое ручное тестирование, и чем оно отличается от других типов. Как следует из названия, это именно то тестирование, которое выполняется вручную, без применения средств автоматизации. Да, в ручном тестировании часто могут использоваться различные отдельные утилиты или инструменты, но в любом случае основная доля проверок – это именно ручной труд.
Оценка эффективности аутсорсинга тестирования: практический подход для бизнеса
В современном мире разработки программного обеспечения качество продукта играет ключевую роль в успехе бизнеса. Многие компании обращаются к аутсорсингу тестирования, чтобы обеспечить высокий уровень качества своих продуктов. Однако возникает закономерный вопрос: как оценить эффективность такого подхода?
Функциональное тестирование: задачи, виды, методы, цели
В данной статье мы подробно рассмотрим, что такое функциональное тестирование ПО и для чего оно нужно. Расскажем об основных методах и этапах проведения тестирования.
Тестирование веб-приложений: особенности, виды, чек-лист, лучшие инструменты
В данной статье мы подробно рассмотрим, что такое тестирование веб-приложений и для чего оно нужно. Расскажем об эффективных методах и инструментах тестирования web-сайтов.
Тестирование мобильных приложений: проверенный чек-лист, рабочие методы и инструменты, важные нюансы
В данной статье мы подробно рассмотрим, что такое тестирование мобильных приложений и для чего оно нужно. Расскажем об основных методах и инструментах тестирования mobile приложений.
Разрушаем мифы о тестировании. Миф №7
Как показывает практика, пока еще нужны люди, «работающие руками»! И даже современный искусственный интеллект не заменит старый-добрый человеческий вопрос «А что, если?..».
Разрушаем мифы о тестировании. Миф №6
Почему-то считается, что программисты видят в QA инженерах и тестировщиках, не профессионалов, а ненужную «прослойку». Это один из самых распространенных мифов: постоянная вражда между Dev и QA.
Как локализовывать плавающие баги?
Рекомендуем: отличная статья Джеймса Баха на тему локализации плавающих багов поможет тем кто испытывает трудности с такого рода задачами
Разрушаем мифы о тестировании. Миф №5
Сначала стать тестировщиком, а потом уже разработчиком? Либо просто легко войти в IT через тестирование? Это популярная, но плохая идея
Простые правила иногда так просты что про них мало кто помнит
Культура тестирования в различных компаниях – это вообще отдельная тема для холиваров в профессиональных и около-QA сообществах
Разрушаем мифы о тестировании. Миф №4
Тестировщикам не надо знать, что «под капотом» программы. В теории - такое вполне может быть, но на практике это так далеко не всегда.
Разрушаем мифы о тестировании. Миф №3
Мнение, что тестировщик обязательно должен быть перфекционистом - очень популярно и является предметом частых споров. Но так ли это на самом деле?
Разрушаем мифы о тестировании. Миф №2
Любому несведущему человеку может показаться что тестировщики только и делают, что весь день сидят и постоянно кликают на одни и те же кнопки, без какого-либо разнообразия. Но это не совсем так!
Разрушаем мифы о тестировании. Миф №1
Многие, кто далек от профессии считают, что тестировать — просто. Но если бы реально все так было просто – в мире бы уже не осталось ни одного бага.
Рекомендуем почитать новую необычную книжку по QA
Учебник «100-Year QA-textbook» - это хорошая альтернатива бесплатным курсам либо первой ступени в QA
Данные отправлены
Скоро с вами свяжется наш специалист
