Процесс основанный на заранее известном (в некоторых случая предполагаемом) поведении пользователя, основанный в первую очередь на детальном анализе и изучении функциональной спецификации приложения, системы или небольшого модуля (компонента).
Простыми словами: Тестировщик ПО проводя функциональное тестирование исходя из своего личного опыта, документации к проекту, а так же из общения с представителями заказчика и своей командой предполагает как будет себя вести пользователь и на основе этого совершает те же действия, проверяя приложение.
Такое тестирование проводиться функциональными тестами, которые проектируются и создаются с помощью тест-дизайна. По другому их еще называют тест-кейсы (тестовые случаи). О тест-кейсах поговорим подробнее позднее.
В другом случае тестирование основывается на знании бизнес-процессов. При таком функциональном тестировании тестировщика интересует в целом, может ли пользователь от начала до конца пройти весь бизнес сценарий. Тестовые случаи при таком тестировании называют юз-кейсами. Сценарии использования достаточно интересная отдельная тема.
Функциональное тестирование как правило может проводиться на всех уровнях тестирования ().
Также функциональное тестирование достаточно часто попадает под разделения понятий (По признакам позитивности сценариев):
Первое это то что бросается в глаза юным дарованиям по функциональному тестированию, и вполне понятно и доступно любому даже не посвященному человеку. Любой даже полностью не подготовленный человек может провести такой вид тестирования. А вот выбрать правильные тесты, определить достаточность тестирования, предусмотреть разнообразные варианты — это уже более сложна техника, требующая определенных навыков.
Всегда стоит помнить что протестировать всё и вся невозможно если учитывать реальные временные рамки проекта, с другой стороны провести качественно функциональное тестирование в сжатые сроки и есть проявление профессионализма.
Так как основная часть функциональных тестов проводиться основываясь на тестовых случаях и особое внимание уделяется работе частей приложения, то есть риск упустить сложные логические ошибки находящиеся в разных частях программы и часто не попадающие в один тестовый случай. Для примера можно взять — изменение имени в профиле человека — имя отображается во многом количестве модульных частей приложения, и все их могут забыть проверить, или упустить из виду.
Функциональное тестирование проводится для определения, насколько компонент или система соответствуют заданным функциональным требованиям, описанным в спецификациях.
Данный вид тестирования может проводиться на всех уровнях тестирования: компонентом, интеграционном, системном и приемочном, т.е. на всех этапах разработки программного обеспечения.
Для функционального тестирования мы используем инструменты TeamCity, Selenium, Web Driver, Firebug, XPather, IE Developer Toolbar, JUnit, JMeter, VMWare, TestLink и др., а также багтрэкинговые системы Bugzilla, Mantis, Jira, XBtrack.
Мы проводим функциональное тестирование по следующим направлениям:
Мы тестируем продукт на его работоспособность после внесения изменений в функциональность.
Мы также тестируем на корректность отдельные компоненты (модули) программы.
Мы проверяем на корректность взаимодействия между компонентами одной системы и правильности обработки информации.
Мы также проводим цикл тестов на проверку функциональности программного продукта после его сборки (добавления нового кода либо исправления ошибок в коде).
В случае использования метода непрерывной интеграции (Continious Integration) сборка программного продукта производится ежедневно, поэтому проведение дымового тестирования позволяет вовремя выявить и устранить критичные ошибки, тем самым сэкономив время на тестирование сборки.
Наша команда тестирует продукты на наличие уязвимостей в безопасности программного обеспечения, в частности безопасности подключений, безопасности данных и безопасности доступа.
Для того, чтобы убедиться в том, что интегрированная и готовая к эксплуатации система соответствует заявленным функциональным требованиям, мы проводим системное тестирование.
Мы проверяем предоставленную документацию на соответствие определенным требованиям (полнота, отсутствие неточностей и двузначностей, реализуемость проекта и пр.).
Мы проверяем корректность работы мобильных приложений на различных мобильных устройствах и платформах.
Мы анализируем ресурсы, необходимые для установки программного обеспечения, корректность регистрации программы в операционной системе, поведение программы при ее обновлении, корректность деинсталяции программы и пр.
Мы также проводим тестирование на отказ системы и ее способность к восстановлению при возникновении сбоев.
Мы проверяем продукт на удобство и простоту использования путем имитации поведения пользователей либо посредством экспертной оценки результатов тестирования юзабилити продукта фокус группой.
Мы проверяем, насколько набор проводимых тестов соответствует требованиям к продукту, а также анализируем полноту проверки тестами кода разработанной части продукта.
4.3 — Как проверить функциональность сайта
Сеть, проверяющая если простыми словами, проверяет Ваш веб-сайт на потенциальные ошибки перед ее запуском или прежде чем код будет перемещен в производственную среду.
Во время этой стадии, такая проблема как безопасность веб-сайта, проверка доступа для пользователей, а также посещение регулярных пользователей и его способность обращаться с продвижением.
Некоторые или все следующие типы тестирования могут быть выполнены в зависимости от тестирования Ваших веб-требований.
Это тестирование используется, согласно техническим требованиям, его предназначение, а также функциональные требования, которые Вы картировали для него в Вашей документации связанной с развитием проекта. Тестирование включенных действий:
Проверьте все связи на своих веб-страницах, работают ли они правильно и подтверждают, что нет никаких сломанных связей. Связи, которые будут проверены, включают в себя —
Тестирование Формы работают как и ожидалось. Сюда входят —
Тестирование Cookies-файлов . Cookies — маленькие файлы, используемые веб-сайтами, чтобы прежде всего помнить активные пользовательские сессии. Таким образом, Вы не должны регистрироваться каждый раз, когда Вы посещаете . Тестирование Cookies будет включать:
Тестирование HTML и CSS , гарантирует то, что могут легко попасть на Ваш сайт.
Проверьте деловой технологический процесс.
Тестирование удобства использования стало теперь жизненно важной частью любого сетевого проекта. Этот тест может быть выполнен тестерами или малочисленной фокус-группой, подобная целевой аудитории веб-приложения.
Проверьте навигацию сайта:
Три области, которые будут проверены — применение, сеть и сервер базы данных.
Тестовый системный ответ, это связь между тремя слоями (Применение, Сеть и База данных) не может быть установлена в соответствующем сообщении, которые показывают информацию конечному пользователю.
База данных — это один критический компонент Вашего веб-приложения, и акцент должен быть сделан, на его полную проверку. Тестирование действий будет включать в себя —
Тесты на совместимость гарантируют, что Ваше веб-приложение показывает правильно через различные устройства. Это тест включаем в себя —
Тест на Совместимость браузера : Тот же самый веб-сайт будет показывать по-другому. Вы должны проверить, показывается ли Ваше веб-приложение правильно через браузеры, javascript, AJAX и система идентификации хорошо работает. Вы можете также проверить на мобильную совместимость браузера.
Предоставление элементов веб-кнопок «Мне нравится» , текстовые поля и т.д. меняются с изменением в Операционной системе . Удостоверьтесь, что Ваш веб-сайт хорошо работает для различной комбинации Операционных систем, таких как Windows, Linux, Mac и Браузеров, таких как Google Chrome, Opera, Firefox, Internet Explorer, Сафари и т.д.
Это гарантирует Вашим работам, места под всеми грузами. Тестирование будет включать в себя, не ограниченное количество возможностей —
Тестирование безопасности жизненно важно для в целом, которые хранят важную потребительскую информацию, такую как кредитные карты. Тестирование данного типа будет включать —
Вы выберете большое количество людей (толпу), чтобы выполнить тестирования, которые были бы выполнены избранной группой людей в компании. Тестирование Crowdsourced — интересное и предстоящее понятие, которое помогает распутать много незамеченных дефектов.
Статья приходит к заключению, что почти все тестирования могут быть применены к Вашему веб-ресурсу.
Как Веб-тестер, его главное задание, отметить то, что веб-тестирование — вполне трудный процесс и Вы будете сталкиваться со многими препятствиями. Одной из основных проблем, с которыми Вы столкнетесь, является, давление крайнего срока. Вчера, все всегда необходимо! Количество кода будет нуждаться в изменении. Удостоверьтесь, что и точно знаете, что ожидается Вас в дальнейшем. Его лучшие процессы, определяют все задачи, которые включены в Ваше веб-тестирование, а затем составляется таблица работы для точных оценок и планировок.
Даже, если Вы настолько терпимы, что можете в течение получаса 18 раз перезапустить программу после сбоя и только после этого метнуть монитор точно в окно, Вы согласитесь с тем, что работа с данной программой была бы более комфортной, если бы она не «падала».
Как же сделать так, что бы случаи падения, зависания, невыполнения нужных действий разработанной Вами программы стали весьма редкими?
Точного ответа на данный вопрос нет. Но на протяжении столетий самые мудрые ученые годами думали на эту тему и, смогли таки, найти средство, которое если и не устраняет всех ошибок программы, то, по крайней мере, создает иллюзию деятельности по их устранению.
И это средство называется ТЕСТИРОВАНИЕ программного продукта .
По мнению мудрых людей, Тестирование является одним из наиболее устоявшихся способов обеспечения качества разработки программного обеспечения и входит в набор эффективных средств современной системы обеспечения качества программного продукта.
Качество программного продукта характеризуется набором свойств, определяющих, насколько продукт "хорош" с точки зрения заинтересованных сторон, таких как заказчик продукта, спонсор, конечный пользователь, разработчики и тестировщики продукта, инженеры поддержки, сотрудники отделов маркетинга, обучения и продаж. Каждый из участников может иметь различное представление о продукте и о том, насколько он хорош или плох, то есть о том, насколько высоко качество продукта. Таким образом, постановка задачи обеспечения качества продукта выливается в задачу определения заинтересованных лиц, их критериев качества и затем нахождения оптимального решения, удовлетворяющего этим критериям.
По мнению опытных разработчиков, тестирование программного продукта должно проводиться прям с самого начала его создания. Но при этом, сами опытные разработчики в тестировании не должны принимать участия, так как не царское это дело. Тестировать программный продукт должны специально обученные сотрудники, называемые тестировщиками, ибо даже самый опытный разработчик не сможет увидеть свою ошибку, даже с использованием самых новейших оптических приборов.
Тем не менее, все разработчики сходятся во мнении, что тестирование программного продукта с точки зрения классификации по целям должно делиться на два класса:
Под функциональным тестированием понимается проверка соответствия программного продукта функциональным требованиям, указанным в техническом задании на создание это продукта. Если говорить проще, то при функциональном тестировании проверяется выполняет ли программный продукт все функции, которые должен.
Итак, Вы таки решились провести функциональное тестирование. Вы заглядываете в техническое задание, читаете функциональные требования и понимаете, что по крайней мере они расположены не в том порядке, в каком можно производить тестирование. Вы будете удивлены, что еще достаточно давно другие уже заметили это несоответствие и придумали как его преодолеть.
Для проведения функционального тестирования персоналом отдела технического контроля разрабатывается документ программа и методика испытаний функционала приложения (ПМИ). Документ ПМИ содержит перечень сценариев тестирования программного продукта (test cases) с подробным описанием шагов. Каждый шаг сценария тестирования характеризуется действиями пользователя (специалиста по тестированию) и ожидаемыми результатами – ответной реакции программы на эти действия. Программа и методика испытаний обязана имитировать эксплуатацию программного продукта в реальном режиме. Это означает, что сценарий тестирования должен быть построен на основе анализа операций, которые будут выполнять будущие пользователи системы, а не быть искусственно составленной последовательностью понятных только разработчику манипуляций.
Обычно, функциональное тестирование проводится на двух уровнях:
Нефункциональное тестирование оценивает такие качества программного продукта, как, например, эргономику или производительность.
Думаю, важность данного вида тестирования понятна и не требует обоснования. Ведь всем понятно, что если, к примеру, производительность системы не достаточна, то пользователям придется по пол дня ждать отклика на свои действия, что может привести к их массовой спячке.
Как следует из названия, при нефункциональном тестировании проверяется соответствие программного продукта нефункциональным требованиям из технического задания на его создание. И, как в случае с функциональным тестированием, для нефункционально разрабатывается программа и методика испытаний.
Соблюдение отраслевых стандартов – это не то, чем вы можете пренебречь или заняться позже; это неотъемлемая часть процесса разработки встроенного программного обеспечения (ПО). Для некоторых индустрий, - таких как авионика, автомобилестроение и здравоохранение, - строгое следование стандартам качества при разработке сложных и безотказных встроенных систем становится жизненно необходимым условием выпуска продукта на рынок. Традиционно, тестирование играет важную роль в разработке встраиваемых систем для регулируемых стандартами отраслей. Однако за последние годы устоявшиеся практики и процессы тестирования, их место и роль в подобных проектах значительно преобразились. Это резко изменило все правила игры, а когда правила игры меняются, необходимо меняться вместе с ними, чтобы выиграть.
В условиях постоянного развития новых, ультрасовременных технологий компаниям необходимо быстро предлагать рынку надежные, безопасные, простые в использовании и совместимые с другими системами продукты – просто чтобы не потеряться в быстро меняющемся технологическом мире. В такой ситуации традиционная каскадная модель, где процесс разработки ПО строго последователен и тестирование выполняется в самом его конце, уходит в прошлое. Большую популярность приобретают методы DevOps и Agile , поскольку они позволяют инженерам выполнять задачи, которые раньше следовали друг за другом, одновременно.
В ходе этапа тестирования производительности в первую очередь проводят нагрузочное тестирование, целью которого является проверка, будет ли система адекватно реагировать на внешние воздействия в режиме, близком к режиму реальной эксплуатации.
Кроме нагрузочного тестирования проводят испытания в условиях минимальных аппаратных средств и максимальной нагрузки – стрессовое тестирование, а также, испытания в условиях предельных объемов обрабатываемой информации – объемное тестирование.
Выделяют еще один вид тестирования: тестирование стабильности и надежности, которое включает в себя не только длительное испытание программного продукта в нормальных условиях, но и способность его возвращаться в нормальный режим функционирования после непродолжительных периодов стрессовых нагрузок.
Как уже было указано выше, тестирование проводится в соответствии с программой и методикой испытаний, которая разрабатывается в соответствии с ГОСТ 34.603-92.
Для проведения тестирования разрабатывается контрольный пример, который должен содержать достаточно данных для проверки всех режимов работы программного продукта. Обычно, контрольный пример создается совместно заказчиком и исполнителем на основе реальных данных.
Для проведения всех видов тестирования производительности чаще всего создается так называемый генератор данных, который позволяет в автоматическом режиме создать достаточное количество данных, для достижения объективного результата при оценке производительности.
В ходе проведения тестирования составляется протокол тестирования, куда заносится информация о прохождении всех этапов и шагов тестирования и замечаниях полученных на испытаниях.
Если результат тестирования отрицательный, проводится устранение недостатков и повторное тестирование.
Исследовательское тестирование (ad hoc тестирование - подвид функционального тестирования. Оно применяется в быстрорастущих проектах с гибкими методиками разработки, где нет четкой документации и требований. Исследовательское тестирование - высший пилотаж в тестирование программного обеспечения. Качественное тестирование доступно специалистам с высшей квалификацией и практически полностью зависит от исполнителя, его опыта, знаний (как в предметной области, так и в методоиках тестирования), способности быстро проникать в суть.
Нагрузочное тестирование - процесс анализа производительности тестируемой системы под воздействием нагрузок. Цель нагрузочного тестирования- определить способность приложения к внешним нагрузкам. Обычно испытания проводятся в несколько этапов.
1. Генерация тестовых сценариев
Для эффективного анализа сценарии должны быть наиболее близки к реальным сценариям использования. Важно понимать, что всегда возможны исключения, и даже самый подробный план тестирования может не покрыть отдельно взятого случая.
2. Разработка тестовой конфигурации
Имея сценарии тестирования, важно распределить порядок возрастания нагрузки. Для успешного анализа необходимо выделить критерии оценки производительности (скорость отклика, время обработки запроса и т.д.).
3. Проведение тестового испытания
При проведении тестов важно своевременно следить за исполнением сценариев и откликом тестируемой системы. Для эмуляции высоких нагрузок требуется серьезная аппаратная и программная инфраструктура. В некоторых случаях для удешевления работ применяются методы математического моделирования. За основу берутся данные, полученные при низких нагрузках, и аппроксимируются. Чем выше уровень моделируемой нагрузки, тем ниже точность оценки. Однако подобный способ существенно сокращает расходы.
Основная особенность автоматизированного тестирования - возможность быстрого проведения регрессионных тестов. Главными плюсами автоматизации (по даннымотчета компании Worksoft) является увеличение эффективности персонала, более раннее обнаружение дефектов и более высокое качество бизнес-процессов. Эти преимущества компенсируются существенным недостатком: дороговизна, - из-за высокой цены на внедрение и поддержку автоматизации тестирования, около 50% компаний до сих пор применяют в основном ручное тестирование.
Любое приложение создается для того, чтобы им воспользовались. Удобство использования - важный качественный показатель программы. IT индустрия знает множество примеров, когда проекты взлетали после удачного исправления удобства использования. Чем шире аудитория, тем важнее фактор юзабилити. Тестирование юзабилити включает в себя детальный анализ поведения пользователей. Для оценки эргономики важно иметь данные не только о скорости выполнения бизнес-задачи, но и об эмоциях пользователя, мимике лица, тембра голоса.
Конфигурационное тестирование дает уверенность, что приложение заработает на разных платформах, а значит у максимального числа пользователей. Для ВЕБ-приложений обычно выбирают тестирование на кросс-браузерность. Для Windows приложений - тестирование на различных операционных системах и битностях (x86, x64). Важной составляющей конфигурационного тестирования является тестовая инфраструктура: для проведения испытаний нужно постоянно поддерживать парк тестовых машин. Их число варьируется от 5 до нескольких десятков.
Если в вашем проекте более одной компоненты, он нуждается в интеграционном тестировании. При сложной архитектуре приложения необходимым условием обеспечения качества является проверка на взаимодействие частей программы. Тестирование достигается путем разработки и проведения "сквозных" кейсов. Интеграционное тестирование проводится после компонентного. Поэтому очень важно учитывать опыт компонентного тестирования, при этом соблюдая бизнес-ориентацию тест-кейсов.
У любой системы есть предел нормального функционирования. При превышении предела система попадает в состояние стресса и значительно меняет свое поведение. Стресс тестирование проверяет работу приложения в условиях превышения предлов нормального функционирования. Особенно это важно для "критичных" программ: банковского ПО, программ авиационной отрасли, медицины. Стресс тестирование проводят не только на стадии разработки программного обеспечения, но и на протяжении всего цикла функционирования с целью получения и обработки данных поведения системы за долгий период времени.
