При применении парного тестирования важно выбрать правильный алгоритм тестирования, который будет генерировать тестовые сценарии. https://deveducation.com/ Существует несколько алгоритмов, которые могут быть использованы, такие как ортогональные массивы и графовые алгоритмы. Все думают, что тестирование — это просто, вы должны ввести данные в систему и проверить результат, если результат не такой, как ожидалось. Но системы никогда не бывают такими простыми, существует огромное количество входных и выходных значений с неизвестной взаимозависимостью между различными модулями. Проверяем – все эти 4 комбинации есть в таблице, значит, мы их протестируем.
- Например, если система имеет 10 параметров, каждый из которых имеет 10 возможных значений, то вам потребуется 10 миллиардов тестовых примеров, чтобы охватить все пары значений.
- Для того, чтобы значительно уменьшить количество тестов без существенной потери качества, имеется метод попарного тестирования.
- Метод попарного тестирования базируется на гипотезе, что подавляющее большинство дефектов ПО возникает, когда взаимодействуют два входных параметра.
- Используя попарные методы, мы можем разработать случаи для лучшего охвата.
- Первое, что мы сделали с коллегой – начали определять принципы, по которым поделим зоны ответственности между собой.
- Однако тестировать все возможные комбинации значений для всех факторов — непрактично.
Он не находит ошибки в серверной части программного обеспечения.
Результат работы приложения зависит от многих факторов, например, входных параметров, переменных состояний и конфигураций среды. Для определения возможных значений могут быть полезны такие техники, как анализ граничных значений и использование классов эквивалентности. Ручное тестирование Однако тестировать все возможные комбинации значений для всех факторов — непрактично. Поэтому, чтобы удовлетворить все факторы, генерируется подмножество комбинаций. Попарное тестирование позволяет сократить количество тестов. Обычно мы используем такие методы, как анализ граничных значений, разделение эквивалентности, чтобы выяснить отдельные параметры для входных данных.
Добавляем pairwise (попарное тестирование) в свой арсенал QA инженера
Для каждого набора в столбце 1 мы помещаем оба значения столбца 2. Сайт “Петрович” – это огромная система с кучей различных товаров, вариантов доставки на любой вкус и цвет по разным регионам и самых разных услуг, где абсолютно каждый пользователь может выбрать что-то для себя. Теперь нам нужно перечислить все возможные значения для каждой переменной. pairwise testing Михаил, профессиональный партнерский маркетолог, является основателем компании South Media OÜ, которая была создана в 2018 году и базируется в Таллинне.
Процесс попарного тестирования может выглядеть так:
Обнаружена ошибкаВы заметили, что в приведенной выше таблице книги художественной литературы находятся в категории заказа «Покупка» и «Нехудожественная литература в продаже». Мы можем поменять местами второй набор в третьем столбце. Для каждого набора значений в первом столбце мы помещаем оба значения второго столбца.
На первый взгляд выглядит достаточно просто, добавился всего один тест.
Следовательно, pairwise тестирование состоит в проверке всех возможных комбинаций значений двух параметров одновременно. Попарное тестирование является эффективным методом тестирования программного обеспечения, который позволяет уменьшить количество тестовых сценариев без потери качества. Этот метод подходит для тестирования взаимодействия двух параметров и может быть использован в различных областях, от веб-приложений до систем реального времени. Парное тестирование — это метод тестирования черного ящика, в котором тестовые примеры разрабатываются таким образом, что мы охватываем все возможные комбинации входных данных.
Такое тестирование будет малоэффективным и потребует большое количество ресурсов. Вот здесь на помощь приходит техника попарного тестирования, которая позволяет сократить количество тестов во много раз. Применение парного тестирования сократило количество тестовых случаев с 18 до 9, обеспечив эффективную проверку взаимодействия параметров. Выберем один параметр в качестве базового и присвоим каждой строке уникальное значение. Например, если мы выберем “Браузер” в качестве базового параметра, мы можем присвоить значение “Chrome” строке 1, а “Firefox” строке 2. Для каждого оставшегося параметра выберем значение, которое еще не сопоставлено со значением базового параметра в той же строке.
Ортогональные матрицы применяются в конфигурационном, регрессионном, производительном, а так же в тестировании пользовательского интерфейса. Получившиеся кейсы мы дополнительно обрабатывали вручную. Правили, обдумывали дополнительные условия и что-то дописывали. Таким образом у нас добавилось еще плюс-минус 3-10 кейсов к каждой таблице. Попарное тестирование дало нам почву подумать над сложными и спорными кейсами, которые мы обнаружили в процессе их формирования.
Если мы их добавим, то в результате использования метода можем получить кейс в котором на нулевом объёме данных будет проверяться к примеру пара Файловой системы ISO и начала мультисесии. В результате, успешно убедившись в корректной обработке попытки записи пустого диска, мы упустим проверку пары ISO-начать мультисесию. Как показывает опыт, метод эффективен лишь на поздних этапах разработки, либо дополненный основными функциональными тестами. Попарное тестирование (Pairwise testing) – это техника тест-дизайна, при которой проверяются отдельные всевозможные комбинации каждой пары входных параметров.
Чтобы не создавать пары вручную, можно использовать онлайн генератор. Не буду утверждать, что я сделал все без ошибок, но вроде как большинство пар всех значений нашел… Далее нам необходимо организовать переменные и значения. Можно добавить еще два тестовых примера, чтобы создать больше возможностей. Мы используем для них символы ~, поскольку они произвольны. В этом случае невозможно провести исчерпывающее тестирование.
Однако эта задача решаема, в чем мы убедимся в последствии. Зная эту информацию мы можем воспользоваться опцией /r , которая позволит пикту минимизировать кол-во тестов, не теряя при этом в тестовом покрытии. Запустите инструмент с этим флагом несколько раз и выберите тот набор, где количество тестов минимальное. Ранее я говорил, что PICT генерирует каждый раз новые комбинации тестов и процесс генерации сильно зависит от начальных условий. Тем не менее каждый созданный набор гарантировано покрывает все необходимые комбинации, но некоторые комбинации пикт формирует более эффективно. Так мы упразднили остальные столбцы, где данных было слишком мало и которые, к примеру, ограничивались ответом «Да/Нет».
Когда мы вместе определяемся, что то, о чем говорит кандидат называется тестовой стратегией, про сам тест-план человек обычно рассказать затрудняется. Примерно с 2019 года я занимаюсь проведением технических интервью с кандидатами-тестировщиками уровней от Junior до QA-менеджер. За это время я провела несколько сотен бесед и заметила, что, в числе прочего, очень многие кандидаты путают понятия тестовой стратегии и тест-плана. А потратил я на составление текстового файлика буквально 30 минут, тогда как ручками таблицу я делал часа 2..если не дольше. Готовые решения в разработке, менеджменте, тестировании, DataScience, UX и прочем.