Прикрепить текущую сборку к тесту

Я играю с Microsoft Test Manager 2013 (хотя, похоже, это просто MTM2012), чтобы попытаться лучше понять тестовые примеры и наборы тестов, поскольку я хочу использовать это на работе. Поэтому я надеялся, что смогу запустить набор тестов для сборки, которая будет включена в этот набор тестов. Это то, что я ХОЧУ сделать, но это вполне может быть неправильно. Так что, возможно, более широкий круг того, что я делаю на работе, мог бы дать лучший ответ.

Моя компания производит планшеты. Я пишу программы для этих планшетов. В качестве аргумента давайте просто скажем, что есть 5 планшетов, на которых работает аналогичный набор ОС. Tablet 1, 2, 3 и 4 могут работать с WinXP, WinXP Embedded, Win7 и Win7 Embedded, а Tablet 5 может работать с Win7, Win7 Embedded и Win8 Embedded. Допустим, я делаю программу тестирования дисплея. Естественно, этот тест дисплея будет работать по-разному на каждом планшете, но предполагается, что сама программа сможет справиться с этим, не беспокоясь об ОС. Поэтому я написал очень простой тест. Откройте программу, попробуйте открыть снова, проверьте только 1 экземпляр, проверьте отображение, закройте программу.

Я подумал, что было бы неплохо создать набор тестов под названием «Полный тест программы отображения» и добавить к нему 5 дополнительных наборов тестов для каждого планшета. Затем переместили 5 тестовых случаев в один набор тестов. Я настроил все тестовые случаи только для правильной конфигурации планшета/ОС. Поставил в очередь сборку и дождался ее завершения. Затем я прикрепил эту сборку к основному набору тестов. Затем я нажал «Запустить тест для планшета 1», но не увидел сборку, прикрепленную к тестировщику. Я немного огляделся, чтобы понять, почему и как, и ничего не нашел. Вопрос в том, как мне это сделать? Или, если вы ломаете голову и удивляетесь, почему я делаю это именно так, то непременно предложите другой способ. Это второй раз, когда я изучаю MTM, поэтому, возможно, я делаю это неправильно.

Спасибо за уделенное время.


person Robert Snyder    schedule 04.12.2013    source источник
comment
Если у вас есть время, изучите этот довольно подробный обзор MTM: codemag.com/article/1103013   -  person Andrew Clear    schedule 04.12.2013


Ответы (1)


При запуске ручных тестов из MTM вы не увидите используемую сборку в Test Runner.

Но если вы завершите тест и установите результат теста, вы сможете проверить, для какой сборки вы запустили тест.

Просто дважды щелкните тест или выберите «Просмотреть результаты», чтобы отобразить результаты теста:

введите здесь описание изображения

Этот столбец не отображается по умолчанию. Вам нужно будет щелкнуть правой кнопкой мыши строку столбца и выбрать столбец «Номер сборки», который будет отображаться.

Вы также сможете увидеть номер сборки в области «Анализ тестовых прогонов»:

введите здесь описание изображения



При автоматизированном тестировании все немного по-другому.
Рассмотрите следующий подход:

  1. Автоматизируйте свои тестовые случаи
    См. Как связать автоматический тест с тестовым набором, чтобы узнать подробности.
  2. Создайте определение сборки для создания тестируемого приложения И сборок, содержащих ваши тесты.
    Я настоятельно рекомендую создавать приложение, которое вы хотите протестировать, и тестировать сборки с использованием одного и того же < em>Определение сборки. (Чуть позже вы поймете, почему).
  3. Запустите это определение сборки и разверните последнюю версию приложения в среде, где вы хотите запускать тесты.
    Это очень важно понимать: если вы запускаете автоматические тесты, тесты только сборки будут развернуты автоматически в среде.
    Ваша задача — развернуть правильную версию тестируемого приложения.
  4. Теперь вы можете запускать тесты из MTM.
    Вы можете сделать это так, как описано @AndrewClear в комментарии к этому ответу: "выберите "Выполнить с параметрами", когда вы начало тестового прогона" и выберите последнюю сборку.
    Теперь тестовые сборки, содержащие тесты, которые используются для автоматизации тестовых случаев, будут автоматически развернуты в тестовой среде, и тесты будут быть выполненным.
    Это момент, который вы должны понять, почему так важно создавать приложение и тесты с одним Определением сборки: поскольку номер сборки, который вы только что выбрали при запуске тестов будет храниться вместе с результатами тестирования в TFS. Позже вы узнаете, какую версию вашего приложения вы тестировали (конечно, при условии, что вы развернули правильную версию).

Вы можете пойти немного дальше, если хотите еще больше автоматизации (именно так я сейчас запускаю автоматизированные тесты)
Используйте шаблон Deploy-Build-Test (это хорошее место чтобы начать читать об настройке автоматизированной сборки-развертывания -Рабочие процессы тестирования).
Используя этот подход, вы сможете автоматизировать развертывание приложения, которое хотите протестировать.

person Elena    schedule 04.12.2013
comment
Как мне получить сборку для тестирования? Кто сказал, что я взял сборку 4, когда тестировал сборку 3? - person Robert Snyder; 04.12.2013
comment
Нет автоматической проверки, чтобы определить, с какой сборкой вы тестируете, только ручная настройка. Чтобы изменить его во время выполнения, выберите «Выполнить с параметрами» в начале тестового запуска. - person Andrew Clear; 04.12.2013
comment
Как сказал @Andrew, номер сборки, который вы выбрали перед запуском ручного теста, предназначен только для записи. По сути, вы можете хранить эту информацию вместе со всем выполнением теста и результатами тестирования для отдельных тестовых случаев в TFS. Автоматической проверки нет. Однако, если вы запускаете автоматический тестовый пример, этот номер сборки указывает сборку, место перетаскивания которой следует использовать для (автоматического) запуска теста. Обратите внимание, что и в этом случае вы должны убедиться, что развернута правильная сборка тестируемого приложения. - person Elena; 05.12.2013
comment
Так что, похоже, мне следует подумать о том, чтобы написать что-то автоматизированное, потому что это будет автоматически использовать правильную сборку. Интересно. Этим утром я думал об автоматических тестах, так как многие из моих тестов представляют собой такие вещи, как «Открыть программу», «Нажмите кнопку @ на клавиатуре: ожидается, что Calc.exe откроется». Если это правильно, можете ли вы добавить это к своему ответу, и я приму его. - person Robert Snyder; 05.12.2013
comment
Я только что расширил свой ответ. Дайте мне знать, если что-то еще неясно. - person Elena; 05.12.2013