Автоматическое обнаружение тестовой связи в Protractor (случайный порядок выполнения тестов)

Вы можете запускать тесты случайным образом (на уровне файлов), установив свойство random в ваша конфигурация . Вы также можете установить свою соль / семя, чтобы она была воспроизводимо случайной.

/**
 * If true, run specs in semi-random order
 */
random?: boolean,
/**
 * Set the randomization seed if randomization is turned on
 */
seed?: string,

Вы также можете включить shardTestFiles (параллельные тестовые прогоны), что также должно очень сильно сказать о том, насколько связаны ваши тесты.

Пробовали ли вы перетасовывать блоки «it», как показано ниже:

var shuffle = function (items) {
  var item, randomIndex;      
  for(var i = 0; i < items.length; i++){
    randomIndex= (Math.random() * items.length) | 0;
    item = items[i];
    items[i] = items[randomIndex];
    items[randomIndex] = item;
  }
}

describe('Suite', function() {

  it("should a", function () {
      console.log("execute a");
  });

  it("should b", function () {
      console.log("execute b");
  });

  it("should c", function () {
      console.log("execute c");
  });

  shuffle(this.children);    // shuffle the 'it' blocks

});

Источник: Можно ли запускать тесты транспортира в случайном порядке?

Одна из проблем заключается в том, что вы, вероятно, понятия не имеете, как тесты могут быть связаны. Если один тест ссылается на некоторые переменные из другого теста, вы, возможно, сможете найти их автоматически, но это только один из способов объединения тестов и, вероятно, маловероятный сценарий.

Моей первой мыслью было просто запустить их по отдельности и посмотреть, какие из них не работают. Проблема в том, что если вы не очищаете состояние между тестами, вы можете изменить порядок (рандомизируя их, как вы предложили), но если тест 50 ожидает данные, настроенные тестом 20, но в новом порядке, тест 20 все еще выполняется до тест 50... тест 50 все равно пройдет. Вы найдете некоторые, но, вероятно, не все, пока не запустите их все в случайном порядке несколько раз.

Вы не описываете свое приложение, но моя вторая мысль заключалась в том, что если бы был способ вернуться к чистому листу между тестами, вы должны были бы найти тесты, которые полагаются на другие тесты для настройки данных. Я немного удивлен, что вы еще этого не делаете, но если есть длительный процесс установки, который необходимо выполнить для установки с чистого листа и т. д., это может быть проблемой. В зависимости от вашей системы вы можете сделать снимок виртуальной машины после чистой установки и восстановить ее, чтобы «быстро» вернуться к чистой, или вы можете откатить таблицы SQL и т. Д. Это действительно зависит от вашей системы и без более подробности о системе, трудно дать совет.

Другой вариант — обратиться к тем, кто написал или поддерживает тесты, и попросить их самостоятельно идентифицировать связанные тесты, которыми они владеют, и исправить их. Это, вероятно, не найдет их всех, но это может быть полубыстрый старт.

О... Я только что подумал еще об одном. Если бы вы могли обратить порядок выполнения тестов, это было бы лучше, чем случайное выполнение. В обратном порядке НИКАКОЙ тест не будет запускаться после своего предыдущего предшественника, и вы сможете найти их все за один раз.