Удалить совпадающие/не совпадающие элементы вложенного массива с помощью jq

Вот решение, которое использует awk для записи отдельных файлов. Решение предполагает, что даты для каждой меры одинаковы и расположены в одном и том же порядке, но не накладывает ограничения на количество различных дат или количество различных мер.

jq -c 'range(0; .measures[0].history|length) as $i
  | (.measures[0].history[$i].date|gsub("[^0-9]";"")),  # basis of filename
    reduce range(0; .measures|length) as $j (.;
      .measures[$j].history |= [.[$i]])' input.json |
awk -F\\t 'fn {print >> fn; fn="";next}{fn="output-" $1 ".json"}'

Комментарии

Выбор awk здесь просто для удобства.

Недостатком этого подхода является то, что если каждый файл должен быть аккуратно отформатирован, для каждого файла потребуется дополнительный запуск симпатичного принтера (например, jq). Таким образом, если требуется, чтобы вывод в каждом файле был аккуратным, можно было бы запустить jq один раз для каждой даты, что устраняет необходимость в шаге постобработки (awk).

Если даты мер не совпадают, то можно использовать тот же подход, что и выше, но, конечно, сбор дат и соответствующих мер должен быть выполнен по-другому.

Выход

Первые две строки, полученные при вызове jq выше, следующие:

"201811181237080000"
{"paging":{"pageIndex":1,"pageSize":100,"total":3},"measures":[{"metric":"coverage","history":[{"date":"2018-11-18T12:37:08+0000","value":"100.0"}]},{"metric":"bugs","history":[{"date":"2018-11-18T12:37:08+0000","value":"0"}]},{"metric":"vulnerabilities","history":[{"date":"2018-11-18T12:37:08+0000","value":"0"}]}]}

В комментариях появилось следующее дополнение к исходному вопросу:

есть ли вариант, в котором фильтрация основана на значении даты, а не на позиции? Не гарантируется, что порядок будет одинаковым или количество элементов в каждой метрике будет одинаковым (т. е. в некоторых датах могут отсутствовать «ошибки», в некоторых может быть дополнительная метрика, например «сложность»).

Следующее создаст поток объектов JSON, по одному на дату. Этот поток может быть аннотирован датой в соответствии с моим предыдущим ответом, который показывает, как использовать эти аннотации для создания различных файлов. Для простоты понимания воспользуемся двумя вспомогательными функциями:

def dates:
  INDEX(.measures[].history[].date; .)
  | keys;

def gather($date): map(select(.date==$date));

dates[] as $date
| .measures |= map( .history |= gather($date) )

ИНДЕКС/2

Если у вашего jq нет INDEX/2, сейчас самое время обновиться, но если это невозможно, вот его определение:

def INDEX(stream; idx_expr):
  reduce stream as $row ({};
    .[$row|idx_expr|
      if type != "string" then tojson
      else .
      end] |= $row);