У меня есть тензор трех измерений [batch_size, sequence_length, number_of_tokens]
. Последнее измерение закодировано горячим способом. Я хочу получить тензор двух измерений, где sequence_length
состоит из позиции индекса «1» измерения number_of_tokens
.
Например, чтобы превратить тензор формы (2, 3, 4)
:
[[[0, 1, 0, 0]
[1, 0, 0, 0]
[0, 0, 0, 1]]
[[1, 0, 0, 0]
[1, 0, 0, 0]
[0, 0, 1, 0]]]
в тензор формы (2, 3)
, где размер number_of_tokens
преобразуется в положение 1
:
[[1, 0, 3]
[0, 0, 2]]
Я делаю это, чтобы подготовить результат модели для сравнения с эталонным ответом при вычислении потерь, я надеюсь, что это правильный путь.