Как я могу замаскировать часть параметров при обучении модели Pytorch?

Я обучаю простую модель pytorch, инициализированную как обычно:

           model = nn.Sequential(
            nn.Linear(input_dim, output_dim)).

У меня также есть конкретная матрица W размера (input_dim, output_dim), состоящая из нулей и единиц, которые я хочу использовать в качестве маски в течение всего процесса обучения и оценки, чтобы замаскировать различные параметры сети. Как я могу это сделать?

Другими словами, я хочу обучать только ненулевые параметры

nn.Linear(input_dim, output_dim)*W

И оставьте все остальные равными нулю.


person Alfred    schedule 11.10.2020    source источник