Проблема с использованием Vagrant SSH, когда папка vagrant.d находится на внешнем диске exFAT

Настраивая Vagrant в первый раз, я использую переменную среды VAGRANT_HOME, чтобы изменить расположение папки ~/.vagrant.d на внешний диск (я параноик по поводу износа SSD, подайте на меня в суд). Это вызывает проблему с командой vagrant ssh, поскольку она жалуется на отсутствие правильных разрешений, и я не могу использовать chmod для изменения разрешений для нужного файла на томе exFAT.

Есть ли обходной путь? Я проверил документацию, и, похоже, нет параметра, в котором я мог бы указать другое место для небезопасного ключа, но я мог что-то упустить.

Спасибо!