Выполнение метода Ruby внутри сеанса Net::SSH

Код Ruby, работающий внутри блока net::ssh, по-прежнему работает на вашем компьютере (включая методы, запускающие такие команды, как system или обратные кавычки)

Чтобы выполнить команду на удаленном сервере, вам нужно использовать session.exec или session.exec! (последний блокирует, первый требует запуска цикла событий ssh). Вы также можете явно открыть канал и выполнить там команду — эти методы являются обертками совести.

Специальной поддержки для удаленного запуска ruby ​​не предусмотрено. Конечно, вы можете использовать exec! для запуска ruby ​​на другом компьютере (при условии, что он установлен), но это все.

Я на 100% НЕ троллю вас ... но ... ваш синопсис - та самая причина, по которой был создан rsync. Перемещение файлов между серверами с возможностью сравнения, но эффективно.

IMO немного ошибочно думать, что вы можете сделать лучше, чем 20-летний боевой проверенный код C. Который FWIW будет выполняться намного быстрее, чем рубиновый код. Вероятно, поэтому так много сторонников rsync в качестве решения.

Хотя rsync является однопоточным... спросите себя, почему это так... то, что вы можете использовать многопоточность в ruby, не означает, что вы должны это делать. Это откроет совершенно другого спагетти-монстра, и вскоре вам придется «обрабатывать» дубликаты или неправильные версии. См. обсуждение MongoDB атомарности. Вы даже не приблизитесь к атомному в рубине, так что это БУДЕТ проблемой.

Я бы обязательно использовал потокобезопасный язык, если вы хотите пойти по этому пути, по крайней мере, jRuby. Потокобезопасность FWIW была одной из многих причин, по которым Хосе создал Эликсир, так как он был раздражен тем, что Ruby не имеет его на самом деле.

Однако IMO что-то не так с вашим подходом, и вам нужно сделать несколько шагов назад и взглянуть на проблему целостно, например. возможно, есть аналогичное решение для GlusterFS, которое может обрабатывать дедупликацию на уровне FS, или, возможно, вам нужно обрабатывать добавление файлов через API или какую-то систему очередей, которая будет обрабатывать файлы в последовательном порядке. Это может потребовать больших изменений, чем вы хотите или можете сделать, поэтому, если бы это был я, я бы не стал просто ковбойски кодировать что-то на рубине, потому что какой-нибудь разработчик когда-нибудь в конечном итоге прыгнет в этот код и мгновенно фейспалм .

Многопоточная rsync не ruby

Единственное решение, которое я могу легко придумать, — это сосредоточиться на ускорении передачи rsync.

1. Возможно, вместо этого вы можете ускорить rsync с помощью потоков.

2. Или используйте подход этого человека. Это похоже на проблему с GlusterFS, но rsync с правильным флагом/сигналами может сделать дифференциальная синхронизация лучше. Тогда ваши ruby-скрипты смогут забрать файлы из главного источника.

принятый ответ помог мне прийти к следующему решению. Зная, что session.exec!() запускает только команды оболочки, я решил разделить метод (см. вопрос) на несколько шагов в блоке SSH.

Thread.new do
  files = nil
  Net::SSH.start(server, 'hstevens') do |session|
    files = session.exec!(%Q(cd "#{BRICK_PATH}" ; ruby -e 'puts Dir.glob("**/*")')).split("\n")
    files.delete_if { |x| File.directory? x }
    files.each do |file|
      name = session.exec!(%Q(ls --full-time "#{BRICK_PATH}/#{file}" | awk '{$1=$2=$3=$4=$5=$6=$7=$8=""; print $0}')).strip
      date = session.exec!(%Q(ls --full-time "#{BRICK_PATH}/#{file}" | awk '{print $6, $7, $8}')).strip
      @files[server][name] = DateTime.parse(date)
    end
  end
end

Я пока не знаю, окажется ли это быстрее (необходимо запустить тест), но это определенно лучше, чем использование SSH в нескольких system() вызовах.