h2o использует не все процессоры

У меня есть сервер с 48 процессорами.

Сервер не виртуализирован и h2o видит 48 процессоров, но 16 из них почему-то не используются.

Любой совет?

введите здесь описание изображения


h2o
person user3078500    schedule 29.02.2016    source источник
comment
Какой алгоритм вы тренируете и какую версию H2O?   -  person Erin LeDell    schedule 01.03.2016
comment
глубокое обучение 3.8.0.2   -  person user3078500    schedule 01.03.2016
comment
Пробовал запускать сразу две модели, h2o все равно не использует все процессоры. У меня есть подозрение, что это проблема с java   -  person user3078500    schedule 02.03.2016
comment
R подключен к кластеру H2O: Время работы кластера H2O: 8 часов 28 минут Версия кластера H2O: 3.8.0.2 Имя кластера H2O: root Общее количество узлов кластера H2O: 1 Общий объем памяти кластера H2O: 26,67 ГБ Всего ядер кластера H2O: 48 кластера H2O разрешено ядра: 32 кластера H2O исправен: TRUE   -  person user3078500    schedule 03.03.2016

Ответы (2)


arrow_upward
3
arrow_downward

Похоже, что ваш кластер H2O каким-то образом был запущен с 32 ядрами вместо полных 48. Это то, на что указывает «разрешенные ядра кластера H2O: 32». Чтобы использовать все ядра, сделайте следующее:

  1. Завершите работу существующего кластера H2O с помощью h2o.shutdown()
  2. Запустите новый кластер H2O из R, используя h2o.init(nthreads = -1), что означает, что он будет использовать все доступные ядра. Если по какой-то причине это не работает, попробуйте h2o.init(nthreads = 48).
  3. Вы также можете запустить кластер H2O из командной строки, введя следующее: java -Xmx30g -jar h2o.jar -nthreads 48, а затем используйте h2o.init() для подключения внутри R.

Вы также можете обновиться до последней стабильной версии H2O (3.8.0.2 немного устарела). , сейчас мы на 3.8.1.1).

person Erin LeDell    schedule 03.03.2016

arrow_upward
0
arrow_downward

Похоже, это было ограничением в старой версии. Исправлена ​​проблема с использованием версии 3.10 и тестированием версии 3.12.

person user3078500    schedule 14.07.2017