Модель проектирования машинного обучения Spark из веб-приложения

Я разработал веб-приложение, в котором пользователь может выбрать структуру машинного обучения/количество итераций/какой-то другой параметр настройки. Как я могу вызвать задание Spark из пользовательского интерфейса, передав все входные данные и отобразив ответ пользователю. В зависимости от фреймворка (dl4j/spark mllib/H2o) пользователь может либо загрузить входной файл csv, либо данные могут быть прочитаны из Cassandra.

  1. Как я могу вызвать задание SPARK из пользовательского интерфейса?
  2. Как я могу отобразить результат обратно пользователю?

Пожалуйста помоги.


cassandra apache-spark h2o dl4j
person lalithark    schedule 24.11.2016    source источник

Ответы (1)


arrow_upward
1
arrow_downward

Вы можете взглянуть на этот репозиторий github.

При этом делается то, что как только поступает запрос GET, он извлекает данные из Cassandra, а затем собирает данные и возвращает их в качестве ответа.

Итак, в вашем случае:

Что вы можете сделать, так это, как только вы получите запрос POST, вы можете получить параметры из запроса и выполнить соответствующие операции, используя эти параметры, и собрать результат на мастере, а затем вернуть его пользователю в качестве ответа. .

P.S. Сбор на Master немного сложен, и большое количество данных может привести к OOM. Что вы можете сделать, так это сохранить результаты на hadoop и отправить обратно URL-адрес результатов или что-то в этом роде.

Для получения дополнительной информации см. этот блог, связанный с этим github: https://blog.knoldus.com/2016/10/12/cassandra-with-spark/

person Shiv4nsh    schedule 24.11.2016
comment
Я новичок в SPRAK и AKKA. Я скачал проект и успешно выполнил его на своей локальной машине. Могу ли я запустить то же приложение в Yarn? Могу ли я использовать его в производстве? - person lalithark; 24.11.2016
comment
Это не код производственного уровня! Вы можете изменить его в соответствии с вашим вариантом использования! - person Shiv4nsh; 24.11.2016
comment
Если я хочу запустить код в режиме пряжи, какие изменения я должен сделать? Могу ли я не использовать отдых AKKA в режиме пряжи? - person lalithark; 24.11.2016
comment
Это я должен проверить! Пожалуйста, посмотрите сами и дайте мне знать здесь! Если вы можете задокументировать, как успешно запустить его в кластерном режиме и сделать PR в этом репозитории. Я был бы рад принять это! - person Shiv4nsh; 24.11.2016