У нас есть приложение rails с серверной частью MySQL, у каждого клиента есть одна БД, и схема идентична. Мы используем собственный гем для изменения БД на основе URL-адреса запроса (это некоторый устаревший код, от которого мы пытаемся отказаться)
Нам нужно зафиксировать некоторые изменения из этих баз данных MySQL (изменения в инвентаре, некоторая информация о заказе и т. д.), преобразовать и сохранить в одной базе данных MongoDB (многопользовательское хранилище данных), эти данные сначала будут использоваться для аналитики, но наша идея состоит в том, чтобы переместить туда все.
Было что-то, чтобы сделать это, используя обратные вызовы AR и Rabbit, но, честно говоря, это не работало правильно, и казалось, что исправить это было сложнее, чем начать все заново с новым подходом.
Мы провели небольшое исследование и нашли несколько инструментов для выполнения ETL, но они слишком сильны для наших нужд.
Есть ли у кого-нибудь опыт решения подобной проблемы?
Рекомендации по проектированию и реализации этого простого ETL
