Пул соединений spring xd для модуля/работы/filejdbc

Мой вариант использования - обработать 50 CSV-файлов и загрузить их в БД MySQL с помощью модуля заданий spring xd filejdbc.

Для этого я настроил пул соединений с источником данных в spring-xd-1.0.0.RELEASE\xd\config\servers.yml, например:

spring: источник данных: URL-адрес: jdbc:mysql://localhost:3306/spring_xd имя пользователя: springxd пароль: springxd driverClassName: com.mysql.jdbc.Driver maxActive: 75 maxIdle: 10 minIdle: 10 initialSize: 10 maxWait: 30000 validationQuery: выберите 1 validationInterval: 30000 testOnBorrow: true testOnReturn: false testWhileIdle: false timeBetweenEvictionRunsMillis: 10000 minEvictableIdleTimeMillis: 60000 removeAbandoned: true removeAbandonedTimeout: 300 logAbandoned: true

Когда singlenode запускается, spring xd инициализирует этот пул.

Но проблема в том, что когда задание filejdbc запускается, оно снова инициализирует пул соединений с вышеуказанными конфигурациями. Так как \spring-xd-1.0.0.RELEASE\xd\config\modules\job\filejdbc\filejdbc.properties использует те же конфигурации пула соединений из server.yml

Данные файлов csv загружаются в БД только с использованием пула соединений filejdbc, а не spring xd.

Из-за этого мои соединения с БД заканчиваются.

Теперь, когда я уменьшаю соединение в server.yml до максимального активного 20 и когда задание запускается, spring xd выдает исключение исчерпания пула соединений, так как у меня есть 50 файлов csv для загрузки.

Я просто не могу настроить максимальную активность server.xml на 10 для базы данных spring xd и максимальную активность filejdbc на 60 для моей пользовательской базы данных, чтобы при запуске задания filejdbc можно было загрузить 50 файлов. Это всегда вызывает исключение исчерпания соединения.

Пожалуйста, порекомендуйте.

Подробности приведены ниже: версия spring xd - spring-xd-1.0.0.RELEASE в одноузловой версии java - среда jdk 7 - окна


person Kishan G    schedule 21.03.2015    source источник
comment
В скольких контейнерах выполняется это задание? Кроме того, зачем вам одно соединение на файл?   -  person Michael Minella    schedule 25.03.2015


Ответы (1)