Невозможно развернуть большое приложение Worklight на Tomcat с помощью задачи wladm Ant

Я использую версию Worklight 6.2.0.01.20141002-2218 (студия, сервер, задачи ant) ​​и Tomcat 7.0.55 для размещения сервера Worklight (все работает в Windows 8.1). В рамках сборки CI мы создаем последнее приложение (.wlapp) и адаптеры (.adapter) с помощью Ant (версия 1.8.4), которые затем развертываем на экземпляре Tomcat. Проблема, которую мы видим, заключается в том, что для .wlapp файлов, размер которых превышает примерно 2 МБ, мы получаем следующую ошибку (IP и порт скрыты):

[wladm] Oct 06, 2014 1:42:55 PM org.apache.http.impl.client.DefaultRequestDirector tryExecute
[wladm] INFO: I/O exception (java.net.SocketException) caught when processing request: Connection reset by peer: socket write error
[wladm] Oct 06, 2014 1:42:55 PM org.apache.http.impl.client.DefaultRequestDirector tryExecute
[wladm] INFO: Retrying request
[wladm] Oct 06, 2014 1:42:55 PM org.apache.http.impl.client.DefaultRequestDirector tryExecute
[wladm] INFO: I/O exception (java.net.SocketException) caught when processing request: Software caused connection abort: socket write error
[wladm] Oct 06, 2014 1:42:55 PM org.apache.http.impl.client.DefaultRequestDirector tryExecute
[wladm] INFO: Retrying request
[wladm] Oct 06, 2014 1:42:55 PM org.apache.http.impl.client.DefaultRequestDirector tryExecute
[wladm] INFO: I/O exception (java.net.SocketException) caught when processing request: Software caused connection abort: socket write error
[wladm] Oct 06, 2014 1:42:55 PM org.apache.http.impl.client.DefaultRequestDirector tryExecute
[wladm] INFO: Retrying request
[wladm] Error accessing http://XXX.XX.XX.XXX:XXXX/wladmin/management-apis/1.0/runtimes/MyApp/applications?locale=en_GB:

BUILD FAILED
D:\XXX\build.xml:200: com.ibm.worklight.admin.restclient.RESTException: Error accessing http://XXX.XX.XX.XXX:XXXX/wladmin/management-apis/1.0/runtimes/MyApp/applications?locale=en_GB: Software caused connection abort: socket write error
    at com.ibm.worklight.admin.restclient.RESTClient.getResponse(RESTClient.java:1062)
    at com.ibm.worklight.admin.restclient.RESTClient.getPOSTResponse(RESTClient.java:1207)
    at com.ibm.worklight.admin.restclient.RESTClient.getPOSTFileResponse(RESTClient.java:1227)
    at com.ibm.worklight.admin.commands.DeployApp.getResponse(DeployApp.java:41)
    at com.ibm.worklight.admin.restclient.ActionClient.execute(ActionClient.java:85)
    at com.ibm.worklight.admin.ant.types.AbstractActionElement.executeCommand(AbstractActionElement.java:76)
    at com.ibm.worklight.admin.ant.types.ActionElement.executeCommands(ActionElement.java:43)
    at com.ibm.worklight.admin.ant.WladmTask.executeCommands(WladmTask.java:441)
    at com.ibm.worklight.admin.ant.WladmTask.execute(WladmTask.java:290)
    at org.apache.tools.ant.UnknownElement.execute(UnknownElement.java:291)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)
    at org.apache.tools.ant.dispatch.DispatchUtils.execute(DispatchUtils.java:106)
    at org.apache.tools.ant.Task.perform(Task.java:348)
    at org.apache.tools.ant.Target.execute(Target.java:392)
    at org.apache.tools.ant.Target.performTasks(Target.java:413)
    at org.apache.tools.ant.Project.executeSortedTargets(Project.java:1399)
    at org.apache.tools.ant.Project.executeTarget(Project.java:1368)
    at org.apache.tools.ant.helper.DefaultExecutor.executeTargets(DefaultExecutor.java:41)
    at org.apache.tools.ant.Project.executeTargets(Project.java:1251)
    at org.apache.tools.ant.Main.runBuild(Main.java:811)
    at org.apache.tools.ant.Main.startAnt(Main.java:217)
    at org.apache.tools.ant.launch.Launcher.run(Launcher.java:280)
    at org.apache.tools.ant.launch.Launcher.main(Launcher.java:109)
Caused by: java.net.SocketException: Software caused connection abort: socket write error
    at java.net.SocketOutputStream.socketWrite0(Native Method)
    at java.net.SocketOutputStream.socketWrite(SocketOutputStream.java:113)
    at java.net.SocketOutputStream.write(SocketOutputStream.java:159)
    at org.apache.http.impl.io.AbstractSessionOutputBuffer.write(AbstractSessionOutputBuffer.java:153)
    at org.apache.http.impl.io.ContentLengthOutputStream.write(ContentLengthOutputStream.java:114)
    at org.apache.http.entity.mime.content.FileBody.writeTo(FileBody.java:105)
    at org.apache.http.entity.mime.HttpMultipart.doWriteTo(HttpMultipart.java:206)
    at org.apache.http.entity.mime.HttpMultipart.writeTo(HttpMultipart.java:224)
    at org.apache.http.entity.mime.MultipartEntity.writeTo(MultipartEntity.java:183)
    at org.apache.http.entity.HttpEntityWrapper.writeTo(HttpEntityWrapper.java:96)
    at org.apache.http.impl.client.EntityEnclosingRequestWrapper$EntityWrapper.writeTo(EntityEnclosingRequestWrapper.java:108)
    at org.apache.http.impl.entity.EntitySerializer.serialize(EntitySerializer.java:120)
    at org.apache.http.impl.AbstractHttpClientConnection.sendRequestEntity(AbstractHttpClientConnection.java:263)
    at org.apache.http.impl.conn.AbstractClientConnAdapter.sendRequestEntity(AbstractClientConnAdapter.java:227)
    at org.apache.http.protocol.HttpRequestExecutor.doSendRequest(HttpRequestExecutor.java:255)
    at org.apache.http.protocol.HttpRequestExecutor.execute(HttpRequestExecutor.java:123)
    at org.apache.http.impl.client.DefaultRequestDirector.tryExecute(DefaultRequestDirector.java:645)
    at org.apache.http.impl.client.DefaultRequestDirector.execute(DefaultRequestDirector.java:464)
    at org.apache.http.impl.client.AbstractHttpClient.execute(AbstractHttpClient.java:820)
    at org.apache.http.impl.client.AbstractHttpClient.execute(AbstractHttpClient.java:754)
    at org.apache.http.impl.client.AbstractHttpClient.execute(AbstractHttpClient.java:732)
    at com.ibm.worklight.admin.restclient.RESTClient.getResponse(RESTClient.java:951)
    ... 25 more

Обратите внимание, что в логах сервера нет следов какой-либо ошибки. Часть файла сборки Ant, которая относится к этому:

<target name="setup-worklight-tasks">
    <taskdef resource="com/worklight/ant/defaults.properties">
        <classpath>
            <pathelement location="${worklight_ant_builder_path}"/>
        </classpath>
    </taskdef>
    <taskdef resource="com/worklight/ant/deployers/antlib.xml">
        <classpath>
            <pathelement location="${worklight_ant_deployer_path}"/>
        </classpath>
    </taskdef>
</target>

<target name="deploy" depends="setup-worklight-tasks">
    <wladm url="${admin_services_url}" user="${admin_services_user}" password="${admin_services_pass}" secure="false">
        <deploy-app runtime="${runtime_name}" file="bin/MyApp-all.wlapp"/>
    </wladm>
</target>

Тестирование с меньшими .wlapp файлами не вызывает проблем, что приводит к успешному развертыванию приложений. Учитывая, что у Tomcat по умолчанию максимальный размер POST составляет 2 МБ, я сначала подумал, что проблема связана с конфигурацией моих соединителей. Однако после адаптации всех разъемов ко всему, что может быть связано с этим, я продолжаю получать сообщение об ошибке. Вот конфигурация моих коннекторов в Tomcat server.xml:

...
<Connector port="9080" protocol="HTTP/1.1"
           connectionTimeout="20000"
           redirectPort="9443" maxPostSize="-1" maxSavePostSize="-1" maxHttpHeaderSize="2097152" socketBuffer="-1" bufferSize="20480"/>

<Connector port="9443" protocol="HTTP/1.1" SSLEnabled="true"
           maxThreads="150" scheme="https" secure="true"
           clientAuth="false" sslProtocol="TLS"
           keystoreFile="D:/IBM/apache-tomcat-7.0.55/security/server2_withchain.p12"
           keystoreType="PKCS12"
           keyPass="myPass" maxPostSize="-1" maxSavePostSize="-1" maxHttpHeaderSize="2097152" socketBuffer="-1" bufferSize="20480"/>               

<Connector port="8009" protocol="AJP/1.3" redirectPort="8443"  maxPostSize="-1" maxSavePostSize="-1" maxHttpHeaderSize="2097152" socketBuffer="-1" bufferSize="20480"/>
...

Кроме того, я протестировал развертывание через пользовательский интерфейс консоли Worklight, который отлично работает для файлов любого размера .wlapp. Интересный момент, связанный с использованием консоли Worklight, который я обнаружил (из проверки журналов доступа Tomcat), заключается в том, что соответствующий URL-адрес:

XXX.XX.XX.XXX - demo [06/Oct/2014:13:48:05 +0200] "POST /wladmin/management-apis/1.0/runtimes/MyApp/applications?async=true HTTP/1.1" 200 602
0:0:0:0:0:0:0:1 - demo [06/Oct/2014:13:48:05 +0200] "POST /worklightconsole/services/management-apis/1.0/runtimes/MyApp/applications?async=true HTTP/1.1" 200 602

Интересно наличие параметра async=true. Принимая это во внимание и учитывая, что обычно «Сброс соединения узлом: ошибка записи сокета» обычно указывает на проблему на стороне клиента, я думаю, что это может быть проблема с задачей wladm, которая неожиданно закрывает соединение (шаг этого избегают при развертывании через пользовательский интерфейс из-за параметра async=true).

Кто-нибудь сталкивался с подобной проблемой при использовании задачи wladm при развертывании на Tomcat?

Обновление 1:

Я сам выполнил POST файла .wlapp (используя Chrome POSTman), и загрузка и развертывание работали нормально. Это определенно указывает на проблему в задаче wladm ant.

Обновление 2:

Я заменил в своем процессе сборки Ant CI использование wladm вызовом cURL для выполнения POST-запроса файлов приложения и адаптера на сервер Worklight. Я могу подтвердить, что использование cURL работает как шарм, а это означает, что проблема действительно связана с wladm (скорее всего, это связанный HTTP-клиент Apache, который он использует). Вот обновленная часть моего файла сборки Ant (я определяю логический флаг для использования cURL или wladm):

...
<target name="deploy"  unless="deploy_done" depends="build, setup-worklight-tasks" description="Deploy adapters and apps">
    <if>
        <available file="adapters" type="dir"/>
        <then>
            <echo message="Deploying adapters" level="info"/>
            <foreach target="deploy-adapter" param="adapterPath" inheritall="true">
                <path>
                    <dirset dir="adapters" casesensitive="yes">
                        <include name="*"/>
                    </dirset>
                </path>
            </foreach>
        </then>
    </if>
    <echo message="Deploying applications" level="info"/>
    <foreach target="deploy-app" param="appPath" inheritall="true">
        <path>
            <dirset dir="apps" casesensitive="yes">
                <include name="*"/>
            </dirset>
        </path>
    </foreach>
    <property name="deploy_done" value="true"/> 
</target>

<target name="post-curl">
    <exec executable="curl" failonerror="true" outputproperty="curl-output" errorproperty="curl-output-error">
        <arg value="-u"/>
        <arg value="${admin_services_user}:${admin_services_pass}"/>
        <arg value="-F"/>
        <arg value="FILE=@${post-curl.file}"/>
        <arg value="${admin_services_url}/management-apis/1.0/runtimes/${runtime_name}/${post-curl.urlPart}"/>
    </exec>
    <if>
        <not><contains string="${curl-output}" substring="SUCCESS"/></not>
        <then>
            <echo level="error">${curl-output}</echo>
            <echo level="error">${curl-output-error}</echo>
            <fail message="cURL upload failed"/>
        </then>
    </if>
</target>

<target name="deploy-app">
    <basename property="appName" file="${appPath}"/>
    <if>
        <equals arg1="${admin_deploy_curl}" arg2="true"/>
        <then>
            <echo message="Deploying app [${appName}] using cURL..." level="info"/>
            <antcall target="post-curl" inheritAll="true">
                <param name="post-curl.file" value="bin/${appName}-all.wlapp"/>
                <param name="post-curl.urlPart" value="applications"/>
            </antcall>
        </then>
        <else>
            <echo message="Deploying app [${appName}] using wladm..." level="info"/>
            <wladm url="${admin_services_url}" user="${admin_services_user}" password="${admin_services_pass}" secure="false">
                <deploy-app runtime="${runtime_name}" file="bin/${appName}-all.wlapp"/>
            </wladm>
        </else>
    </if>       
    <echo message="App [${appName}] deployed." level="info"/>
</target>

<target name="deploy-adapter">
    <basename property="adapterName" file="${adapterPath}"/>
    <if>
        <equals arg1="${admin_deploy_curl}" arg2="true"/>
        <then>
            <echo message="Deploying adapter [${adapterName}] using cURL..." level="info"/>
            <antcall target="post-curl" inheritAll="true">
                <param name="post-curl.file" value="bin/${adapterName}.adapter"/>
                <param name="post-curl.urlPart" value="adapters"/>
            </antcall>
        </then>
        <else>
            <echo message="Deploying adapter [${adapterName}] using wladm..." level="info"/>                
            <wladm url="${admin_services_url}" user="${admin_services_user}" password="${admin_services_pass}" secure="false">
                <deploy-adapter runtime="${runtime_name}" file="bin/${adapterName}.adapter"/>
            </wladm>
        </else>
    </if>       
    <echo message="Adapter [${adapterName}] deployed." level="info"/>
</target>
...

person Costas    schedule 06.10.2014    source источник
comment
Если вы считаете, что столкнулись с ошибкой в ​​worklight, вам нужно открыть PMR, чтобы исследовать ее и получить исправленную версию.   -  person Idan Adar    schedule 07.10.2014
comment
Спасибо Идан. Я начал вопрос, потому что я представил, что проблема с моей конфигурацией. По мере того, как я продвигался в своих тестах, становилось все более и более очевидным, что это, скорее всего, ошибка. Я действительно подам PMR и отвечу на текущий вопрос.   -  person Costas    schedule 07.10.2014


Ответы (2)


Проблема связана с новым поведением в Tomcat 7.0.55. Ссылаясь на его журнал изменений: "Добавить новый лимит, по умолчанию 2 МБ, для объема данных, которые Tomcat проглотит для прерванной загрузки. Ограничение настраивается с помощью атрибута maxSwallowSize соединителя HTTP».

Итак, есть три возможных обходных пути:

  • Измените все объявления ‹Connector› в Tomcat conf/server.xml, добавив атрибут maxSwallowSize="100000000" (или любой другой верхний предел размера приложений и адаптеров, который вы можете установить).
  • Или используйте пользовательский интерфейс Worklight Console для развертывания приложения или адаптера.
  • Или используйте программу curl для развертывания приложения или адаптера.
person slowhand    schedule 23.10.2014
comment
Спасибо @slowhand! Добавление maxSwallowSize="-1" теперь позволяет правильно развернуть wladm. Это должно быть указано в разделе конфигурации Tomcat в документации Worklight. Тем не менее, странно, что загрузка wladm рассматривается Tomcat как прерванная, тогда как загрузка curl работает нормально. - person Costas; 27.10.2014

Для своих нужд я теперь обхожу задачу wladm Ant, используя подход cURL, который я подробно описал во втором обновлении (см. исходный вопрос). Используя это, я снова добился полностью автоматизированного развертывания CI.

Я отправлю PMR для этого в IBM и, в зависимости от полученных отзывов, продолжу обновлять этот ответ.

person Costas    schedule 07.10.2014
comment
Ответа на ПМР пока нет. (Принятый) ответ @slowhand теперь исправляет проблему и хорошо обобщает возможные другие решения. - person Costas; 27.10.2014