Ошибка команды Beeline не найдена при выполнении команды beeline из скрипта python (вызывается из действия оболочки oozie)

У меня есть скрипт Python, который я хочу запланировать с помощью oozie. Я использую действие оболочки Oozie для вызова скрипта. В скрипте есть команда beeline. Когда я запускаю рабочий процесс oozie, я получаю сообщение об ошибке "sh: beeline: команда не найдена". Если я запускаю этот скрипт или просто команду beeline вручную с пограничного узла, все работает отлично. Моя платформа данных — Hortonworks 2.6. Ниже приведен мой сценарий workflow.xml и python:

Workflow.xml

<workflow-app xmlns="uri:oozie:workflow:0.3" name="hive2-wf">
    <credentials>
        <credential name='hcat-creds' type='hcat'>
            <property>
                <name>hcat.metastore.uri</name>
                <value>thrift://host:9083</value>
            </property>
            <property>
                <name>hcat.metastore.principal</name>
                <value>hive/[email protected]</value>
            </property>
           </credential>
    </credentials>
    <start to="python-node"/>
    <action name="python-node" cred="hcat-creds">
        <shell xmlns="uri:oozie:shell-action:0.1">
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            <exec>run_validations.py</exec>
            <argument>--jdbcURL</argument><argument>${jdbcURL}</argument>
            <argument>--jdbcPrincipal</argument><argument>${jdbcPrincipal}</argument> 
                        <env-var>PYTHONPATH=/bin/python</env-var>
            <env-var>PYTHON_EGG_CACHE=/tmp</env-var>
                        <env-var>PATH=/usr/bin</env-var>
            <env-var>HADOOP_CLASSPATH=${HADOOP_CLASSPATH}</env-var>
            <file>run_validations.py</file>
        </shell>
        <ok to="end"/>
        <error to="fail"/>
    </action>
    <kill name="fail">
        <message>Shell action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
    </kill>
    <end name="end"/>
</workflow-app>

Скрипт:

#!/usr/bin/env python2

import sys, os, commands, datetime, time ,getpass, errno
from optparse import OptionParser
import subprocess
from subprocess import Popen, PIPE

def arg_handle():
    usage = "usage: run_validations.py [options]"
    parser = OptionParser(usage)
    parser.add_option("-u", "--jdbcURL",dest="jdbcURL",help="jdbcURL")
    parser.add_option("-p", "--jdbcPrincipal",dest="jdbcPrincipal",help="jdbcPrincipal") 

    (options, args) = parser.parse_args()
    print("run_validations.py  -> Input      : " + str(options))
    return options

def main():
    print("run_validations.py  -> Started Run_validations.py")
    options = arg_handle()

    print("JDBC URL : "+options.jdbcURL)
    print("JDBC PRINCIPAL : "+options.jdbcPrincipal)

    beeline_connection = options.jdbcURL+";principal="+options.jdbcPrincipal
    hive_cmd = 'beeline -u "'+beeline_connection+'" -e "select 1+2;"'
    print("Invoked :"+hive_cmd)
    rc,out =  commands.getstatusoutput(hive_cmd)
    if(rc==0):
        print("RC : "+str(rc))
        print("Output :")
        print(out)
    else:
        print("RC : "+str(rc))
        print("Output :")
        print(out)

if __name__ == "__main__":
    main()

Вывод

>>> Invoking Shell command line now >>

Stdoutput run_validations.py  -> Started Run_validations.py
Stdoutput run_validations.py  -> Input      : {'jdbcURL': 'jdbc:hive2://host:2181/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2', 'jdbcPrincipal': 'hive/[email protected]'}
Stdoutput Invoked :beeline -u "jdbc:hive2://host:2181/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2;principal=hive/[email protected]" -e "select 1+2;"
Stdoutput RC : 32512
Stdoutput Output :
Stdoutput sh: beeline: command not found
Exit code of the Shell command 0
<<< Invocation of Shell command completed <<<

Может кто-нибудь, пожалуйста, скажите мне, что мне не хватает?


python shell python-2.7 beeline oozie-workflow
person Akanksha Bhatnagar    schedule 22.11.2019    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Oozie выполняет действие оболочки на другом узле (возможно, одном из узлов данных) в кластере Hadoop, отличном от пограничного узла (где вы тестировали сценарий beeline или python). В пограничном узле должен быть установлен beeline, поэтому вы можете протестировать его.

Но фактическая проблема заключается в том, что узел, на котором выполняется действие оболочки, похоже, не установлен beeline. Вы можете войти в систему и проверить наличие Beeline, если у вас есть доступ к этому узлу.

Я бы посоветовал вам попробовать комбинацию действий куста и оболочки для выполнения задачи, которую вы пытаетесь выполнить.

См. :Oozie › что такое разница между асинхронными действиями и синхронными действиями

person yammanuruarun    schedule 12.12.2019