Kafka-Connect-Hdfs - не удалось запустить HdfsSinkConnector

Я загрузил kafka connect с http://docs.confluent.io/2.0.0/quickstart.html#quickstart

Пытаюсь запустить коннектор hdfs. Вот настройки:

connect-standalone.properties:

bootstrap.servers=lvpi00658.s:9092,lvpi00659.s:9092,lvpi00660.s:9092

key.converter=org.apache.kafka.connect.storage.StringConverter
value.converter=org.apache.kafka.connect.storage.StringConverter

internal.key.converter=org.apache.kafka.connect.storage.StringConverter
internal.value.converter=org.apache.kafka.connect.storage.StringConverter

offset.storage.file.filename=/tmp/connect.offsets
# Flush much faster than normal, which is useful for testing/debugging
offset.flush.interval.ms=10000

key.deserializer=org.apache.kafka.common.serialization.StringDeserializer
 value.deserializer=org.apache.kafka.common.serialization.StringDeserializer

а также

quickstart-hdfs.properties:

name=hdfs-sink
connector.class=io.confluent.connect.hdfs.HdfsSinkConnector
tasks.max=1
topics=eightball-stuff11
hdfs.url=hdfs://localhost:9000
flush.size=3

Я запускаю коннектор hdfs следующим образом:
cd /home/fclvappi005561/confluent-3.0.0/bin
./connect-standalone ../etc/kafka-connect-hdfs/connect-standalone.properties ../etc/kafka-connect-hdfs/quickstart-hdfs.properties

но я получаю сообщение об ошибке:

Я должен упомянуть, что я запускаю докер-образ hadoop локально по адресу 127.0.0.1: docker run -d -p 9000:9000 sequenceiq/hadoop-docker:2.7.1

Что это за ошибка отказа в разрешении, которую я вижу? Я нахожусь на другом хосте, чем упомянутые в bootstrap.servers

Ошибка отказа в разрешении находится на стороне hdfs. Пользователь «root» не имеет права записи в каталог hdfs «/ themes».


person Adrian    schedule 12.09.2016    source источник


Ответы (1)


[2016-09-12 17: 19: 28,039] ИНФОРМАЦИЯ Не удалось запустить HdfsSinkConnector: (io.confluent.connect.hdfs.HdfsSinkTask: 72) org.apache.kafka.connect.errors.ConnectException: org.apache.hadoop. security.AccessControlException: в разрешении отказано: user = lvpi005561, access = WRITE, inode = "/ themes": root: supergroup: drwxr-xr-x at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check (FSPermissionChecker. java: 319) на org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check (FSPermissionChecker.java:292) на org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission (FSPermissionChecker.java). на org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission (FSPermissionChecker.java:190) на org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission (FSDirectory.java:1698) на org.apache.java:1698 .hadoop.hdfs.server.namenode.FSDirectory.checkPermission (FSDirectory.java:1682) в org.apache.hadoo p.hdfs.server.namenode.FSDirectory.checkAncestorAccess (FSDirectory.java:1665) в org.apache.hadoop.hdfs.server.namenode.FSDirMkdirOp.mkdirs (FSDirMkdirOp.java:71) в org.apache.soop.hadoop. server.namenode.FSNamesystem.mkdirs (FSNamesystem.java:3900) по адресу org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.mkdirs (NameNodeRpcServer.java:978) в org.apache.hadoop.hdfClass. mkdirs (ClientNamenodeProtocolServerSideTranslatorPB.java:622) по адресу org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos $ ClientNamenodeProtocol $ 2.callBlockingMethod ($ ProdocsubcUpcUpcUpcUptocUpcUpToCUFcUpcUptocUpcUptocUpcUpcUpcUptocUpcUpToBoToBoToC.pdf) в orhatobrodvcUpcUpcUpcUpcUpcUpcUFcUpc. .java: 616) в org.apache.hadoop.ipc.RPC $ Server.call (RPC.java:969) в org.apache.hadoop.ipc.Server $ Handler $ 1.run (Server.java:2049) в org .apache.hadoop.ipc.Server $ Handler $ 1.run (Server. java: 2045) в java.security.AccessController.doPrivileged (собственный метод) в javax.security.auth.Subject.doAs (Subject.java:415) в org.apache.hadoop.security.UserGroupInformation.doAs (UserGroupInformation.java: 1657) на org.apache.hadoop.ipc.Server $ Handler.run (Server.java:2043) на io.confluent.connect.hdfs.DataWriter. (DataWriter.java:202) на io.confluent.connect.hdfs. HdfsSinkTask.start (HdfsSinkTask.java:64) в org.apache.kafka.connect.runtime. WorkerSinkTask.initializeAndStart (WorkerSinkTask.java:207) в org.apache.kafka.connect.runtime.WorkerSinkTask.execute (WorkerSinkTask.java:139) в org.apache.kafka.connect.runtime.WorkunerTask.do (WorkerTask.do 140) в org.apache.kafka.connect.runtime.WorkerTask.run (WorkerTask.java:175) в java.util.concurrent.Executors $ RunnableAdapter.call (Executors.java:511) в java.util.concurrent.FutureTask .run (FutureTask.java:266) в java.util.concurrent.ThreadPoolExecutor.runWorker (ThreadPoolExecutor.java:1142) в java.util.concurrent.ThreadPoolExecutor $ Worker.run (ThreadPoolExeangor.java. Thread.run (Thread.java:745) Вызвано: org.apache.hadoop.security.AccessControlException: Permission denied: user = fclvappi005561, access = WRITE, inode = "/ themes": root: supergroup: drwxr-xr-x на org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check (FSPermissionChecker.java:319) на org.a pache.hadoop.hdfs.server.namenode.FSPermissionChecker.check (FSPermissionChecker.java:292) на org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission (FSPermissionChecker.java:213) на org.ap hdfs.server.namenode.FSPermissionChecker.checkPermission (FSPermissionChecker.java:190) на org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission (FSDirectory.java:1698) на org.apache.hadoop.hdfs.hdfs. namenode.FSDirectory.checkPermission (FSDirectory.java:1682) по адресу org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkAncestorAccess (FSDirectory.java:1665) по адресу org.apache.hadoop.hdfs.server.namenode.FSDirOpir. mkdirs (FSDirMkdirOp.java:71) по адресу org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirs (FSNamesystem.java:3900) по адресу org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServerNameNode. java: 978) в org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProto colServerSideTranslatorPB.mkdirs (ClientNamenodeProtocolServerSideTranslatorPB.java:622) в org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos $ ClientNamenodeProtocol $ 2.callBlockingMethod. (ProtobufRpcEngine.java:616) на org.apache.hadoop.ipc.RPC $ Server.call (RPC.java:969) на org.apache.hadoop.ipc.Server $ Handler $ 1.run (Server.java:2049) на org.apache.hadoop.ipc. Server $ Handler $ 1.run (Server.java:2045) в java.security.AccessController.doPrivileged (собственный метод) в javax.security.auth.Subject.doAs (Subject.java:415) в org.apache.hadoop.security .UserGroupInformation.doAs (UserGroupInformation.java:1657) на org.apache.hadoop.ipc.Server $ Handler.run (Server.java:2043) на sun.reflect.NativeConstructorAccessorImpl.newInstance0 (собственный метод) в sun.reflect.NativeConstructorA .newInstance (NativeConstructorAccessorImpl.java:62) в sun.reflect.DelegatingConstructorAccessorImpl.newInstance (DelegatingConstructorAccessorImpl.java:45) в java.lang.reflect.Constructor.newInstance (или Constructor.java.ip. RemoteException.instantiateException (RemoteException.java:106) в org.apache.hadoop.ipc.RemoteException.unwrapRemoteException (RemoteException.java:73) в org.apache.hadoop.hdfs.DFSClient.primitiveMkdir (DFSClient.java:275 5) по адресу org.apache.hadoop.hdfs.DFSClient.mkdirs (DFSClient.java:2724) по адресу org.apache.hadoop.hdfs.DistributedFileSystem $ 17.doCall (DistributedFileSystem.java:870) по адресу org.apache.hadoop.hdfs. DistributedFileSystem $ 17.doCall (DistributedFileSystem.java:866) по адресу org.apache.hadoop.fs.FileSystemLinkResolver.resolve (FileSystemLinkResolver.java:81) по адресу org.apache.hadoop.hdfs.DistributedFileSystem.mkjavaFileSystem.distributedFileSystem.mkjdavaFileSystem. DistributedFileSystem. org.apache.hadoop.hdfs.DistributedFileSystem.mkdirs (DistributedFileSystem.java:859) в org.apache.hadoop.fs.FileSystem.mkdirs (FileSystem.java:1817) в io.confluent.connect.hdfs.storage.HdfsStorage. mkdirs (HdfsStorage.java:61) в io.confluent.connect.hdfs.DataWriter.createDir (DataWriter.java:369) в io.confluent.connect.hdfs.DataWriter. (DataWriter.java:170) ... еще 10 Вызвано: org.apache.hadoop.ipc.RemoteException (org.apache.hadoop.security.AccessContro lException): в разрешении отказано: user = fclvappi005561, access = WRITE, inode = "/ themes": root: supergroup: drwxr-xr-x at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check (FSPermissionChecker.java : 319) на org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check (FSPermissionChecker.java:292) на org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission (FSPermissionChecker213) atjava: org.apache.hadoop.hdfs.server.namenode. FSPermissionChecker.checkPermission (FSPermissionChecker.java:190) по адресу org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission (FSDirectory.java:1698) по адресу org.apache.hadoop.hdfs.server.name.node.FSPermission (имя_сервера. FSDirectory.java:1682) на org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkAncestorAccess (FSDirectory.java:1665) в org.apache.hadoop.hdfs.server.namenode.FSDirMkdirOp.mkdirs (FSDirMkdir.java. 71) в org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirs (FSNamesystem.java:3900) на org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.mkdirs (NameNodeRpcServer.java:978) в org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.mkdirs (NameNodeRpcServer.java:978) .apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.mkdirs (ClientNamenodeProtocolServerSideTranslatorPB.java:622) в org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeNodeProtocolPROTоколе $ Protocol.proto.ClientNamenodeNodeProtocolPROTоколе $ 2. org.apache.hadoop.ipc.ProtobufRpcEngine $ Server $ ProtoBufRpcInvoker.call (ProtobufRpcEngine.java:616) в org.apache.hadoop.ipc.RPC $ Server.call (RPC.java:969) в org.apache.hadoop. ipc.Server $ Handler $ 1.run (Server.java:2049) в org.apache.hadoop.ipc.Server $ Handler $ 1.run (Server.java:2045) в java.security.AccessController.doPrivileged (собственный метод) в javax.security.auth.Subject.doAs (Subject.java:415) в org.apache.hadoop.security.UserGroupInformation.doAs (UserGroupInformation.java:1657) в org.apache.hadoop.ipc.Server $ Handler.run ( Server.java:2043) на org.apache.hadoop.ipc.Client.call (Client.java:1468) на org.apache.hadoop.ipc.Client.call (Client.java:1399) на org.apache.hadoop .ipc.ProtobufRpcEngine $ Invoker.invoke (ProtobufRpcEngine.java:232) на com.sun.proxy. $ Proxy47.mkdirs (Неизвестный источник) на org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPa.mk menodeProtocolTranslatorPB.java:539) в sun.reflect.NativeMethodAccessorImpl.invoke0 (собственный метод) в sun.reflect.NativeMethodAccessorImpl.invoke (NativeMethodAccessorImpl.java:62) в sun.reflect. .lang.reflect.Method.invoke (Method.java:498) на org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod (RetryInvocationHandler.java:187) на org.apache.hadoop.io.retry. RetryInvocationHandler.invoke (RetryInvocationHandler.java:102) at com.sun.proxy. $ Proxy48.mkdirs (Unknown Source) at org.apache.hadoop.hdfs.DFSClient.primitiveMkdir (DFSClient.java:2753) ... еще 20

person dawsaw    schedule 12.09.2016