Ceph luminous rbd map зависает навсегда

Запуск 1-узлового кластера ceph и использование ceph-клиента с другого узла. Qemu отлично работает с креплением RBD. Когда я пытаюсь смонтировать блочное устройство RBD на ceph-клиенте, я получаю неопределенное зависание без вывода. Как диагностировать в чем дело?

Система - это сервер ubuntu 16.04 и Ceph Luminous.

sudo ceph tell osd.* version
{
    "version": "ceph version 12.2.2 (cf0baeeeeba3b47f9427c6c97e2144b094b7e5ba) luminous (stable)"
}


ceph -s
  cluster:
    id:     4bfcc109-e432-4ac0-ba9d-bf81243aea
    health: HEALTH_OK

  services:
    mon: 1 daemons, quorum gcmaster
    mgr: gcmaster(active)
    osd: 1 osds: 1 up, 1 in

  data:
    pools:   1 pools, 128 pgs
    objects: 1512 objects, 5879 MB
    usage:   7356 MB used, 216 GB / 223 GB avail
    pgs:     128 active+clean

rbd info gcbase
rbd image 'gcbase':
    size 512 MB in 128 objects
    order 22 (4096 kB objects)
    block_name_prefix: rbd_data.376974b0dc51
    format: 2
    features: layering, exclusive-lock, object-map, fast-diff, deep-flatten
    flags: 
    create_timestamp: Fri Dec 29 17:58:02 2017

Это висит навсегда

rbd map gcbase --pool rbd

Как это

rbd map typo_gcbase --pool rbd

dmesg показывает

Dec 29 13:27:32 cephclient1 kernel: [85798.195468] libceph: mon0 192.168.1.55:6789 feature set mismatch, my 106b84a842a42 < server's 40106b84a842a42, missing 400000000000000
Dec 29 13:27:32 cephclient1 kernel: [85798.222070] libceph: mon0 192.168.1.55:6789 missing required protocol features

ceph
person Vans S    schedule 29.12.2017    source источник

Ответы (1)


arrow_upward
3
arrow_downward

Вывод dmesg сообщает, что происходит: кластеру требуется бит функции, который не поддерживается модулем ядра libceph.

Рассматриваемый бит функции - это либо CEPH_FEATURE_CRUSH_TUNABLES5, CEPH_FEATURE_NEW_OSDOPREPLY_ENCODING, либо CEPH_FEATURE_FS_FILE_LAYOUT_V2 (они перекрываются, потому что они были представлены одновременно), который стал доступен только в ядре 4.4, тогда как Ubuntu 16.04.

Пришел аналогичный вопрос (хотя и связанный с CephFS) в списке рассылки с возможным решением:

Да, у вас должна быть возможность настроить свой профиль CRUSH tunables на удар с помощью "ceph osd crush tunables hammer".

Это отключит некоторые функции, но должно сделать старое ядро ​​совместимым с кластером.

В качестве альтернативы вы можете перейти на основное ядро ​​или на более новую версию ОС.

person mmlr    schedule 30.12.2017
comment
Об этом следует упомянуть в руководстве по документации, которое рекомендует Ubuntu 16.04. - person Vans S; 17.01.2018