Требуются ли для Zookeeper SSD-диски для кластеров Apache Kafka?

мы хотим установить кластер kafka и 3 сервера zookeeper

kafka должен использовать серверы zookeeper для сохранения метаданных на серверах zookeeper.

Файлы данных ZK и журналов должны находиться на дисках, которые имеют наименьшую конкуренцию со стороны других операций ввода-вывода. В идеале файлы данных ZK и журналов транзакций ZK должны находиться на разных дисках, чтобы они не конкурировали за ресурс ввода-вывода.

Обратите внимание, что недостаточно просто иметь разделы, они должны быть разными дисками для обеспечения производительности.

Значит, сервер zookeeper должен использовать SSD-диски?

если да, каковы минимальные требования для дисков зоопарка в качестве ввода-вывода и т. д.

введите здесь описание изображения


apache-kafka disk apache-zookeeper solid-state-drive
person Judy    schedule 14.03.2019    source источник

Ответы (1)


arrow_upward
3
arrow_downward

Confluent рекомендует следующую конфигурацию при запуске Zookeeper в производственных средах:

Диски
Производительность дисков жизненно важна для поддержания работоспособности кластера ZooKeeper. Настоятельно рекомендуется использовать твердотельные накопители (SSD), так как ZooKeeper должен иметь низкую задержку записи на диск для оптимальной работы. Каждый запрос к ZooKeeper должен быть зафиксирован на диске на каждом сервере в кворуме, прежде чем результат будет доступен для чтения. Для производственного развертывания рекомендуется выделенный SSD объемом не менее 64 ГБ на каждом сервере ZooKeeper. Вы можете использовать autopurge.purgeInterval и autopurge.snapRetainCount для автоматической очистки данных ZooKeeper и снижения затрат на обслуживание.

person Giorgos Myrianthous    schedule 14.03.2019
comment
Из вашего ответа я вижу, что рекомендуется SSD, но каковы минимальные требования для дисков зоопарка в качестве ввода-вывода и т. д. а можно подробнее про минимальную скорость чтения/записи и т.д. - person Judy; 14.03.2019
comment
@ Джуди Это зависит. Твердотельные накопители уменьшают задержку записи ZooKeeper. Вы можете использовать SATA, но вы должны ожидать более высокую задержку. - person Giorgos Myrianthous; 14.03.2019
comment
да, но что я спрашиваю о деталях чисел, например, скажем, что диск SATA соответствует требованиям, но как узнать требования в количестве как ввод-вывод? - person Judy; 14.03.2019
comment
помимо слияния вы видите какую-либо другую документацию? - person Judy; 14.03.2019
comment
Но четкого ответа на этот вопрос нет. Это зависит от вашего приложения и требований. Лучший способ — протестировать несколько конфигураций и выбрать ту, которая соответствует вашим требованиям. - person Giorgos Myrianthous; 14.03.2019
comment
Вы также можете проверить документацию Apache Kafka. - person Giorgos Myrianthous; 14.03.2019