Лучший способ увеличить масштаб кеш-сервера Bazel?

Я установил кеш-сервер Bazel в нашей компании и использую его без проблем. Я просто выполнил инструкции здесь, чтобы настроить сервер Nginx. . Базовое хранилище находится на твердотельном диске.

Однако по мере роста количества пользователей иногда зависал кеш-сервер. Я не вижу ни одного документа, говорящего о том, как масштабировать до нескольких серверов кеширования. Есть идеи, как это сделать?

В голове я мог сделать следующее:

  1. Запустите кеш-сервер на выделенной машине, в основном дайте ему больше ресурсов,

  2. Запуск нескольких кеш-серверов за балансировщиком нагрузки Nginx. Но как балансировщик нагрузки Nginx взаимодействует со стратегией хеширования кеша Bazel? Будет ли тот же запрос кеширования отправлен на тот же сервер кеширования?

  3. Переключитесь на использование Bazel buildfarm. Но проблема остается: будет ли тот же запрос на сборку отправлен тому же удаленному работнику?


person Zhuo Zhang    schedule 24.04.2018    source источник


Ответы (1)


Я думаю, что buildfarm решила проблему запроса маршрутизации (хотя и не знаю, как это сделать).

Я бы посоветовал задать этот вопрос в списке рассылки buildfarm.

Кроме того, вы можете использовать GCS или S3 (ожидающий PR) в качестве кэширования бэкэнды, поскольку они намного более масштабируемы (хотя я не уверен в их задержках).

person Ittai    schedule 25.04.2018