Публикации по теме 'distributed-systems'
Создание безопасной многопользовательской системы с ограничением скорости
Что такое ограничение скорости и как его правильно использовать
После запуска вашего веб-сервиса, как вы защищаете его от перегрузки? В этой статье обсуждаются варианты защиты ваших сервисов с помощью распространенного метода, называемого ограничением скорости.
Есть много разных причин, по которым мы иногда хотим блокировать запросы. Назвать несколько:
Мы хотим предотвратить проблемы с шумными соседями, чтобы мошеннические клиенты, генерирующие избыточные запросы, не создавали..
Операционные преобразования как алгоритм автоматического разрешения конфликтов
1. Введение
Алгоритмы автоматического разрешения конфликтов в распределенных системах с более чем одним узлом-лидером (в этой статье под узлом-лидером мы подразумеваем узел, который принимает запросы на изменение данных) - довольно интересное направление исследований. В этой области существуют различные подходы и алгоритмы со своими собственными компромиссами, и в этой статье мы сосредоточимся на технологии оперативного преобразования, которая направлена на разрешение конфликтов в..
Как Discord хранит миллиарды сообщений — Большие сюрпризы в проектировании систем
Discord продолжает расти быстрее, чем они ожидали, как и их пользовательский контент. Чем больше пользователей, тем больше сообщений в чате. В январе 2017 года они заявили о 120 миллионах сообщений в день. С самого начала они решили хранить всю историю чатов навсегда, чтобы пользователи могли вернуться в любое время и иметь доступ к своим данным на любом устройстве.
Это большой объем данных, скорость и размер которых постоянно увеличиваются, и они должны оставаться доступными...
«Однажды в сказке»: как реализовать однократную обработку в распределенной системе
Однократная доставка невозможна в распределенной системе. Эту печальную реальность показывают разнообразные мысленные эксперименты, среди которых задача двух генералов — одна из самых известных.
Однако именно здесь мы, инженеры, должны были отложить в сторону наши разногласия и сотрудничать для общего блага. А именно, мы блестяще решили проблему однократной доставки : вообще не заботясь о доставке сообщений! Во-первых, доставка сообщений не является четко определенной концепцией в..
Эффективность и масштабируемость. Обучение модели с интеграцией Ray Train и Pachyderm.
Вы хотите выполнять предварительную обработку данных распределенно с сохранением разных версий данных и распределенным обучением одновременно? Если ваш ответ да, вы находитесь в правильном месте. Мы собираемся объединить два мощных инструмента, таких как Ray Train и Pachyderm. Ray Train обеспечивает распределенное обучение глубокому обучению. Pachyderm обеспечивает автомасштабирование, параллельную обработку, контроль версий для данных и конвейеры, управляемые данными. Наша цель —..
Шаблон автоматического выключателя с go
Введение
Шаблон прерывателя цепи — это шаблон проектирования, обычно используемый в распределенных системах для повышения отказоустойчивости и отказоустойчивости. Это особенно полезно для обработки ошибок и предотвращения каскадных сбоев в системах с несколькими микросервисами или компонентами.
Шаблон работает, отслеживая количество сбоев в системе и «отключая» автоматический выключатель при достижении заданного порога. Когда автоматический выключатель «отключен», он переходит в..
Байт кодирования, выпуск № 252
Для меня это похоже на работу, так что все, просто идите и читайте, номер 253, потому что в нем полно классных вещей, которые можно просто посмотреть. Да-на-на-на-на на, да-на-на-на-на на, да-на-на-на-на на, да-на-на-нааааааа.
Электро спасибо Джиму Грею, Николасу Хафнеру, Фреду Хеберту, Патрику Ханту, Махадеву Конару, Флавио Джункейре и Бенджамину Риду за увлекательный контент!
Изображение предоставлено Андре Фарстадом
Если вы хотите получать выпуски информационного бюллетеня прямо на..
