Эй, значит, ты, наверное, пришел сюда из TechVerse. Вот сделка: Medium.com имеет защиту от DoS (отказ в обслуживании). Радуйтесь, что они это делают, потому что, если бы они этого не сделали, medium.com довольно быстро вышел бы из строя.

Как работает Cloudflare:
Cloudflare — это… интересная компания. Это может чертовски раздражать только потому, что из-за этого веб-скрейперы сложно сделать (особенно если вам нужно синхронно обрабатывать веб-скрейпинг), а доступ Cloudflare к Интернету быстро растет.

Как это работает, можно легко объяснить с помощью простых терминов, он использует алгоритмы для проверки того, является ли входящий трафик законным или нет. Если он считает, что трафик не является законным, он скажет вам подождать 5–10 секунд, просто чтобы перенаправить бота, если хотите. Это сделает так, что сайт, на который нацелена атака, останется целым и невредимым. Если это не так, он будет поглощать трафик или просто работать как обычная веб-страница. Это делается с помощью процесса, называемого прикладной уровень (L7). Я недостаточно умен, чтобы объяснить, как это работает, так что, к счастью, cloudflare сделали это сами.

Итак, какие последствия имеет эта система?

Конечно, эта система имеет последствия, все в жизни имеет последствия. Но каковы именно эти последствия?

  • Веб-скрейперы
    Как я уже говорил, большинство веб-скрейперов, которые обрабатывают вещи синхронно (т. е. прямо, непосредственно, как только они достигают кода, говорящего о том, что вам нужно очистить сайт, запускают его), столкнутся с этой проблемой, потому что им нужно будет подождите 5–10 секунд, прежде чем он действительно сможет получить какие-либо полезные данные. Он не сможет этого сделать, потому что работает синхронно, что является большой проблемой для любого типа серверов, с этой проблемой столкнутся, например, API (не то, чтобы API для парсинга было много, а просто как пример).
  • Защита D(D)oS
    Конечно, она также хорошо работает с тем, для чего она была создана. Я не смог найти никакой статистики о том, насколько это хорошо (не стесняйтесь комментировать эту статью, если вы знаете или у вас есть источники), но атаки D(D)oS просто неприятны, и любая защита от них помогает. . Я лично (субъективно, а не объективно, потому что, как я уже сказал, я не смог найти никаких источников по этому поводу) считаю, что эта система действительно помогает против атак, и это говорит из опыта работы с различными веб-скрейперами.

Вывод

Я думаю, что Cloudflare работает, но в будущем я надеюсь увидеть способ, позволяющий веб-скрейперам по-прежнему делать то, для чего они созданы, — очищать веб-страницы. Я понимаю, как сложно отличить одного бота (в данном примере вебскреба) от ботнета для программы.

Спасибо, что прочитали, это моя самая первая статья (не только на medium.com, но и вообще), поэтому, пожалуйста, прокомментируйте, что я могу сделать лучше в следующий раз.

О, и для всех, кто приходит из TechVerse: флаг cloudflareIsUnderrated???