Какие браузеры/плагины блокируют отправку HttpReferer?

Я пытаюсь интерпретировать строки HttpReferer в журналах нашего сервера. Кажется, что существует довольно большое количество пустых значений.

Мне интересно, сколько из этих пустых значений связано с прямыми попаданиями людей, вводящих наш URL-адрес непосредственно в браузер, и сколько может быть связано с какой-то блокирующей утилитой, которая предотвращает отправку Referer.

Я действительно понятия не имею, сколько людей используют инструменты, браузеры или «анонимайзеры», которые могут заблокировать ссылку. Любой ввод?


http-referer refer
person Simon_Weaver    schedule 03.11.2008    source источник
comment
Сколько из них пауки? Вы тоже смотрите на пользовательский агент?   -  person ysth    schedule 03.11.2008
comment
у меня на самом деле есть эти данные, поступающие в таблицу базы данных, и я каким-то образом испортил логику UserAgent, так что UserAgent все пустое. мне нужно будет установить правильный инструмент для интеллектуального анализа журналов, но я даже не уверен, регистрируется ли реферер в IIS   -  person Simon_Weaver    schedule 03.11.2008

Ответы (5)


arrow_upward
2
arrow_downward

Я лично отключил его с помощью расширения «Веб-разработчик» для Firefox только из-за некоторых «полезных» сайтов, которые выделяют условия поиска, которые я использовал для перехода на эту страницу.

Спасибо, я вполне способен установить плагин выделения или искать слова на вашей странице.

person hayalci    schedule 03.11.2008

arrow_upward
2
arrow_downward

Я думаю, что большая часть может быть вызвана ограничениями интернет-провайдеров. Я знаю, что мой интернет-провайдер (BT, в Великобритании) отфильтровывает его (вероятно, на маршрутизаторе), что иногда чертовски раздражает.

Как оказалось, блокировка на самом деле устанавливается Zone Alarm, программным брандмауэром, который часто предоставляется интернет-провайдерами.

person Bobby Jack    schedule 03.11.2008
comment
шутки в сторону! ух ты. есть ли у кого-нибудь еще информация об этой практике? насколько распространена эта практика. это просто прокси-сервер - person Simon_Weaver; 03.11.2008
comment
На самом деле, я оказал своему интернет-провайдеру небольшую медвежью услугу. Фактически, блокировка вводится сигнализацией зоны (референт блока сигнализации зоны Google), которая была предоставлена ​​как часть пакета интернет-провайдера. - person Bobby Jack; 05.11.2008

arrow_upward
2
arrow_downward

Opera имеет быстрый переключатель в меню F12, с помощью которого вы можете включить «Отправить информацию о реферере» или нет на сайты, которые вы просматриваете.

person random    schedule 03.03.2009
comment
интересно... так что это составляет 0,001% моих потерянных рефералов ;-) - person Simon_Weaver; 03.03.2009
comment
Я думаю, что это больше похоже на 0,01% и ползет. - person random; 04.03.2009
comment
Это моя настройка по умолчанию в любом из моих установленных браузеров… - person feeela; 16.01.2013

arrow_upward
2
arrow_downward

Раньше я регистрировал все это в своем приложении для ведения блога — почти все боты никогда не отправляют информацию о реферере.

Вы должны быть в состоянии сделать обоснованное предположение относительно того, связано ли это с фильтрацией или просто с тем, что люди вводят URL-адрес.

Если первое обращение не имеет реферера, но загрузка изображений/CSS и т. д. содержит информацию о реферере, то они просто ввели URL-адрес напрямую.
Если они когда-либо загружают только HTML без изображений или CSS, скорее всего, это бот (или использующий Возможно, Lynx).
Если они загружают HTML, изображения и CSS без реферера, значит, они отфильтровываются.

person Darren Greaves    schedule 12.11.2009

arrow_upward
-2
arrow_downward

Некоторое антивирусное программное обеспечение тормозит и также начало делать это из соображений «безопасности».

У нас была форма электронной почты, которая использовала отслеживание реферера, чтобы устранить суть случайного бот-спама, и некоторые люди жаловались, что это не работает.

Не совсем замечательно, но существует гораздо больше хороших применений заголовка referrer, чем просто «давайте будем злыми и посмотрим, откуда пришли люди», чтобы узаконить это.

(Известно, что некоторые антивирусные пакеты полностью перестают работать с электронной почтой, например, и клиенты будут звонить вам и говорить, что это ваша вина, пока вы не скажете им избавиться от своего мусора, я никогда раньше не слышал об этой компании' антивирус для 40-й раз, и они слушают, и их проблема волшебным образом решается)

Дополнение по безопасности

Отслеживание реферера очень полезно для отслеживания состояния сайта. (Без куки)

Отслеживание реферера очень полезно для подтверждения того, что пользователь пришел с самого сайта (без использования файлов cookie).

Хотя я вижу законную проблему конфиденциальности в утечке данных сторонних сайтов через реферер, и получатель видит это.

So: 

3rd-party => site  # referrer preferred blank
local     => local # referrer preferred kept

По крайней мере, здесь вы можете легко отличить «горячую ссылку» из внешнего источника от внутренней ссылки.

Кроме того, из-за этого междоменные переходы с веб-сайтов SSL по умолчанию блокируются некоторыми браузерами.

person Kent Fredric    schedule 03.11.2008
comment
антивирусное программное обеспечение отстает, ИМХО, есть более веские причины для отключения заголовка реферера, чем для его отправки. Концепция, стоящая за моими предположениями, называется конфиденциальностью. На самом деле вы никогда не должны полагаться на реферер при создании какого-либо программного обеспечения. - person feeela; 16.01.2013