почему я не могу использовать urllib2.urlopen для сайта википедии?

Возможный дубликат:
Получите статью из Википедии с помощью Python < / а>

>>> print urllib2.urlopen('http://zh.wikipedia.org/wiki/%E6%AF%9B%E6%B3%BD%E4%B8%9C').read()
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/urllib2.py", line 126, in urlopen
    return _opener.open(url, data, timeout)
  File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/urllib2.py", line 400, in open
    response = meth(req, response)
  File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/urllib2.py", line 513, in http_response
    'http', request, response, code, msg, hdrs)
  File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/urllib2.py", line 438, in error
    return self._call_chain(*args)
  File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/urllib2.py", line 372, in _call_chain
    result = func(*args)
  File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/urllib2.py", line 521, in http_error_default
    raise HTTPError(req.get_full_url(), code, msg, hdrs, fp)
urllib2.HTTPError: HTTP Error 403: Forbidden

python networking network-programming wikipedia
person Hanfei Sun    schedule 05.08.2012    source источник
comment
проверьте их (robots.txt) страницу [zh.wikipedia.org/robots.txt] чтобы узнать, забанен ли используемый вами бот   -  person elssar    schedule 05.08.2012

Ответы (2)


arrow_upward
6
arrow_downward

Вам необходимо предоставить пользовательский агент иначе вы получите 403, как и вы.

В вики-сайтах Викимедиа, если вы не предоставите заголовок User-Agent или предоставите пустой или общий заголовок, ваш запрос завершится ошибкой HTTP 403. См. нашу политику User-Agent. Другие установки MediaWiki могут иметь аналогичные политики.

Так что просто добавьте в свой код пользовательский агент, и он должен работать нормально.

person elssar    schedule 05.08.2012

arrow_upward
1
arrow_downward

Попробуйте загрузить страницу с wget из cURL.
Если вы не можете, то у вас могут быть проблемы с сетью.
Если вы можете, то Википедия может заблокировать определенные пользовательские агенты. В этом случае используйте add_header urllib2 для определения настраиваемого пользовательского агента. (для имитации запроса браузера).

person EyalAr    schedule 05.08.2012
comment
не нужно имитировать запрос браузера, можно просто использовать настраиваемый пользовательский агент. Я получил результаты при использовании пользовательского агента elssar-at-elssar-laptop. - person elssar; 05.08.2012