Я использую BeautifulSoup (анализатор 'lxml') с urllib.request.urlopen() для получения текстовой информации с веб-сайта. Однако, когда я проверяю сетевой раздел в своем мониторе активности, я вижу, что python загружает много данных. Это говорит о том, что скачивается не только текст, но и изображения.
Можно ли избежать загрузки изображений при просмотре веб-страниц с помощью BeautifulSoup?
Это маловероятно, так как изображений нет на странице, на которой они находятся <img src="/here/goes/this/img"... Браузер или urllib должен совершить несколько поездок туда, где находятся статические файлы, такие как JS, img, CSS. Одним из возможных решений для уменьшения размера является запрос заархивированного содержимого.
Добавьте заголовок "Accept-Encoding":"gzip" к объекту Request. Если сервер поддерживает это, уменьшение размера будет хорошим. Затем вы gzip.decompress() получите строковые данные.
<img>с атрибутомsrc— парсеры HTML будут содержать ссылку на изображение, представленное в виде текста, но на самом деле не будут принудительно загружать изображение, потому что вы никогда не говорили ему переходить по ссылке. - person Akshat Mahajan schedule 03.04.2016<img>атрибутов, связанных с реальными изображениями. спасибо за помощь, Акшат! - person Frits schedule 03.04.2016