Сканирование всего содержимого веб-сайта

Я указываю источник контента как внутренний веб-сайт, не относящийся к SharePoint.

например http://internal.example.com

Однако полное сканирование сканирует только 22 страницы в корне веб-сайта (их 100), если только я не укажу «Пользовательский - укажите глубину страницы и количество переходов на сервер:» и оставлю «Глубина страницы» и «Ограничение переходов на сервер» как Неограниченный

Что затем заставляет ползать мысленно!

Обновление: я использую MS Search Server Express 2008


search-engine
person Rob    schedule 30.04.2009    source источник
comment
Вы действительно должны быть более конкретными... что вы используете для сканирования сайта и т. д.   -  person Andrew Sledge    schedule 30.04.2009

Ответы (2)


arrow_upward
2
arrow_downward

Wget довольно умен. Вот командная строка, которую я использую для рекурсивного создания моментальных снимков сайтов.

wget -r -k -K --no-parent http://internal.example.com/

http://gnuwin32.sourceforge.net/packages/wget.htm

person Joe Koberg    schedule 30.04.2009

arrow_upward
0
arrow_downward

Возможно, вы захотите указать, какой именно инструмент/технологию вы используете для сканирования. Кроме того, пробовали ли вы что-то кроме безлимитного и каковы результаты?

person jwl    schedule 30.04.2009