Эффект глубины

Мне всегда было интересно, как влияет глубина и высота на ползание орехов? Например, предположим, что глубина 100 и topn 10000 обеспечивают полное сканирование. Повлияет ли изменение глубины на 1000 на время, затрачиваемое на сканирование? Итак, чтобы просканировать незнакомый веб-сайт, можно ли задавать сколь угодно большую глубину и топ?

Спасибо за помощь,

Анант.


nutch
person ananthv    schedule 03.07.2012    source источник

Ответы (1)


arrow_upward
1
arrow_downward

depth — это количество прыжков от корня, а topn — это максимальное количество ссылок, которые можно получить на каждом уровне. Таким образом, AFAIK, увеличивая глубину, определенно увеличивает время, необходимое для ползания. Изменение глубины со 100 до 1000 должно значительно увеличить время сканирования.

person CRS    schedule 03.07.2012
comment
CRS спасибо за ответ. Но мне все еще не ясно одно. Если веб-сайт имеет максимальную глубину 100, то есть я предполагаю, что рекурсивно переходя по ссылке, вы не получите более 100 ссылок, повлияет ли мое указание на это какое-либо другое значение. Если да, то как? - person ananthv; 03.07.2012
comment
В этом случае я думаю, что это не должно иметь никакого эффекта. 100 и 1000 не должны иметь никакого значения. - person CRS; 03.07.2012