у меня есть некоторые сомнения в том, что когда я использовал вики, меня попросили отредактировать crawl-urlfilter.txt
+^http://([a-z0-9]*\.)*apache.org/
и меня просят создать папку URL-адресов и список URL-адресов...
мне нужно создать все ссылки в crawl-urlfilter.txt и в списке URL...
И да и нет.
Crawl-urlfiler.txt действует как фильтр, поэтому в вашем примере будут сканироваться только URL-адреса на apache.org.
Папка с URL-адресами содержит «исходные» URL-адреса, с которых можно запустить сканер. Поэтому, если вы хотите, чтобы сканер оставался на наборе сайтов, вам нужно убедиться, что они имеют положительное совпадение с фильтром... в противном случае он будет сканировать всю сеть. Это может означать, что вам нужно поместить список сайтов в фильтр.
