Nutch- как удалить старые сегменты?

В nutch, когда я сканирую, а затем повторно сканирую, создаются дублированные сегменты. как удалить старые?

Я не могу точно знать, что используются только те сегменты, которые были созданы при последнем сканировании, а все остальные можно удалить, не так ли?


person AAaa    schedule 19.12.2011    source источник


Ответы (1)


I can't know for sure that only the segments that were created in the latest crawl are used and all the others can be deleted, can I?

Сегменты, созданные при последнем сканировании, полезны, остальные можно удалить.

person Tejas Patil    schedule 16.01.2012
comment
Почему нет настройки, позволяющей автоматически удалять старые сегменты? - person rodi; 12.05.2016