Сканер каталогов на Java

Непрерывно сканируйте набор каталогов для набора фильтров имен файлов. Для каждого полученного фильтра имени файла обработайте файл и повторите шаги для всех

Какой может быть рекомендуемый дизайн для этого в jdk 1.5, возможно, с использованием java.concurrent.Executor и Future


person fortm    schedule 13.10.2012    source источник
comment
Итак, похоже ли это на периодическое сканирование, которое код Java будет выполнять над каталогом?   -  person zengr    schedule 13.10.2012


Ответы (2)


Я выполнил аналогичную задачу с веб-сканером. Нужно было внести всего несколько изменений... Это параллельная реализация с недавно найденными каталогами, сканируемыми пулом потоков в Executor Framework. Он использует параллельные коллекции для очереди и списка для хранения проиндексированных файлов. Индексатор берет файлы из очереди и что-то с ними делает. вот реализация FileFilter



    public class ImageFileFilter implements FileFilter
    {
      private final String[] okFileExtensions = 
        new String[] {"jpg", "png", "gif"};

      public boolean accept(File file)
      {
        for (String extension : okFileExtensions)
        {
          if (file.getName().toLowerCase().endsWith(extension))
          {
            return true;
          }
        }
        return false;
      }
    }

вот класс с основным методом...




     public class FileFilterTest {
        public static void main(String[] args) {
            File dir = new File("D:\\dev\\css-templates\\cms-admin");
            BlockingQueue blockingQueue = new ArrayBlockingQueue(5);
            FileCrawler fileCrawler = new FileCrawler(blockingQueue,
                    new ImageFileFilter(), dir);
            new Thread(fileCrawler).start();

            FileIndexer indexer = new FileIndexer(blockingQueue);
            new Thread(indexer).start();
        }
    }

Вот ветка файлового сканера




     public class FileCrawler implements Runnable {
            private final BlockingQueue fileQueue;
            private ConcurrentSkipListSet indexedFiles = new ConcurrentSkipListSet();
            private final FileFilter fileFilter;
            private final File root;
            private final ExecutorService exec = Executors.newCachedThreadPool();

            public FileCrawler(BlockingQueue fileQueue,
                               final FileFilter fileFilter,
                               File root) {
                this.fileQueue = fileQueue;
                this.root = root;
                this.fileFilter = new FileFilter() {
                    public boolean accept(File f) {
                        return f.isDirectory() || fileFilter.accept(f);
                    }
                };
            }

            public void run() {

                    submitCrawlTask(root);

            }

            private void submitCrawlTask(File f) {
                CrawlTask crawlTask = new CrawlTask(f);
                exec.execute(crawlTask);
            }

            private class CrawlTask implements Runnable {
                private final File file;

                CrawlTask(File file ) {

                    this.file= file;
                }

             public void run() {        
                 if(Thread.currentThread().isInterrupted())
                return;

                    File[] entries = file.listFiles(fileFilter);

                    if (entries != null) {
                        for (File entry : entries)
                            if (entry.isDirectory())
                                submitCrawlTask(entry);
                            else if (entry !=null && !indexedFiles.contains(entry)){
                                indexedFiles.add(entry);
                                try {
                                    fileQueue.put(entry);
                                } catch (InterruptedException e) {
                                        Thread.currentThread().interrupt();
                                }
                            }
                    }
                }
        }
       }

Вот ветка индексатора файлов



        public class FileIndexer implements Runnable {
        private final BlockingQueue queue;

        public FileIndexer(BlockingQueue queue) {
            this.queue = queue;
        }

        public void run() { 
            try {
                while (true) {
                    indexFile(queue.take());
                }
            } catch (InterruptedException e) {
                System.out.println("Indexer Interrupted");
                Thread.currentThread().interrupt();
            }
        }

        public void indexFile(File file) {
            // do something with the file...
            System.out.println("Indexing File : " + file.getAbsolutePath() + " " + file.getName());
        };
    }

person clinton    schedule 14.10.2012

Я думаю, это то, что вы пытаетесь сделать:

  1. #P2# <блочная цитата> #P3#
  2. И вам нужно поместить «часы» в эти 3 каталога для определенного шаблона имени файла. Пример: если добавляется новый файл с именем: watchme_9192.log, тогда ваша логика Java должна включиться и обработать этот файл.

Итак, исходя из этого предположения, вы можете попробовать: jnotify

JNotify — это библиотека Java, которая позволяет приложению Java прослушивать события файловой системы, такие как:
Создан файл
Файл изменен
Файл переименован
Файл удален

Кроме того, связанные: рекомендации по опросу каталогов

person zengr    schedule 13.10.2012
comment
спасибо за ответы. Мне не разрешено добавлять новую библиотеку для этой реализации, иначе jnotify будет хорошим вариантом. я проверяю первую реализацию, которая соответствует моим потребностям. - person fortm; 11.11.2012