У меня есть куча веб-документов, и я хочу удалить из них html-теги. Я видел несколько сообщений на StackOverflow о том, как это сделать в java, от регулярных выражений до HtmlCleaner и Jsoup.
Я заинтересован в том, чтобы найти самый быстрый способ сделать это. У меня миллионы документов, поэтому производительность в моем случае имеет решающее значение. Я даже могу обменять немного качества на производительность.
Спасибо за любые ответы заранее.
Мое мнение - использовать как можно больше потоковой/SAX-обработки: 1) потому что она использует меньше памяти 2) она быстрая 3) может быть проще распараллелена (следствие низкого потребления памяти)
Эти факторы необходимы (с моей точки зрения) в ваших случаях использования, когда у вас есть миллион документов. см. здесь Wikipedia SAX
Итак, если ваш Html является строгим или XHTML. Используйте XSLT, и вот руководство по преобразованию XML (XHTML) с помощью SAX XSLT+SAX +Ява.
И, наконец, если у вас НЕТ корректного HTML-кода XML, посмотрите этот Java: замена строк в потоках, массивах, файлах и т. д., которые используют поток (и PushBackReader).
ХТН
1) если html является правильным xml, вы можете создать его объект документа и удалить узел.
2) если это неправильный xml, тогда прочитайте весь html как строку и используйте функцию замены, чтобы удалить солнечную строку «html».
Если HTML не является правильным xml, тогда регулярное выражение является самым быстрым способом замены в строке.
Похоже, регулярное выражение java - самое быстрое решение. Однако это ухудшает качество получаемого после этого текста.
