У меня есть огромный XML (> 400 МБ), содержащий продукты. Поэтому использование синтаксического анализатора DOM исключено, поэтому я попытался проанализировать и обработать его с помощью синтаксического анализатора извлечения. Ниже приведен фрагмент метода each_product(&block)
, в котором я перебираю список продуктов.
По сути, используя стек, я преобразовываю каждый узел <product> ... </product>
в хэш и обрабатываю его.
while (reader.read)
case reader.node_type
#start element
when Nokogiri::XML::Node::ELEMENT_NODE
elem_name = reader.name.to_s
stack.push([elem_name, {}])
#text element
when Nokogiri::XML::Node::TEXT_NODE, Nokogiri::XML::Node::CDATA_SECTION_NODE
stack.last[1] = reader.value
#end element
when Nokogiri::XML::Node::ELEMENT_DECL
return if stack.empty?
elem = stack.pop
parent = stack.last
if parent.nil?
yield(elem[1])
elem = nil
next
end
key = elem[0]
parent_childs = parent[1]
# ...
parent_childs[key] = elem[1]
end
Проблема заключается в самозакрывающихся тегах (например, <country/>
), так как я не могу отличить «обычный» тег от «самозакрывающегося». Они оба имеют тип Nokogiri::XML::Node::ELEMENT_NODE
, и я не могу найти никакого другого дискриминатора в документация.
Любые идеи о том, как решить эту проблему?