Как анализировать файлы .ttl с помощью RDFLib?

Turtle - это подмножество синтаксиса Notation 3, поэтому rdflib должен иметь возможность анализировать его с помощью format='n3'. Проверьте, сохраняет ли rdflib комментарии (id указаны в комментариях (#...) в вашем примере). Если нет, и формат ввода такой же простой, как показано в вашем примере, вы можете проанализировать его вручную:

import re
from collections import namedtuple
from itertools import takewhile

Entry = namedtuple('Entry', 'id name address phone')

def get_entries(path):
    with open(path) as file:
        # an entry starts with `#@` line and ends with a blank line
        for line in file:
            if line.startswith('#@'):
                buf = [line]
                buf.extend(takewhile(str.strip, file)) # read until blank line
                yield Entry(*re.findall(r'<([^>]+)>', ''.join(buf)))

print("\n".join(map(str, get_entries('example.ttl'))))

Вывод:

Entry(id='id1', name='Alice', address='USA', phone='12345')
Entry(id='id1', name='Jane', address='France', phone='78900')

Чтобы сохранить записи в БД:

import sqlite3

with sqlite3.connect('example.db') as conn:
    conn.execute('''CREATE TABLE IF NOT EXISTS entries
             (id text, name text, address text, phone text)''')
    conn.executemany('INSERT INTO entries VALUES (?,?,?,?)',
                     get_entries('example.ttl'))

Чтобы сгруппировать по идентификатору, если вам нужна постобработка в Python:

import sqlite3
from itertools import groupby
from operator import itemgetter

with sqlite3.connect('example.db') as c:
    rows = c.execute('SELECT * FROM entries ORDER BY id LIMIT ?', (10,))
    for id, group in groupby(rows, key=itemgetter(0)):
        print("%s:\n\t%s" % (id, "\n\t".join(map(str, group))))

Вывод:

id1:
    ('id1', 'Alice', 'USA', '12345')
    ('id1', 'Jane', 'France', '78900')

Похоже, turtle поддерживается как минимум в rdflib 5.0.0. я сделал

from rdflib import Graph
graph = Graph()
graph.parse('myfile.ttl', format='ttl')

Это просто отлично разбирается.

Вы можете сделать так, как предлагают Snakes and Coffee, только заключить эту функцию (или ее код) в цикл с операторами yield. Это создает генератор, который можно вызывать итеративно для создания словарных сообщений следующей строки на лету. Предположим, вы собираетесь записать их в csv, например, используя parse_to_dict Змейки:

import re
import csv

writer = csv.DictWriter(open(outfile, "wb"), fieldnames=["id", "name", "address", "phone"])
# or whatever

Вы можете создать генератор как функцию или со встроенным пониманием:

def dict_generator(lines): 
    for line in lines: 
        yield parse_to_dict(line)

--or--

dict_generator = (parse_to_dict(line) for line in lines)

Они в значительной степени эквивалентны. На этом этапе вы можете получить строку, проанализированную с помощью dict, вызвав dict_generator.next(), и вы волшебным образом получите по одной за раз - без дополнительной перегрузки ОЗУ.

Если у вас есть 16 гигабайт необработанных данных, вы также можете подумать о создании генератора, который будет вставлять строки. Они действительно полезны.

Дополнительная информация о генераторах от SO и некоторые документы: Что можно использовать с генератором Python функции для? http://wiki.python.org/moin/Generators

Кажется, в настоящее время нет такой библиотеки для анализа Turtle - Terse RDF Triple Language

Поскольку вы уже знаете грамматику, лучше всего использовать PyParsing, чтобы сначала создать грамматику, а затем проанализировать файл. .

Я также предлагаю адаптировать следующую реализацию EBNF для ваших нужд