Пользовательские алгоритмы сортировки SQLAlchemy при использовании индексов SQL

Можно ли написать собственные функции сопоставления с индексами в SQLAlchemy? Например, SQLite позволяет указать функцию сортировки на уровне C как sqlite3_create_collation().

Реализация некоторых алгоритмов сопоставления Unicode была предоставлена ​​Джеймсом Таубером здесь, который, например, сортирует все буквы «а» близко друг к другу, независимо от того, есть на них ударения или нет.

Другими примерами того, почему это может быть полезно, являются различные порядки алфавита (языки, отличные от английского) и сортировка числовых значений (сортировка 10 после 9, а не порядок кодовой точки).

Возможно ли это в SQLAlchemy? Если нет, то поддерживается ли он модулями pysqlite3 или MySQLdb или любыми другими модулями базы данных SQL, поддерживаемыми python в этом отношении?

Любая информация будет глубоко цениться.


python sql sqlalchemy indexing collation
person cryo    schedule 18.04.2010    source источник

Ответы (2)


arrow_upward
1
arrow_downward

Ниже приведен пример, демонстрирующий алгоритм сопоставления юникода для sqlite:

from sqlalchemy import *
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy.orm import sessionmaker
from pyuca import Collator

metadata = MetaData()
Base = declarative_base(metadata=metadata)

class Item(Base):
    __tablename__ = 'Item'
    id = Column(Integer, primary_key=True)
    value = Column(String, nullable=False)

collator = Collator('allkeys.txt')

def collate_unicode(value1, value2):
    return cmp(collator.sort_key(value1), collator.sort_key(value2))

engine = create_engine('sqlite://')
engine.raw_connection().create_collation('unicode', collate_unicode)
metadata.create_all(engine)
session = sessionmaker(engine)()

for word in [u"ĉambr", u"ĉar", u"car'", u"carin'", u"ĉe", u"ĉef'",
             u"centjar'", u"centr'", u"cerb'", u"cert'", u"ĉes'", u"ceter'"]:
    item = Item(value=word)
    session.add(item)
    session.commit()

for item in session.query(Item).order_by(collate(Item.value, 'unicode')):
    print item.value
person Denis Otkidach    schedule 20.04.2010

arrow_upward
1
arrow_downward

Я немного изменил ответ Дениса Откидача, поэтому я добавлю свои изменения в качестве вики сообщества на случай, если кому-то еще будет интересно:

# -*- coding: utf-8 -*-
from sqlalchemy import *
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy.orm import sessionmaker
from sqlalchemy import types
from pyuca import Collator

class MyUnicode(types.TypeDecorator):
    impl = types.Unicode
    def get_col_spec(self):
        # Return a new Unicode type sorted with 
        # the `mycollation` function
        return 'Unicode COLLATE mycollation'

# Create the collator (sorting) function/instance
collator = Collator('allkeys.txt')
def mycollation(value1, value2):
    if False:
        # Use pyuca for sorting
        return cmp(collator.sort_key(value1), 
                   collator.sort_key(value2))
    else:
        # Normalize to lowercased combining characters for sorting
        import unicodedata
        return cmp(unicodedata.normalize('NFD', unicode(value1)).lower(),
                   unicodedata.normalize('NFD', unicode(value2)).lower())

# Create a new metadata/base/table
metadata = MetaData()
Base = declarative_base(metadata=metadata)
class Item(Base):
    __tablename__ = 'CollatedTable'
    id = Column(Integer, primary_key=True)
    # (Note the `unique=True` in the next line so that an index 
    #  is created, therefore stored in collated order for faster SELECTs)
    value = Column(MyUnicode(), nullable=False, unique=True)

# Create a new database connection
engine = create_engine('sqlite://')
engine.echo = True # Print the SQL
engine.raw_connection().create_collation('mycollation', mycollation)
metadata.create_all(engine)
session = sessionmaker(engine)()

# Add some test data
for word in [u"ĉambr", u"ĉar", u"car'", u"carin'", u"ĉe", u"ĉef'",
             u"centjar'", u"centr'", u"cerb'", u"cert'", u"ĉes'", u"ceter'",

             u"zimble", u'bumble', 
             u'apple', u'ápple', u'ãpple',
             u'đjango', u'django']:
    item = Item(value=word)
    session.add(item)
session.commit()

for item in session.query(Item).order_by(Item.value): # collate(Item.value, 'mycollation')
    print item.value
person Community    schedule 20.04.2010