Можно ли реализовать список, набор или словарь Python незаметно с помощью базы данных?

Я не совсем понимаю, что вы подразумеваете под нативными возможностями для списков, наборов и словарей. Однако вы можете создавать классы, эмулирующие типы контейнеров и типы последовательностей путем определения некоторых методы со специальными именами. Это означает, что вы можете создать класс, который ведет себя как список, но хранит свои данные в базе данных SQL или в хранилище данных GAE. Проще говоря, это то, что делает ORM. Однако сопоставление объектов с базой данных очень сложно, и, вероятно, лучше не изобретать собственную ORM, а использовать уже существующую.

Боюсь, универсального решения нет. В частности, GAE — это не какая-то волшебная пыльца фей, которой можно посыпать свой код, чтобы он масштабировался. Существует несколько ограничений, которые необходимо учитывать при создании масштабируемого приложения. Некоторые из них являются общими, например сложность вычислений, другие относятся к среде, в которой работает ваш код. Например в GAE максимальное время отклика ограничено 30 секундами, и запрос к хранилищу данных работает иначе, чем в других базах данных.

Трудно дать какой-либо конкретный совет, не зная вашей конкретной проблемы, но я сомневаюсь, что GAE — правильное решение.

В общем, если вы хотите работать с большими наборами данных, вы либо должны помнить об этом с самого начала, либо вам придется перерабатывать свой код, алгоритмы и структуры данных по мере роста наборов данных.

Вы описываете мои сны! Однако я думаю, что вы не можете этого сделать. Я всегда хотел что-то вроде LINQ для Python, но язык не позволяет использовать синтаксис Python для собственных операций с базой данных AFAIK. Если бы это было возможно, вы могли бы просто написать код, используя списки, а затем использовать тот же код для извлечения данных из базы данных.

Я бы не рекомендовал вам писать много кода, основанного только на списках и наборах, потому что перенести его на масштабируемую платформу будет непросто. Я рекомендую вам использовать что-то вроде ORM. В GAE даже есть собственная ORM-подобная система, и вы можете использовать другие, такие как SQLAlchemy и SQLObject, например, SQLite.

К сожалению, вы не можете использовать замечательные вещи, такие как понимание списков, для фильтрации данных из базы данных. Конечно, вы можете фильтровать данные после того, как они были получены из БД, но вам все равно нужно будет построить запрос на каком-то SQL-подобном языке для запроса объектов или вернуть множество объектов из базы данных.

OTOH, есть Buzug, любопытная система нереляционных баз данных, написанная на Python, которая позволяет использовать естественный синтаксис Python. . Я никогда не использовал его, и я не знаю, является ли он масштабируемым, поэтому я бы не стал вкладывать в него свои деньги. Тем не менее, вы можете протестировать его и посмотреть, поможет ли он вам.

Вы можете использовать ORM: реляционное сопоставление объектов: класс получает таблицу, объекты получают строку. Мне нравится Django ORM. Вы также можете использовать его для не-веб-приложений. Я никогда не использовал это на GAE, но я думаю, что это возможно.