Дизайн базы данных Google Analytics

Меня интересовал дизайн базы данных Google Analytics, как они обрабатывают огромные значения в почасовой основе, даже в минутах.

Скажем, у них 100 миллионов пользователей и почти у каждого пользователя 300 счетчиков в минуту. Для одного пользователя 300 счетчиков имеют 18000 строк за один час. За один день это 432К строк и почти 3 миллиона строк.

Я думал, что они не используют реляционную базу данных, но не уверен в этом...

Есть ли какие-либо предложения по этому поводу?

С уважением,


database google-analytics
person Melih    schedule 15.09.2009    source источник
comment
Я почти уверен, что Google использует специально разработанную базу данных под названием BigTable (en.wikipedia.org/wiki/BigTable< /а>)   -  person Kane    schedule 15.09.2009
comment
google говорит: # BigTable — это механизм распределенного хэширования, построенный поверх GFS (файловой системы Google). Это не реляционная база данных. Он не поддерживает соединения или запросы типа SQL. # Предоставляет механизм поиска для доступа к структурированным данным по ключу. GFS хранит непрозрачные данные, и многие приложения нуждаются в данных со структурой. Из этого комментария КЛЮЧЕВОЕ слово важно. Механизм поиска обрабатывается только для одного ключа. Кажется, у него внутри очень большая HashTable...   -  person Melih    schedule 15.09.2009

Ответы (2)


arrow_upward
12
arrow_downward

Большая таблица

И вы правы, они не используют реляционную базу данных.

person Whatever    schedule 15.09.2009

arrow_upward
1
arrow_downward

High Scalability содержит сводку архитектуры Google здесь. Он не обсуждает Analytics напрямую, но показывает, как BigTable вписывается во всю инфраструктуру. Я не уверен, что детали схемы Google доступны — как говорится в статье «Инфраструктура может быть конкурентным преимуществом», — но я предполагаю, что она гораздо более тесно связана с аппаратной реализацией, чем обычная модель данных.

person APC    schedule 15.09.2009