Cassandra сохраняет временные ряды для отраслевых датчиков данных

Не совсем понятно, о чем ваш запрос. Вы упоминаете: «Я хочу получать данные по крайней мере каждую секунду для аналоговых значений (например, число оборотов двигателя, температура, влажность ....)».

Означает ли это, что вы каждую секунду запрашиваете все датчики 10 000? Или для конкретного датчика, или для группы датчиков? В cassandra очень важно знать, какой у вас запрос, прежде чем смотреть на модели данных. Если вы ищете 1-секундную детализацию, одним из вариантов может быть передача входящих потоков данных в Spark Streaming и сохранение кода Spark Streaming в таблице Cassandra, которая соответствует тому, что вы хотите запросить.

Что касается вариантов, которые вы упомянули, трудно сказать, не зная точного характера ваших запросов. Вариантом может быть подключение одного ключа ко второму — это будет означать 10 КБ или около того записей на раздел, предполагая скорость передачи данных или 1/с на датчик. Было бы странно иметь таблицу для каждого датчика, но у вас может быть раздел для каждого датчика с отметками времени для каждой записи. Это действительно зависит от вашего запроса.

Возможно, если вы предоставите нам пример того, как вы собираетесь извлекать данные, мы сможем помочь лучше?

Я подозреваю, что в конце концов вы захотите запрашивать данные как по датчикам, так и по времени. Нет никаких причин, по которым у вас не было бы двух таблиц и записи каждой точки данных в обе. (Twitter записывает каждый твит в отдельную таблицу для каждого человека, который следит за твитом!)

Некоторые вероятные таблицы, которые вы могли бы написать:

CREATE TABLE factory_status (
  date timestamp,
  hour int,
  minute int,
  second int,
  sensor_status_map map<uuid, float>
  PRIMARY KEY ((date, hour, minute, second))
)

Эта таблица, по сути, будет регистрировать состояние всех датчиков на заводе каждую секунду. Каждый раздел будет содержать снимок фабрики. Это было бы не очень полезно для запросов, поскольку вы не могли бы эффективно получить диапазон времени (каждая секунда была бы отдельным запросом), но это могло бы быть очень полезным при выполнении аналитики на фабрике и разработке модели сбоев.

CREATE TABLE sensor_status (
  sensor_id uuid,
  date timestamp,
  time timestamp,
  sensor_val float,
  PRIMARY KEY ((sensor_id, date), time)
)

Эта таблица, по сути, будет регистрировать выходные данные каждого датчика. Каждая дата будет усеченной версией времени. В противном случае запись сенсора один раз в секунду быстро превысит предел столбца cassandra. Это упростило бы запрос состояния датчика в определенное время или за определенный период времени.

Если у вас возникли проблемы с проектированием «с крыши вниз», не стесняйтесь использовать итеративный подход и добавлять новые таблицы по мере того, как вы найдете новый запрос, который вам нужно выполнить, который не соответствует шаблону старых запросов.