Относительный новичок в sql и pg здесь, так что это относительно открытый вопрос о резервном копировании ежедневных данных из потока. Конкретные команды/скрипты будут оценены, если это просто, в противном случае я буду рад получить более конкретные статьи/учебники о том, как реализовать то, что нужно сделать.
Ситуация
Я записываю различные потоки данных с некоторых внешних серверов в объеме нескольких ГБ/день каждый день. Я хочу иметь возможность хранить эти данные на больших жестких дисках, которые затем будут использоваться для извлечения информации для последующего анализа.
Оборудование
x1 SSD (128 ГБ) (ОС + приложение)
x2 HDD (4 ТБ каждый) (хранилище, 2-й диск для резервирования)
Что нужно сделать
Текущий план состоит в том, чтобы на SSD хранилась временная база данных, состоящая из ежедневно регистрируемых данных. Когда нагрузка на сервер низкая (рано утром), выгружайте всю временную базу данных на два отдельных экземпляра резервных копий на каждом из двух дисков хранения. Мотивация для хранения временной базы данных состоит в том, чтобы уменьшить нагрузку на жесткие диски. Кроме того, ежедневные данные достаточно малы, чтобы их можно было скопировать на накопители до того, как нагрузка на сервер возрастет.
Вопросы
- Это приемлемый метод?
- Лучше/безопаснее ли просто передавать данные непосредственно на один из дисков хранения, учитывая, что это основная база данных, и автоматизировать запланированное резервное копирование с этого диска на второй диск хранилища?
- Какие конкретные команды потребуются для этого, чтобы обеспечить целостность данных (т. е. пока выполняется резервное копирование, новые данные все равно будут регистрироваться)
Позже, когда позволит бюджет, аппаратное обеспечение будет обновлено, но на данный момент это то, что указано выше.
Спасибо!
