Я запускаю конвейер потоковой передачи данных, который читает из PubSub и записывает в BigQuery. Когда я пытаюсь убедиться, что все сообщения были записаны в BigQuery, я понимаю, что некоторые сообщения отсутствуют.
Как я могу убедиться, что все сообщения, отправленные в PubSub, были отправлены правильно?
Если вы получаете ответы OK от своего издателя PubSub (cloud.google.com/pubsub/publisher), это должно означать, что они были отправлены правильно. Вы можете попробовать зарегистрировать все идентификаторы опубликованных сообщений у вашего издателя и все идентификаторы полученных сообщений в вашем конвейере (например, поместить их в столбец BigQuery).
