Я передаю обычный JSON в bigquery из pubsub через поток данных, используя функцию «экспорт в bigquery» в pubsub.
Однако это сработало в течение секунды, что означает, что некоторые записи корректно передаются в bigquery. Но теперь я получаю ошибки в журналах потока данных
java.lang.RuntimeException: java.io.IOException: Ошибка вставки: [{"ошибки": [{"debugInfo": "", "местоположение": "_ комментарии", "сообщение": "такого поля нет.", " причина ":" недопустимый "}]," индекс ": 0}] org.apache.beam.sdk.io.gcp.bigquery.StreamingWriteFn.flushRows (StreamingWriteFn.java:131) org.apache.beam.sdk.io. gcp.bigquery.StreamingWriteFn.finishBundle (StreamingWriteFn.java:97) Вызвано: java.io.IOException: Ошибка вставки: [{"ошибки": [{"debugInfo": "", "location": "_ comments", " сообщение ":" нет такого поля. "," причина ":" недопустимый "}]," индекс ": 0}]
... МНОГО МНОГО ЛИНИЙ ...
org.apache.beam.sdk.io.gcp.bigquery.BigQueryServicesImpl $ DatasetServiceImpl.insertAll (BigQueryServicesImpl.java:811) org.apache.beam.sdk.io.gcp.bigquery.StreamingWriteFn.fl org.apache.beam.sdk.io.gcp.bigquery.StreamingWriteFn.finishBundle (StreamingWriteFn.java:97) org.apache.beam.sdk.io.gcp.bigquery.StreamingWriteFn $ DoFnInvoker.invoke (неизвестный источник) .beam.runners.core.SimpleDoFnRunner.finishBundle (SimpleDoFnRunner.java:187) com.google.cloud.dataflow.worker.SimpleParDoFn.finishBundle (SimpleParDoFn.java:407) com.google.cloud.dataflow.moner.util.com .worker.ParDoOperation.finish (ParDoOperation.java:60) com.google.cloud.dataflow.worker.util.common.worker.MapTaskExecutor.execute (MapTaskExecutor.java:76) com.google.cloud.dataflow.worker.StreamingDataflowWorker .process (StreamingDataflowWorker.java:1069) com.google.cloud.dataflow.worker.Streami ngDataflowWorker.access $ 1000 (StreamingDataflowWorker.java:133) com.google.cloud.dataflow.worker.StreamingDataflowWorker $ 8.run (StreamingDataflowWorker.java:841) java.util.concurrent.ThreadPoolExecutor (ThreadorPolava). util.concurrent.ThreadPoolExecutor $ Worker.run (ThreadPoolExecutor.java:617) java.lang.Thread.run (Thread.java:745)
