Estoy usando un gasoducto de flujo de datos para transmitir datos de los dispositivos IOT (a través de la suscripción de Pubsub) a BigQuery. Estoy buscando una forma de dirigir dinámicamente los datos de un dispositivo determinado a un conjunto de datos BigQuery que puedo especificar sobre la marcha. Aquí hay una situación típica: un usuario decide "Quiero comenzar a transmitir datos del dispositivo IOT a en el Dataset de Bigquery 5," luego, luego decide "Ahora quiero iniciar la transmisión de datos del dispositivo IOT A en Bigquery DataSet 7"

Estoy buscando una forma de hacerlo sin actualizar la configuración del dispositivo o reiniciar el trabajo de flujo de datos. es posible? Si no, ¿cuál es la mejor manera de hacer esto?

0
user3179594 29 jun. 2019 a las 23:24

1 respuesta

La mejor respuesta

Debe ser posible utilizando DynamicDestinations. Esto le permite decidir por elemento donde debe almacenarse. Si no puede deducir directamente el conjunto de datos BigQuery en función del elemento que desea almacenar, puede unirse a ella con la configuración del dispositivo o crear algún mecanismo de búsqueda en su implementación DynamicDestinations.

Eche un vistazo a los documentos, donde también se proporciona un ejemplo. https: //team.apache.org/Releses/Javadoc/2.13.0/ORG/APACHE/BEAM/sdk/io/gcp/bigquery/dynamicdestinations.html

2
f.loris 3 jul. 2019 a las 09:55