foreach_batch_sink

Der @dp.foreach_batch_sink() Dekorateur definiert eine ForEachBatch-Spüle, die einen Datenstrom als Eine Reihe von Mikrobatches verarbeitet, die Sie in Python mit benutzerdefinierter Logik verarbeiten. Sie verweisen auf die Spüle als targetAnfügefluss , um die transformierten Daten zu schreiben. Konzeptionelle Anleitungen, Überlegungen und Beispiele finden Sie unter Verwenden von ForEachBatch zum Schreiben in beliebige Datensenken in Pipelines.

Syntax

from pyspark import pipelines as dp

@dp.foreach_batch_sink(name="<name>")
def batch_handler(df, batch_id):
    """
    Required:
      - `df`: a Spark DataFrame representing the rows of this micro-batch.
      - `batch_id`: unique integer ID for each micro-batch in the query.
    """
    # Your custom write or transformation logic here
    # Example:
    # df.write.format("some-target-system").save("...")
    #
    # To access the sparkSession inside the batch handler, use df.sparkSession.

Parameter