Pipelinebeschränkungen

Im Folgenden sind Einschränkungen von Lakeflow Spark Declarative Pipelines aufgeführt, die beim Entwickeln Ihrer Pipelines wichtig sind:

• Ein Azure Databricks-Arbeitsbereich ist auf 1000 gleichzeitige Pipelineupdates beschränkt. Die Anzahl der Datasets, die eine einzelne Pipeline enthalten kann, wird durch die Komplexität der Pipelinekonfiguration und workload bestimmt.

• Die Konfiguration einer Pipeline enthält Verweise auf Quelldateien und -ordner.

  • Wenn die Konfiguration nur auf einzelne Notizbücher oder Dateien verweist, beträgt der Grenzwert pro Pipeline 100 Quelldateien.

  • Wenn die Konfiguration Ordner enthält, können Sie bis zu 50 Quelleinträge aus Dateien oder Ordnern einschließen.

    Durch Verweisen auf einen Ordner wird indirekt auf die Dateien in diesem Ordner verwiesen. In diesem Fall beträgt der Grenzwert für die Anzahl der Dateien, auf die (direkt oder indirekt) verwiesen wird, 1000.

  Wenn Sie mehr als 100 Quelldateien benötigen, organisieren Sie sie in Ordnern. Informationen zum Verwenden von Ordnern zum Enthalten von Quelldateien finden Sie im Pipeline-Ressourcenbrowser im Lakeflow-Pipeline-Editor.

• Pipeline-Datasets können nur einmal definiert werden. Aus diesem Grund können sie über alle Pipelines hinweg nur das Ziel eines einzigen Vorgangs sein. Die Ausnahme sind Streamingtabellen mit Anfügeflussverarbeitung, mit der Sie aus mehreren Streamingquellen in die Streamingtabelle schreiben können. Siehe Standardflüsse und Anfügeflüsse.

• Identitätsspalten weisen die folgenden Einschränkungen auf. Weitere Informationen zu Identitätsspalten in Delta-Tabellen finden Sie unter "Identitätsspalten".

  • Identitätsspalten werden bei Tabellen, die das Ziel der AUTO CDC-Verarbeitung sind, nicht unterstützt.
  • Identitätsspalten werden möglicherweise während Aktualisierungen materialisierter Sichten neu berechnet. Aus diesem Grund empfiehlt Databricks die Verwendung von Identitätsspalten in Pipelines nur mit Streamingtabellen.

• Standardmäßig können materialisierte Ansichten und Streamingtabellen nur von Azure Databricks Clients und Anwendungen aufgerufen werden. Um sie für externe Systeme zugänglich zu machen, siehe Zugriff auf materialisierte Ansichten und Streamingtabellen über externe Systeme.

• Es gibt Einschränkungen für die Databricks-Computierung, die zum Ausführen und Abfragen von Unity Catalog-Pipelines erforderlich ist. Siehe die Anforderungen für Pipelines, die im Unity-Katalog veröffentlicht werden.

• Delta Lake-Zeitreiseabfragen werden nur mit Streamingtabellen unterstützt und werden nicht mit materialisierten Ansichten unterstützt. Siehe „Den Tabellenverlauf nutzen“.

• Sie können Iceberg-Lesevorgänge für materialisierte Ansichten und Streamingtabellen nicht aktivieren.

• Die pivot()-Funktion wird nicht unterstützt. Der pivot-Vorgang in Spark erfordert das vorzeitige Laden von Eingabedaten, um das Ausgabeschema zu berechnen. Diese Funktion wird in Pipelines nicht unterstützt.

Informationen zu Ressourcenkontingenten für Lakeflow Spark Declarative Pipelines finden Sie unter Ressourcengrenzwerte.