Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Implementieren Sie Datenlade- und Transformationen in Lakeflow Spark Declarative Pipelines mit Abfragen, die Streamingtabellen und materialisierte Ansichten definieren. Lakeflow Spark Declarative Pipelines unterstützt sowohl SQL- als auch Python-Schnittstellen. Da sie für die meisten Anwendungsfälle der Datenverarbeitung gleichwertige Funktionen bieten, können Sie auswählen, mit welcher Schnittstelle Sie am besten vertraut sind. Hilfestellung bei der Entscheidung finden Sie unter SQL oder Python auswählen.
Python-Entwicklung
Erstellen Sie Pipelines mit Python Code.
| Thema | Description |
|---|---|
| Pipeline-Code mit Python entwickeln | Eine Übersicht über die Entwicklung von Pipelines in Python. |
| Lakeflow Spark Declarative Pipelines Python Sprachreferenz | Python Referenzdokumentation für das Modul pipelines. |
| Manage Python Abhängigkeiten für Pipelines | Anweisungen zum Verwalten von Python Bibliotheken in Pipelines. |
| Importieren Python Module aus Git-Ordnern oder Arbeitsbereichsdateien | Anweisungen zur Verwendung von Python Modulen, die Sie in Azure Databricks gespeichert haben. |
SQL-Entwicklung
Erstellen Sie Pipelines mit SQL-Code.
| Thema | Description |
|---|---|
| Entwickeln von Lakeflow Spark Declarative Pipelines-Code mit SQL | Eine Übersicht über die Entwicklung von Pipelines in SQL. |
| SQL-Sprachreferenz für Pipeline | Referenzdokumentation für SQL-Syntax für Lakeflow Spark Declarative Pipelines. |
| Eigenständige Pipelines | Verwenden Sie Databricks SQL, um mit Pipelines zu arbeiten. |
Weitere Entwicklungsthemen
In den folgenden Themen werden weitere Möglichkeiten zum Entwickeln von Pipelines beschrieben.
| Thema | Description |
|---|---|
| Konvertieren einer Pipeline in ein Bündelprojekt | Konvertieren Sie eine vorhandene Pipeline in ein Bundle, mit dem Sie Ihre Datenverarbeitungskonfiguration in einer quellgesteuerten YAML-Datei verwalten können, um die Wartung und automatisierte Bereitstellungen in Zielumgebungen zu vereinfachen. |
| Metaprogrammierung mit Lakeflow Spark Declarative Pipelines |
Erstellen Sie Pipelines mit dlt-meta. Verwenden Sie die bibliothek Open Source dlt-meta, um die Erstellung von Pipelines mit einem metadatengesteuerten Framework zu automatisieren.Lernprogramm: Erstellen mehrerer Flüsse mit unterschiedlichen Parametern. Erstellen Sie mehrere Flüsse in einer Schleife in Python. |
| Entwickeln von Pipelinecode in Ihrer lokalen Entwicklungsumgebung | Eine Übersicht über optionen für die lokale Entwicklung von Pipelines. |