Databricks Runtime 16.0 (EoS)

Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 16.0, unterstützt von Apache Spark 3.5.0.

Databricks hat diese Version im November 2024 veröffentlicht.

Änderungen des Verhaltens

• Aktuelle Änderung: JDK 17 ist jetzt die Standardeinstellung
• Grundlegende Änderung: Gehostetes RStudio erreicht End-of-Life-Status
• Breaking Change: Entfernung der Unterstützung für das Ändern der Typen byte, short, int und long in breitere Typen
• Korrekte Analyse von Regex-Mustern mit Negation in geschachtelten Zeichengruppen
• Verbessern der Erkennung doppelter Übereinstimmungen im Delta Lake MERGE
• Die Clusterbibliothek-Installationsmethode kann nicht mehr außer Kraft gesetzt werden.
• Standard-Timeout von zwei Stunden für cluster-spezifische Bibliotheksinstallationen
• Installieren von Bibliotheken aus DBFS und Festlegen der Spark conf spark.databricks.driver.dbfsLibraryInstallationAllowed sind deaktiviert
• Die addArtifact() Funktionalität ist jetzt in allen Computetypen konsistent.
• Backticks-Regel für Hauptbezeichner mit Sonderzeichen regelmäßig durchgesetzt

Aktuelle Änderung: JDK 17 ist jetzt die Standardeinstellung

In Databricks Runtime 16.0 und höher wird die standardmäßige JDK-Version von JDK 8 auf JDK 17 umgestellt. Diese Änderung erfolgt aufgrund der geplanten Deaktivierung und des End-of-Support für JDK 8. Dies wirkt sich auf Folgendes aus:

• Java Code, der auf Azure Databricks Compute ausgeführt wird, muss mit Java 17 kompatibel sein.
• Scala-Code, der in Notizbüchern oder Azure Databricks-Computing ausgeführt wird, muss mit Java 17 kompatibel sein.
• Java- und Scala-Bibliotheken, die auf compute installiert sind, müssen mit Java 17 kompatibel sein.
• Versionen des Apache Hive-Metastore-Clients unter 2.x. Das Festlegen der Spark-Konfiguration spark.sql.hive.metastore.version auf eine Version unter 2.x führt zu Kompatibilitätsproblemen mit Java 17 und Verbindungsfehlern mit dem Hive-Metaspeicher. Databricks empfiehlt ein Upgrade von Hive auf eine Version über 2.0.0.

Wenn Sie auf Java 8 zurücksetzen müssen, fügen Sie folgendes zu den Spark-Umgebungsvariablen hinzu, wenn Sie Ihre Azure Databricks Compute konfigurieren:

JNAME=zulu8-ca-amd64

Wenn Sie ARM-Instanzen verwenden, verwenden Sie Folgendes:

JNAME=zulu8-ca-arm64

Weitere Informationen zum Angeben von JDK-Versionen mit Azure Databricks Compute finden Sie unter Create a cluster with a specific JDK version.

Hilfe zum Migrieren ihres Codes von Java 8 finden Sie in den folgenden Leitfäden:

• Transition von Java 8 bis Java 11
• Migrieren von JDK 8 zu späteren JDK-Versionen

Breaking Change: Gehostetes RStudio erreicht das Ende seines Lebenszyklus

Mit dieser Version ist der Databricks-gehostete RStudio Server End-of-Life und nicht mehr in einem Azure Databricks-Arbeitsbereich verfügbar, der Databricks Runtime 16.0 oder höher ausführt. Weitere Informationen und eine Liste der Alternativen zu RStudio finden Sie unter Connect to a Databricks-hosted RStudio Server.

Breaking Change: Entfernung der Unterstützung für das Ändern der Typen byte, short, int und long in breitere Typen

In Databricks Runtime 15.4.3 und höher können die folgenden Datentypänderungen nicht mehr auf Tabellen angewendet werden, für die das Feature "Typverbreiterung" aktiviert ist:

• byte, shortund intlong bis decimal.
• byte, shortund int bis double.

Diese Änderung wird vorgenommen, um ein einheitliches Verhalten in Delta- und Apache Iceberg-Tabellen sicherzustellen. Weitere Informationen zur Typweiterung finden Sie unter "Typweiterung".

Richtige Analyse von Regex-Mustern mit Negation in geschachtelter Zeichengruppierung

Diese Version enthält eine Änderung zur Unterstützung der korrekten Analyse von Regex-Mustern mit Negation in geschachtelter Zeichengruppierung. Beispielsweise wird [^[abc]] als "jedes Zeichen, das NICHT eines von 'abc' ist" geparst.

Darüber hinaus war das Photon-Verhalten mit Spark für geschachtelte Zeichenklassen inkonsistent. Regex-Muster, die geschachtelte Zeichenklassen enthalten, verwenden Photon nicht mehr und verwenden stattdessen Spark. Eine geschachtelte Zeichenklasse ist jedes Muster, das eckige Klammern in eckigen Klammern enthält, z. B. [[a-c][1-3]].

Verbessern der Erkennung doppelter Übereinstimmungen im Delta Lake MERGE

Im Databricks Runtime 15.4 LTS und niedrigeren Versionen MERGE schlagen Vorgänge fehl, wenn mehrere Zeilen in der Quelltabelle auf der Grundlage der MERGE-Bedingung, die in der ON-Klausel angegeben ist, mit derselben Zeile in der Zieltabelle übereinstimmen. In Databricks Runtime 16.0 und höher werden auch die in der MERGE-Klausel angegebenen Bedingungen von WHEN MATCHED berücksichtigt. Weitere Informationen finden Sie unter Ausführen eines Upsert-Vorgangs in einer Delta Lake-Tabelle mithilfe von „Merge“.

Die Clusterbibliothek-Installationsmethode kann nicht mehr außer Kraft gesetzt werden.

Die Spark-Konfigurationen spark.databricks.libraries.enableSparkPyPI, spark.databricks.libraries.enableMavenResolution und spark.databricks.libraries.enableCRANResolutionnow verwenden jetzt als Standard true und können nicht überschrieben werden.

Standardtimeout von zwei Stunden für Installationen mit Clusterbereichsbibliothek

In Databricks Runtime 16.0 und höher verfügt die Cluster-spezifische Bibliotheksinstallation über ein Standard-Timeout von zwei Stunden. Bibliotheksinstallationen, die länger als dieses Timeout dauern, schlagen fehl, und die Installation wird beendet. Beim Konfigurieren eines Clusters können Sie den Timeoutzeitraum mithilfe der Spark-Konfiguration spark.databricks.driver.clusterLibraryInstallationTimeoutSecändern.

Installieren von Bibliotheken aus DBFS und Festlegen der Spark conf spark.databricks.driver.dbfsLibraryInstallationAllowed sind deaktiviert

In Databricks Runtime 16.0 und höher ist die Installation von Bibliotheken aus DBFS vollständig deaktiviert. Diese Änderung wird vorgenommen, um die Sicherheit von Bibliotheken in einem Databricks-Arbeitsbereich zu verbessern. Darüber hinaus können Sie in Databricks Runtime 16.0 und höher die Spark-Konfiguration spark.databricks.driver.dbfsLibraryInstallationAllowednicht mehr verwenden.

Die addArtifact() Funktionalität ist jetzt in allen Computetypen konsistent.

Mit dieser Version wird das Archiv automatisch entpackt, wenn Sie addArtifact(archive = True) verwenden, um eine Abhängigkeit zu einem freigegebenen oder serverlosen Azure Databricks-Rechner hinzuzufügen. Diese Änderung macht das Verhalten von addArtifact(archive = True) auf diesen Rechenressourcen konsistent mit dedizierten Rechenressourcen (ehemals Einzelbenutzer-Compute), die bereits das automatische Entpacken von Archiven unterstützen.

Backticks-Regel für Hauptbezeichner mit Sonderzeichen regelmäßig durchgesetzt

Mit dieser Version werden Hauptbezeichner mit Sonderzeichen in GRANT, DENY und REVOKE Anweisungen jetzt einen Fehler auslösen, wenn sie nicht in Backticks eingeschlossen sind.

Neue Features und Verbesserungen

• Mehr zuverlässiges Neuladen geänderter Python Module mit Verbesserungen an autoreload
• Avro-Unterstützung für rekursives Schema
• to_avro und from_avro-Funktionen
• Erweiterte Unterstützung für „Confluent Schema Registry“ für Avro
• Erzwingen von erneutem Clustering in Tabellen mit Liquid Clustering
• Die Delta-APIs für Python und Scala unterstützen jetzt Identitätsspalten
• Feingranulierte Zugriffssteuerung auf dedizierter Recheneinheit (vormals Einzelbenutzerrecheneinheit) ist jetzt allgemein verfügbar
• Erstellen von Tabellen mit Liquid Clustering während des Streaming-Schreibvorgangs
• Unterstützung der Klausel OPTIMIZE FULL
• Unterstützung der Spezifikation von WITH-Optionen in INSERT und Tabellenverweisen
• Neue SQL-Funktionen
• Aktivieren der automatischen Schemaentwicklung beim Zusammenführen von Daten in eine Delta-Tabelle

Zuverlässigeres Neuladen geänderter Python-Module mit Verbesserungen an autoreload

In Databricks Runtime 16.0 und höher verbessern Aktualisierungen der Erweiterung autoreload die Sicherheit und Zuverlässigkeit des Neuladens geänderter Python Module, die aus Arbeitsbereichsdateien importiert wurden. Wenn möglich, lädt autoreload nur den Teil eines Moduls neu, der sich geändert hat, anstatt das gesamte Modul zu laden. Darüber hinaus schlägt Azure Databricks jetzt automatisch vor, die Erweiterung autoreload zu verwenden, wenn sich das Modul seit dem letzten Import geändert hat. Weitere Informationen finden Sie unter Autoreload für Python Module.

Avro-Unterstützung für rekursives Schema

Sie können jetzt die recursiveFieldMaxDepth Option mit der from_avro Funktion und der avro Datenquelle verwenden. Diese Option legt die maximale Tiefe für die Schema rekursion in der Avro-Datenquelle fest. Siehe Lesen und Schreiben von Avro-Streamingdaten.

to_avro und from_avro-Funktionen

Die Funktionen to_avro und from_avro ermöglichen die Konvertierung von SQL-Typen in Avro-Binärdaten und umgekehrt.

Erweiterte Unterstützung für Confluent Schema Registry für Avro

Azure Databricks unterstützt jetzt Avro-Schemareferenz mit dem Confluent Schema Registry. Siehe Authentifizierung bei einem externen Confluent-Schemaregister.

Erzwingen von erneutem Clustering in Tabellen mit Liquid Clustering

In Databricks Runtime 16.0 und höher können Sie die OPTIMIZE FULL Syntax verwenden, um die Neuclusterung aller Datensätze in einer Tabelle mit aktivierter Flüssigclusterung zu erzwingen. Siehe Neuclustering erzwingen.

Die Delta-APIs für Python und Scala unterstützen jetzt Identitätsspalten.

Sie können jetzt die Delta-APIs für Python und Scala verwenden, um Tabellen mit Identitätsspalten zu erstellen. Siehe Identitätsspalten.

Präzise Zugriffssteuerung für dediziertes Computing (ehemals Einzelbenutzercomputing) ist allgemein verfügbar.

In Databricks Runtime 16.0 und höher ist eine differenzierte Zugriffssteuerung auf dedizierten Computern allgemein verfügbar. In Arbeitsbereichen, die für die serverloses Computing aktiviert sind: Wenn eine Abfrage auf unterstützten Computeressourcen ausgeführt wird, z. B. dedizierte Computeressource, und die Abfrage auf eines der folgenden Objekte zugreift, übergibt die Computeressource die Abfrage an das serverlose Computing, um die Datenfilterung auszuführen:

• Ansichten, die über Tabellen definiert sind, für die der Benutzer nicht über die SELECT Berechtigungen verfügt.
• Dynamische Ansichten.
• Tabellen, auf die Zeilenfilter oder Spaltenmasken angewendet wurden.
• Materialisierte Ansichten und Streamingtabellen

Erstellen von Tabellen mit Liquid Clustering während des Streaming-Schreibvorgangs

Sie können jetzt clusterBy verwenden, um das Liquid Clustering zu aktivieren, wenn Sie neue Tabellen mit strukturierten Streaming-Schreibvorgängen erstellen. Weitere Informationen finden Sie unter Aktivieren des Liquid Clustering.

Unterstützung der Klausel OPTIMIZE FULL

Databricks Runtime 16.0 unterstützt die OPTIMIZE FULL-Klausel. Diese Klausel optimiert alle Datensätze in einer Tabelle, die flüssigen Clustering verwendet, einschließlich Daten, die zuvor gruppiert wurden.

Unterstützung der Spezifikation von WITH-Optionen in INSERT und Tabellenverweisen

Databricks Runtime 16.0 unterstützt eine Optionsspezifikation für Tabellenverweise und Tabellennamen einer INSERT Anweisung, die zum Steuern des Verhaltens von Datenquellen verwendet werden kann.

Neue SQL-Funktionen

Die folgenden SQL-Funktionen werden in Databricks Runtime 16.0 hinzugefügt:

• try_url_decode

  Diese Funktion ist eine fehlertolerante Version von url_decode. Diese Funktion gibt zurück NULL , wenn die Eingabe keine gültige URL-codierte Zeichenfolge ist.

• zeroifnull

  Wenn der Eingabeausdruck für die zeroifnull() Funktion lautet NULL, gibt die Funktion 0 zurück. Andernfalls wird der Wert des Eingabeausdrucks zurückgegeben.

• nullifzero

  Gibt NULL zurück, wenn die Eingabe „0“ ist oder die Eingabe, wenn diese nicht „0“ ist. Wenn der Eingabeausdruck für die nullifzero() Funktion 0 ist, gibt die Funktion zurück NULL. Wenn der Eingabeausdruck nicht 0 ist, wird der Wert des Eingabeausdrucks zurückgegeben.

Aktivieren der automatischen Schemaentwicklung beim Zusammenführen von Daten in eine Delta-Tabelle

Diese Version fügt Unterstützung für das withSchemaEvolution() Mitglied der DeltaMergeBuilder Klasse hinzu. Verwenden Sie withSchemaEvolution(), um die automatische Schemaevolution während der MERGE-Operationen zu aktivieren. Beispiel: mergeBuilder.whenMatched(...).withSchemaEvolution().execute()}}.

Weitere Änderungen

SparkR ist jetzt veraltet

Ab Databricks Runtime 16.0 und höher ist SparkR in Databricks veraltet, um die kommende Abschaffung in der Spark 4-Version vorzubereiten. Siehe den Apache Spark Veraltetes SparkR-Thread.

Databricks empfiehlt stattdessen die Verwendung von Sparklyr .

Databricks Runtime 16.0 wird mit PVC nicht unterstützt

Databricks Runtime 16.0 wird von Databricks Private Virtual Cloud (PVC) nicht unterstützt. Sie müssen Databricks Runtime 15.4 oder darunter mit allen PVC-Versionen verwenden.

Fehlerkorrekturen

Auto Loader rettet jetzt Avro-Datensatztypen mit leeren Schemas.

Beim Laden einer Avro-Datei in eine Delta-Tabelle mit Auto Loader werden die Typen in der Datei, die über ein leeres Schema verfügen, jetzt zur Spalte "gerettete Daten" hinzugefügt. Da Sie keine leeren komplexen Datentypen in eine Delta-Tabelle aufnehmen können, wird ein Problem beim Laden einiger Avro-Dateien behoben. Weitere Informationen zu geretteten Daten finden Sie unter Was ist die Spalte für gerettete Daten?.

Fehler beim Schreiben von Zeitstempeln mit Zeitzonen, die ein zweites Offset enthalten.

Diese Version behebt einen Fehler, der sich auf einige Zeitstempel mit Zeitzonen auswirkt, die einen zweiten Offset enthalten. Dieser Fehler verursacht, dass die Sekunden beim Schreiben in JSON, XML oder CSV weggelassen werden, was zu falschen Zeitstempelwerten führt.

Um zum vorherigen Verhalten zurückzukehren, verwenden Sie beim Schreiben in eines der betroffenen Formate die folgende Option: .option("yyyy-MM-dd'T'HH:mm:ss[.SSS][XXX]")

Bibliotheksaktualisierungen

• Aktualisierte Python-Bibliotheken:
  • azure-core von 1.30.2 bis 1.31.0
  • azure-storage-blob von 12.19.1 bis 12.23.0
  • azure-storage-file-datalake von 12.14.0 bis 12.17.0
  • schwarz von 23.3.0 bis 24.4.2
  • blinker von 1,4 bis 1.7.0
  • boto3 von 1.34.39 bis 1.34.69
  • Botocore von 1.34.39 bis 1.34.69
  • certifi von 2023.7.22 auf 2024.6.2
  • cffi von 1.15.1 auf 1.16.0
  • klicken Sie von 8.0.4 bis 8.1.7
  • comm von 0.1.2 bis 0.2.1
  • contourpy von 1.0.5 bis 1.2.0
  • Kryptografie von 41.0.3 bis 42.0.5
  • Cython von 0.29.32 bis 3.0.11
  • databricks-sdk von 0.20.0 bis 0.30.0
  • dbus-python von 1.2.18 bis 1.3.2
  • filelock von 3.13.4 auf 3.15.4
  • fonttools von 4.25.0 bis 4.51.0
  • GitPython von 3.1.43 bis 3.1.37
  • google-api-core von 2.18.0 bis 2.20.0
  • google-auth von 2.31.0 bis 2.35.0
  • google-cloud-storage von 2.17.0 zu 2.18.2
  • google-crc32c von 1.5.0 bis 1.6.0
  • google-resumable-media von 2.7.1 auf 2.7.2
  • googleapis-common-protos von 1.63.2 bis 1.65.0
  • httplib2 von 0.20.2 bis 0.20.4
  • idna von 3.4 bis 3.7
  • ipykernel von 6.25.1 bis 6.28.0
  • ipython von 8.15.0 bis 8.25.0
  • jedi von 0.18.1 bis 0.19.1
  • jmespath von 0.10.0 bis 1.0.1
  • joblib von 1.2.0 bis 1.4.2
  • jupyter_client von 7.4.9 bis 8.6.0
  • jupyter_core von 5.3.0 bis 5.7.2
  • launchpadlib von 1.10.16 bis 1.11.0
  • lazr.restfulclient von 0.14.4 bis 0.14.6
  • matplotlib von 3.7.2 bis 3.8.4
  • mlflow-skinny von 2.11.4 bis 2.15.1
  • more-itertools von 8.10.0 bis 10.3.0
  • mypy-extensions von 0.4.3 bis 1.0.0
  • nest-asyncio von Version 1.5.6 auf 1.6.0 aktualisiert
  • numpy von 1.23.5 bis 1.26.4
  • oauthlib von 3.2.0 bis 3.2.2
  • Verpackung von 23.2 bis 24.1
  • Patsy von 0.5.3 bis 0.5.6
  • pip von 23.2.1 auf 24.2
  • plotly von 5.9.0 bis 5.22.0
  • prompt-toolkit von 3.0.36 bis 3.0.43
  • Pyarrow von 14.0.1 bis 15.0.2
  • Pydantisch von 1.10.6 bis 2.8.2
  • PyGObject von 3.42.1 bis 3.48.2
  • PyJWT von 2.3.0 bis 2.7.0
  • Pyodbc von 4.0.38 bis 5.0.1
  • python-dateutil von 2.8.2 bis 2.9.0.post0
  • python-lsp-jsonrpc von 1.1.1 bis 1.1.2
  • pytz von 2022.7 bis 2024.1
  • PyYAML von 6.0 bis 6.0.1
  • pyzmq von 23.2.0 bis 25.1.2
  • Anfragen von 2.31.0 bis 2.32.2
  • scikit-learn von 1.3.0 auf 1.4.2
  • scipy von 1.11.1 auf 1.13.1
  • seaborn von 0.12.2 bis 0.13.2
  • setuptools von 68.0.0 bis 74.0.0
  • smmap von 5.0.1 auf 5.0.0
  • sqlparse von 0.5.0 bis 0.5.1
  • statsmodels von 0.14.0 auf 0.14.2
  • Tornado von 6.3.2 bis 6.4.1
  • Traitlets von 5.7.1 bis 5.14.3
  • typing_extensions von 4.10.0 bis 4.11.0
  • ujson von 5.4.0 bis 5.10.0
  • virtualenv von 20.24.2 bis 20.26.2
  • wheel von 0.38.4 auf 0.43.0
  • zipp von 3.11.0 bis 3.17.0
• Aktualisierte R-Bibliotheken:
  • Pfeil von 14.0.0.2 zu 16.1.0
  • Backports von 1.4.1 auf 1.5.0
  • base von 4.3.2 auf 4.4.0
  • Bitops von 1.0-7 bis 1.0-8
  • boot von 1.3-28 auf 1.3-30
  • brio von 1.1.4 bis 1.1.5
  • broom von 1.0.5 bis 1.0.6
  • bslib von 0.6.1 bis 0.8.0
  • cachem von 1.0.8 auf 1.1.0
  • Callr von 3.7.3 bis 3.7.6
  • cli von 3.6.2 bis 3.6.3
  • Aktualisieren von 0.7.0 auf 0.7.1
  • Cluster von 2.1.4 bis 2.1.6
  • Codetools von 0.2-19 bis 0.2-20
  • Farbraum von 2.1-0 bis 2.1-1
  • Compiler von 4.3.2 auf 4.4.0
  • crayon von 1.5.2 bis 1.5.3
  • curl von 5.2.0 auf 5.2.1 aktualisieren
  • data.table von 1.15.0 bis 1.15.4
  • Datensätze von Version 4.3.2 bis 4.4.0
  • DBI von 1.2.1 bis 1.2.3
  • dbplyr von 2.4.0 bis 2.5.0
  • digest von 0.6.34 auf 0.6.36
  • downlit von 0.4.3 auf 0.4.4
  • evaluate von 0.23 auf 0.24.0
  • farver von 2.1.1 auf 2.1.2
  • fastmap von 1.1.1 auf 1.2.0
  • extern von 0,8-85 bis 0,8-86
  • fs von 1.6.3 bis 1.6.4
  • future von 1.33.1 auf 1.34.0
  • future.apply von 1.11.1 auf 1.11.2
  • aktualisiert von 2.0.1 auf 2.1.0
  • ggplot2 von 3.4.4 bis 3.5.1
  • gh von 1.4.0 bis 1.4.1
  • globals von 0.16.2 auf 0.16.3
  • Grafiken von 4.3.2 bis 4.4.0
  • grDevices Aktualisierung von 4.3.2 auf 4.4.0
  • Raster von 4.3.2 bis 4.4.0
  • gt von 0.10.1 bis 0.11.0
  • gtable von 0.3.4 auf 0.3.5
  • hardhat von Version 1.3.1 auf 1.4.0
  • highr von 0,10 auf 0,11
  • htmltools von 0.5.7 bis 0.5.8.1
  • httpuv von 1.6.14 bis 1.6.15
  • httr2 Version 1.0.0 bis Version 1.0.2
  • ipred von 0.9-14 auf 0.9-15
  • KernSmooth von 2.23-21 bis 2.23-22
  • knitr von 1.45 bis 1.48
  • Gitter von 0,21-8 bis 0,22-5
  • Lava 1.7.3 bis 1.8.0
  • Markdown von 1.12 auf 1.13
  • MASS von 7.3-60 auf 7.3-60.0.1
  • Matrix von 1.5-4.1 bis 1.6-5
  • methoden von 4.3.2 bis 4.4.0
  • mgcv von 1,8-42 bis 1,9-1
  • mlflow von 2.10.0 bis 2.14.1
  • munsell von 0.5.0 bis 0.5.1
  • nlme von 3.1-163 bis 3.1-165
  • openssl von 2.1.1 bis 2.2.0
  • parallel von 4.3.2 bis 4.4.0
  • parallel ablaufend von 1.36.0 bis 1.38.0
  • pkgbuild von 1.4.3 bis 1.4.4
  • pkgdown von 2.0.7 bis 2.1.0
  • pkgload von 1.3.4 auf 1.4.0
  • processx von 3.8.3 bis 3.8.4
  • prodlim von 2023.08.28 bis 2024.06.25
  • promises von 1.2.1 auf 1.3.0
  • ps von 1.7.6 auf 1.7.7
  • ragg von 1.2.7 bis 1.3.2
  • Rcpp von 1.0.12 bis 1.0.13
  • RcppEigen von 0.3.3.9.4 bis 0.3.4.0.0
  • reactR von Version 0.5.0 auf Version 0.6.0
  • Rezepte von 1.0.9 bis 1.1.0
  • remotes von 2.4.2.1 auf 2.5.0
  • Reprex Update von Version 2.1.0 auf 2.1.1
  • rlang von 1.1.3 bis 1.1.4
  • rmarkdown von 2.25 auf 2.27
  • roxygen2 von 7.3.1 bis 7.3.2
  • rpart von 4.1.21 bis 4.1.23
  • RSQLite von 2.3.5 bis 2.3.7
  • rstudioapi von 0.15.0 bis 0.16.0
  • rvest von 1.0.3 auf 1.0.4
  • sass von 0.4.8 bis 0.4.9
  • Shape von 1.4.6 bis 1.4.6.1
  • shiny von 1.8.0 auf 1.9.1
  • sparklyr von 1.8.4 bis 1.8.6
  • Räumlich von 7.3-15 bis 7.3-17
  • splines von 4.3.2 bis 4.4.0
  • Statistiken von 4.3.2 bis 4.4.0
  • stats4 von 4.3.2 bis 4.4.0
  • stringi von 1.8.3 bis 1.8.4
  • Überleben von 3,5-5 bis 3,6-4
  • Swagger-Version von 3.33.1 auf 5.17.14.1 aktualisieren
  • systemfonts von 1.0.5 bis 1.1.0
  • tcltk von 4.3.2 bis 4.4.0
  • testthat von 3.2.1 auf 3.2.1.1
  • Textshaping von 0.3.7 auf 0.4.0
  • tidyselect von 1.2.0 bis 1.2.1
  • Tinytex von 0,49 bis 0,52
  • Tools von 4.3.2 bis 4.4.0
  • usethis von 2.2.2 auf 3.0.0
  • utils von Version 4.3.2 auf Version 4.4.0 aktualisiert
  • uuid von 1.2-0 bis 1.2-1
  • V8 von 4.4.1 bis 4.4.2
  • withr von 3.0.0 auf 3.0.1
  • xfun von 0,41 bis 0,46
  • xopen von 1.0.0 bis 1.0.1
  • yaml von 2.3.8 bis 2.3.10
• Aktualisierte Java-Bibliotheken:
  • com.amazonaws.aws-java-sdk-autoscaling von 1.12.610 auf 1.12.638
  • com.amazonaws.aws-java-sdk-cloudformation aktualisiert von Version 1.12.610 auf Version 1.12.638
  • com.amazonaws.aws-java-sdk-cloudfront von 1.12.610 bis 1.12.638
  • com.amazonaws.aws-java-sdk-cloudhsm von 1.12.610 bis 1.12.638
  • com.amazonaws.aws-java-sdk-cloudsearch von 1.12.610 bis 1.12.638
  • com.amazonaws.aws-java-sdk-cloudtrail von 1.12.610 bis 1.12.638
  • com.amazonaws.aws-java-sdk-cloudwatch von 1.12.610 bis 1.12.638
  • com.amazonaws.aws-java-sdk-cloudwatchmetrics von 1.12.610 bis 1.12.638
  • com.amazonaws.aws-java-sdk-codedeploy von 1.12.610 bis 1.12.638
  • com.amazonaws.aws-java-sdk-cognitoidentity von 1.12.610 bis 1.12.638
  • com.amazonaws.aws-java-sdk-cognitosync von 1.12.610 bis 1.12.638
  • com.amazonaws.aws-java-sdk-config von 1.12.610 bis 1.12.638
  • com.amazonaws.aws-java-sdk-core von 1.12.610 bis 1.12.638
  • com.amazonaws.aws-java-sdk-datapipeline von 1.12.610 bis 1.12.638
  • com.amazonaws.aws-java-sdk-directconnect von 1.12.610 bis 1.12.638
  • com.amazonaws.aws-java-sdk-directory von 1.12.610 bis 1.12.638
  • com.amazonaws.aws-java-sdk-dynamodb von 1.12.610 bis 1.12.638
  • com.amazonaws.aws-java-sdk-ec2 von 1.12.610 bis 1.12.638
  • com.amazonaws.aws-java-sdk-ecs von 1.12.610 bis 1.12.638
  • com.amazonaws.aws-java-sdk-efs von 1.12.610 bis 1.12.638
  • com.amazonaws.aws-java-sdk-elasticache von 1.12.610 bis 1.12.638
  • com.amazonaws.aws-java-sdk-elasticbeanstalk von 1.12.610 bis 1.12.638
  • com.amazonaws.aws-java-sdk-elasticloadbalancing von 1.12.610 bis 1.12.638
  • com.amazonaws.aws-java-sdk-elastictranscoder von 1.12.610 bis 1.12.638
  • com.amazonaws.aws-java-sdk-emr von 1.12.610 bis 1.12.638
  • com.amazonaws.aws-java-sdk-glacier von 1.12.610 bis 1.12.638
  • com.amazonaws.aws-java-sdk-glue von 1.12.610 bis 1.12.638
  • com.amazonaws.aws-java-sdk-iam von 1.12.610 bis 1.12.638
  • com.amazonaws.aws-java-sdk-importexport von 1.12.610 bis 1.12.638
  • com.amazonaws.aws-java-sdk-kinesis von 1.12.610 bis 1.12.638
  • com.amazonaws.aws-java-sdk-kms von 1.12.610 bis 1.12.638
  • com.amazonaws.aws-java-sdk-lambda von 1.12.610 bis 1.12.638
  • com.amazonaws.aws-java-sdk-logs von 1.12.610 bis 1.12.638
  • com.amazonaws.aws-java-sdk-machinelearning von 1.12.610 bis 1.12.638
  • com.amazonaws.aws-java-sdk-opsworks von Version 1.12.610 bis Version 1.12.638
  • com.amazonaws.aws-java-sdk-rds von 1.12.610 bis 1.12.638
  • com.amazonaws.aws-java-sdk-redshift von 1.12.610 auf 1.12.638
  • com.amazonaws.aws-java-sdk-route53 von 1.12.610 bis 1.12.638
  • com.amazonaws.aws-java-sdk-s3 von 1.12.610 bis 1.12.638
  • com.amazonaws.aws-java-sdk-ses von 1.12.610 bis 1.12.638
  • com.amazonaws.aws-java-sdk-simpledb von 1.12.610 bis 1.12.638
  • com.amazonaws.aws-java-sdk-simpleworkflow von 1.12.610 bis 1.12.638
  • com.amazonaws.aws-java-sdk-sns von 1.12.610 bis 1.12.638
  • com.amazonaws.aws-java-sdk-sqs von 1.12.610 bis 1.12.638
  • com.amazonaws.aws-java-sdk-ssm von 1.12.610 bis 1.12.638
  • com.amazonaws.aws-java-sdk-storagegateway von 1.12.610 bis 1.12.638
  • com.amazonaws.aws-java-sdk-sts von 1.12.610 bis 1.12.638
  • com.amazonaws.aws-java-sdk-support von 1.12.610 bis 1.12.638
  • com.amazonaws.aws-java-sdk-workspaces von 1.12.610 bis 1.12.638
  • com.amazonaws.jmespath-java von 1.12.610 bis 1.12.638
  • com.google.protobuf.protobuf-java von 2.6.1 bis 3.25.1
  • io.airlift.aircompressor von 0.25 auf 0.27
  • io.delta.delta-sharing-client_2.12 von 1.1.3 bis 1.2.0
  • io.netty.netty-all von 4.1.96.Final bis 4.1.108.Final
  • io.netty.netty-buffer von 4.1.96.Final auf 4.1.108.Final
  • io.netty.netty-codec von 4.1.96.Final bis 4.1.108.Final
  • io.netty.netty-codec-http von 4.1.96.Final bis 4.1.108.Final
  • io.netty.netty-codec-http2 von 4.1.96.Final bis 4.1.108.Final
  • io.netty.netty-codec-socks von 4.1.96.Final auf 4.1.108.Final
  • io.netty.netty-common von 4.1.96.Final auf 4.1.108.Final
  • io.netty.netty-handler von 4.1.96.Final auf 4.1.108.Final
  • io.netty.netty-handler-proxy von 4.1.96.Final bis 4.1.108.Final
  • io.netty.netty-resolver von 4.1.96.Final bis 4.1.108.Final
  • io.netty.netty-transport von 4.1.96.Final auf 4.1.108.Final
  • io.netty.netty-transport-classes-epoll von 4.1.96.Final auf 4.1.108.Final
  • io.netty.netty-transport-classes-kqueue von 4.1.96.Final auf 4.1.108.Final
  • io.netty.netty-transport-native-epoll von 4.1.96.Final-linux-x86_64 auf 4.1.108.Final-linux-x86_64
  • io.netty.netty-transport-native-kqueue von 4.1.96.Final-osx-x86_64 auf 4.1.108.Final-osx-x86_64
  • io.netty.netty-transport-native-unix-common von 4.1.96.Final auf 4.1.108.Final
  • org.apache.ivy.ivy von 2.5.1 auf 2.5.2
  • org.apache.zookeeper.zookeeper von 3.6.3 bis 3.9.2
  • org.apache.zookeeper.zookeeper-jute von 3.6.3 bis 3.9.2
  • org.rocksdb.rocksdbjni von 8.11.4 bis 9.2.1
  • org.scalactic.scalactic_2.12 von 3.2.15 bis 3.2.16
  • org.scalatest.scalatest-compatible von 3.2.15 bis 3.2.16
  • org.scalatest.scalatest-core_2.12 von 3.2.15 bis 3.2.16
  • org.scalatest.scalatest-diagrams_2.12 von 3.2.15 bis 3.2.16
  • org.scalatest.scalatest-featurespec_2.12 von 3.2.15 bis 3.2.16
  • org.scalatest.scalatest-flatspec_2.12 von 3.2.15 bis 3.2.16
  • org.scalatest.scalatest-freespec_2.12 von 3.2.15 bis 3.2.16
  • org.scalatest.scalatest-funspec_2.12 von 3.2.15 bis 3.2.16
  • org.scalatest.scalatest-funsuite_2.12 von 3.2.15 bis 3.2.16
  • org.scalatest.scalatest-matchers-core_2.12 von 3.2.15 bis 3.2.16
  • org.scalatest.scalatest-mustmatchers_2.12 von 3.2.15 bis 3.2.16
  • org.scalatest.scalatest-propspec_2.12 von 3.2.15 bis 3.2.16
  • org.scalatest.scalatest-refspec_2.12 von 3.2.15 bis 3.2.16
  • org.scalatest.scalatest-shouldmatchers_2.12 von 3.2.15 bis 3.2.16
  • org.scalatest.scalatest-wordspec_2.12 von 3.2.15 bis 3.2.16
  • org.scalatest.scalatest_2.12 von 3.2.15 bis 3.2.16

Apache Spark

Databricks Runtime 16.0 umfasst Apache Spark 3.5.0. Diese Version enthält alle Spark-Fixes und Verbesserungen, die in Databricks Runtime 15.4 LTS enthalten sind, sowie die folgenden zusätzlichen Fehlerbehebungen und Verbesserungen, die an Spark vorgenommen wurden:

• [SPARK-49093] [DBRRM-1371] Rückgängig machen von „[SC-172958][SQL] GROUP BY mit MapType nes…
• [SPARK-49898] [DBRRM-1282][sc-178410] Korrektur der Dokumentation und Standardeinstellung für das Protokollierungskennzeichen des Ereignisprotokoll-Aufgabenmetriken-Akkumulators aus SPARK-42204.
• [SPARK-49743] [ES-1260022][behave-157][SC-177475][sql] OptimizeCsvJsonExpr sollte beim Pruning von GetArrayStructFields keine Schemafelder ändern
• [SPARK-49816] [SC-177896][sql] Sollte nur die out-going-ref-count für referenzierte äußere CTE-Beziehung aktualisieren
• [SPARK-48939] [SC-177022][sc-172766][AVRO] Unterstützung des Lesens von Avro mit rekursiver Schema-Referenz
• [SPARK-49688] [SC-177468][es-1242349][CONNECT] Behebung eines Datenrennens zwischen Unterbrechen und Ausführen des Plans
• [SPARK-49771] [SC-177466][python] Verbessern des UDF-Fehlers "Pandas Scalar Iter", wenn Ausgabezeilen Eingabezeilen überschreiten
• [SPARK-48866] [SC-170772][sql] Beheben von Hinweisen auf gültige Zeichen in der Fehlermeldung von INVALID_PARAMETER_VALUE.CHARSET
• [SPARK-48195] [ FIXFORWARD][sc-177267][CORE] Speichern und Wiederverwenden von RDD/Broadcast, erstellt von SparkPlan
• [SPARK-49585] [CONNECT] Ersetzen der Ausführungszuordnung in SessionHolder durch operationID-Satz
• [SPARK-49211] [ SC-174257][sql] V2-Katalog kann auch integrierte Datenquellen unterstützen
• [SPARK-49684] Minimieren der Lebensdauer der Sitzungswiederherstellungssperre
• [SPARK-48059] [SPARK-48145][spark-48134][SPARK-48182][spark-48209][SPARK-48291] Strukturiertes Protokollframework auf der Java-Seite
• [SPARK-48857] [SC-170661][sql] Einschränken von Zeichenmengen in CSVOptions
• [SPARK-49152] [SC-173690][sql] V2SessionCatalog sollte V2Command verwenden
• [SPARK-42846] [SC-176588][sql] Entfernen der Fehlerbedingung _LEGACY_ERROR_TEMP_2011
• [SPARK-48195] [ SC-177267][core] Speichern und Wiederverwenden von RDD/Broadcast, erstellt von SparkPlan
• [SPARK-49630] [SC-177379][ss] Option „Vereinfachen“ zum Verarbeiten von Sammlungstypen mit Statusdatenquellenleser hinzufügen
• [SPARK-49699] [SC-177154][ss] Deaktivieren Sie PruneFilters für Streaming-Arbeitslasten
• [SPARK-48781] [SC-175282][sql] Hinzufügen von Katalog-APIs zum Laden gespeicherter Prozeduren
• [SPARK-49667] [SC-177068][sql] CS_AI-Collatoren bei Ausdrücken, die StringSearch verwenden, nicht zulassen
• [SPARK-49737] [SC-177207][sql] Bucketing für sortierte Spalten in komplexen Typen deaktivieren
• [SPARK-48712] [SC-169794][sql] Leistungsverbesserung für das Kodieren mit leeren Werten oder dem UTF-8-Zeichensatz
• [SPARK-49038] [SC-173933][sql] SQLMetric sollte den Rohwert im Akkumulatorupdateereignis melden.
• [SPARK-48541] [SC-169066][Core] Fügen Sie einen neuen Exitcode für von TaskReaper getötete Ausführende hinzu.
• [SPARK-48774] [SC-170138][sql] Verwenden von SparkSession in SQLImplicits
• [SPARK-49719] [ SC-177139][sql] Ganze Zahl erstellen UUID und SHUFFLE akzeptieren seed
• [SPARK-49713] [SC-177135][python][CONNECT] Funktion count_min_sketch Zahlenargumente akzeptieren ermöglichen.
• [SPARK-47601] [SC-162499][graphx] Graphx: Migrieren von Protokollen mit Variablen zum strukturierten Protokollierungsframework
• [SPARK-49738] [SC-177219][sql] Endswith-Fehlerbehebung
• [SPARK-48623] [SC-170822][Core] Migrationen zur strukturierten Protokollierung [Teil 3]
• [SPARK-49677] [SC-177148][ss] Stellen Sie sicher, dass Änderungsprotokolldateien auf Commit geschrieben werden und forceSnapshot-Flag auch zurückgesetzt wird.
• [SPARK-49684] [SC-177040][connect] Entfernen globaler Sperren aus Sitzungs- und Ausführungsmanagern
• [SPARK-48302] [SC-168814][python] Beibehalten von Nullen in Kartenspalten in PyArrow-Tabellen
• [SPARK-48601] [SC-169025][sql] Geben Sie eine benutzerfreundlichere Fehlermeldung aus, wenn Sie einen NULL-Wert für die JDBC-Option festlegen
• [SPARK-48635] [SC-169263][sql] Zuweisen von Klassen zu Verknüpfungstypfehlern und AS_OF_JOIN-Fehler
• [SPARK-49673] [SC-177032][Verbinden] Erhöhen von CONNECT_GRPC_ARROW_MAX_BATCH_SIZE auf 0,7 * CONNECT_GRPC_MAX_MESSAGE_SIZE
• [SPARK-49693] [ SC-177071][python][CONNECT] Verfeinern der Zeichenfolgendarstellung von timedelta
• [SPARK-49687] [ SC-176901][sql] Verzögerte Sortierung in validateAndMaybeEvolveStateSchema
• [SPARK-49718] [SC-177112][ps] Wechseln von Scatter Plot zu Stichprobendaten
• [SPARK-48472] [SC-169044][sql] Aktivierung von Reflexionsausdrücken mit sortierten Zeichenfolgen
• [SPARK-48484] [SC-167484][sql] Fix: V2Write verwendet dieselbe TaskAttemptId für verschiedene Vorgangsversuche.
• [SPARK-48341] [ SC-166560][connect] Zulassen, dass Plugins QueryTest in ihren Tests verwenden können
• [SPARK-42252] [ SC-168723][core] spark.shuffle.localDisk.file.output.buffer hinzufügen und spark.shuffle.unsafe.file.output.buffer verwerfen.
• [SPARK-48314] [SC-166565][ss] Dateien nicht doppelt im Cache speichern für FileStreamSource mit Trigger.AvailableNow
• [SPARK-49567] [SC-176241][python] classic anstelle von vanilla in der PySpark-Codebasis verwenden
• [SPARK-48374] [SC-167596][python] Unterstützen zusätzlicher PyArrow Table-Spaltentypen
• [SPARK-48300] [ SC-166481][sql] Codegen-Unterstützung für from_xml
• [SPARK-49412] [SC-177059][ps] Berechnen aller Boxplotmetriken in einem einzigen Auftrag
• [SPARK-49692] [SC-177031][python][CONNECT] Verfeinern der Zeichenfolgendarstellung von Datumsliteral und Datetime
• [SPARK-49392] [ES-1130351][sc-176705][SQL] Fehler abfangen, wenn das Schreiben in die externe Datenquelle fehlschlägt
• [SPARK-48306] [SC-166241][sql] UDT in der Fehlermeldung verbessern
• [SPARK-44924] [SC-166379][ss] Konfiguration für zwischengespeicherte Dateien der FileStreamSource hinzufügen
• [SPARK-48176] [ SC-165644][sql] Passen Sie den Namen der FIELD_ALREADY_EXISTS Fehlerbedingung an.
• [SPARK-49691] [SC-176988][python][CONNECT] Funktion substring sollte Spaltennamen akzeptieren
• [SPARK-49502] [SC-176077][core] Vermeiden von NPE in SparkEnv.get.shuffleManager.unregisterShuffle
• [SPARK-49244] [ SC-176703][sql] Weitere Ausnahmeverbesserungen für Parser/Interpreter
• [SPARK-48355] [SC-176684][sql] Unterstützung für CASE-Anweisung
• [SPARK-49355] [SC-175121][sql] levenshtein sollte überprüfen, ob die collation Werte aller Parametertypen identisch sind.
• [SPARK-49640] [SC-176953][ps] Anwenden der Reservoir-Stichprobennahme in SampledPlotBase
• [SPARK-49678] [SC-176857][core] Unterstützung von spark.test.master in SparkSubmitArguments
• [SPARK-49680] [SC-176856][python] Build-Parallelität standardmäßig auf 4 beschränken Sphinx
• [SPARK-49396] Wiederherstellen von „[SC-176030][sql] Ändern der NULL-Zulässigkeitsprüfung für den CaseWhen-Ausdruck“
• [SPARK-48419] [SC-167443][sql] Faltbare Verteilung ersetzen faltbare Spalten...
• [SPARK-49556] [ SC-176757][sql] Hinzufügen der SQL-Pipesyntax für den SELECT Operator
• [SPARK-49438] [SC-175237][sql] Korrigieren Sie den hübschen Namen des FromAvro & ToAvro Ausdrucks.
• [SPARK-49659] [SC-1229924][sql] Fügen Sie einen schönen benutzerbezogenen Fehler für skalare Unterabfragen innerhalb VALUES einer Klausel hinzu.
• [SPARK-49646] [SC-176778][sql] Beheben der Unterabfragedekorrelation für Union-/Set-Vorgänge, wenn parentOuterReferences Verweise enthält, die in collectedChildOuterReferences nicht behandelt werden
• [SPARK-49354] [SC-175034][sql] split_part sollte überprüfen, ob die collation Werte aller Parametertypen identisch sind.
• [SPARK-49478] [SC-175914][connect] Behandeln von NULL-Metriken in ConnectProgressExecutionListener
• [SPARK-48358] [SC-176374][sql] Unterstützung für die REPEAT-Anweisung
• [SPARK-49183] [SC-173680][sql] V2SessionCatalog.createTable sollte PROP_IS_MANAGED_LOCATION beachten.
• [SPARK-49611] [ SC-176791][sql] Führen Sie TVF collations() ein und entfernen Sie den SHOW COLLATIONS Befehl
• [SPARK-49261] [SC-176589][sql] Ersetzen Sie keine Literale in Aggregatausdrücken durch Gruppenausdrücke.
• [SPARK-49099] [ SC-173229][sql] CatalogManager.setCurrentNamespace sollte den benutzerdefinierten Sitzungskatalog berücksichtigen
• [SPARK-49594] [SC-176569][ss] Hinzufügen von Überprüfungen, ob columnFamilies zum Schreiben der StateSchemaV3-Datei hinzugefügt oder entfernt wurden
• [SPARK-49578] [SC-176385][sql] Entfernen Sie den ANSI-Konfigurationsvorschlag in CAST_INVALID_INPUT und CAST_OVERFLOW
• [SPARK-48882] [SC-174256][ss] Namen vergeben an Fehlerklassen, die mit dem Streaming-Ausgabemodus zusammenhängen.
• [SPARK-49155] [SC-176506][sql][SS] Verwenden Sie passenderen Parametertyp zum Erstellen GenericArrayData
• [SPARK-49519] [SC-176388][sql] Zusammenführen von Tabellen- und Beziehungsoptionen beim Erstellen von FileScanBuilder
• [SPARK-49591] [SC-176587][sql] Spalte "Logischer Typ" zur Variant-Infodatei hinzufügen
• [SPARK-49596] [ SC-176423][sql] Verbessern der Leistung von FormatString
• [SPARK-49525][SC-176044][SS][CONNECT] Kleinere Protokollverbesserung für serverseitigen Streaming-Query-ListenerBus-Listener
• [SPARK-49583] [SC-176272][sql] Definition der Fehlerunterbedingung SECONDS_FRACTION für ein ungültiges Sekundenbruchteilmuster
• [SPARK-49536] [SC-176242] Fehlerbehandlung beim Vorabrufen von Datensätzen aus der Python-Streaming-Datenquelle
• [SPARK-49443][SC-176273][sql][PYTHON] Implementieren des Ausdrucks „to_variant_object“ und Erstellen von Ausdrücken vom Typ „schema_of_variant“ zum Drucken von „OBJECT for Variant“-Objekten
• [SPARK-49544] [SASP-3990][sc-176557][CONNECT] Ersetzen der groben Sperre in SparkConnectExecutionManager durch ConcurrentMap
• [SPARK-49548] [SASP-3990][sc-176556][CONNECT] Ersetzen der groben Sperre in SparkConnectSessionManager durch ConcurrentMap
• [SPARK-49551] [ SC-176218][ss] Verbessere RocksDB-Log für replayChangelog
• [SPARK-49595] [SC-176396][connect][SQL] Fix DataFrame.unpivot/melt in Spark Connect Scala Client
• [SPARK-49006] [SC-176162] Implementieren der Bereinigung für OperatorStateMetadataV2- und StateSchemaV3-Dateien
• [SPARK-49600] [SC-176426][python] Entfernen Sie Python 3.6 and older-bezogene Logik aus try_simplify_traceback
• [SPARK-49303] [SC-176013][ss] Implementierung von TTL für ValueState in der transformWithStateInPandas-API
• [SPARK-49191] [ SC-176243][ss] Hinzufügen von Unterstützung für das Lesen von TransformWithState-Kartenzustandsvariablen mit Statusdatenquellenleser
• [SPARK-49593] [SC-176371][ss] Löst RocksDB-Ausnahme an den Aufrufer beim Schließen der Datenbank aus, wenn ein Fehler auftritt
• [SPARK-49334] [SC-174803][sql] str_to_map sollte überprüfen, ob die collation Werte aller Parametertypen identisch sind.
• [SPARK-42204] [SC-176126][core] Option zum Deaktivieren der redundanten Protokollierung interner TaskMetrics-Akkumulatoren in Ereignisprotokollen hinzufügen
• [SPARK-49575] [SC-176256][ss] Protokollierung für die Sperrfreigabe nur hinzufügen, wenn acquiredThreadInfo nicht null ist
• [SPARK-49539] [SC-176250][ss] Aktualisieren der internen Spaltenfamilien-Start-ID auf eine andere
• [SPARK-49205] [SC-173853][sql] KeyGroupedPartitioning sollte HashPartitioningLike erben
• [SPARK-49396] [SC-176030][sql] Ändern der Nullbarkeitsprüfung für CaseWhen-Ausdruck
• [SPARK-49476] [SC-175700][sql] Nullfähigkeit der Base64-Funktion beheben.
• [SPARK-47262] [SC-174829][sql] Zuweisen von Namen zu Fehlerbedingungen für Parkettumwandlungen
• [SPARK-47247] [SC-158349][sql] Verwenden Sie kleinere Zielgröße, wenn Partitionen mit explodierenden Verknüpfungen miteinander verknüpft werden
• [SPARK-49501] [SC-176166][sql] Beheben von doppelten Escapezeichen in der Tabellenposition
• [SPARK-49083] [SC-173214][connect] Zulassen, dass from_xml und from_json nativ mit JSON-Schemas arbeiten
• [SPARK-49043] [SC-174673][sql] Beheben des interpretierten Codepath „Gruppieren nach“ für die Zuordnung mit sortierten Zeichenfolgen
• [SPARK-48986] [SC-172265][connect][SQL] ColumnNode-Zwischendarstellung hinzufügen
• [SPARK-49326][SC-176016][SS] Klassifizieren der Fehlerklasse für den Fehler im Foreach-Sink-Benutzerfunktion
• [SPARK-48348] [SC-175950][spark-48376][SQL] Einführung von LEAVE und ITERATE Anweisungen
• [SPARK-49523] [SC-175949][connect] Maximale Wartezeit für Verbindungsserver erhöhen, um zum Testen zu kommen
• [SPARK-49000] [VERHALTEN-105][es-1194747][SQL] Behoben: "select count(distinct 1) from t", wo t eine leere Tabelle ist, indem RewriteDistinctAggregates erweitert wurde - Databricks Runtime Version 16.x
• [SPARK-49311] [SC-175038][sql] Ermöglichen Sie die Umwandlung großer "Intervall second"-Werte in dezimale Werte.
• [SPARK-49200] [SC-173699][sql] Beheben der Ausnahme der Nicht-Codegen-Sortierung des Nulltyps
• [SPARK-49467] [SC-176051][ss] Hinzufügen von Unterstützung für Statusdatenquellenleser und Listenstatus
• [SPARK-47307] [SC-170891][sql] Hinzufügen einer Konfiguration zum optionalen Aufteilen von base64-Zeichenfolgen.
• [SPARK-49391] [SC-176032][ps] Ausreißer anhand der Entfernung von den Grenzen im Boxplot auswählen
• [SPARK-49445] [SC-175845][ui] Unterstützung zum Anzeigen von Tooltips in der Fortschrittsanzeige der Benutzeroberfläche
• [SPARK-49451] [SC-175702] Doppelte Schlüssel in parse_json zulassen.
• [SPARK-49275] [SC-175701][sql] Korrigieren der Nullwerte des Rückgabetyps des xpath-Ausdrucks
• [SPARK-49021] [SC-175578][ss] Hinzufügen von Unterstützung für das Lesen von TransformWithState-Wertstatusvariablen mit Statusdatenquellenleser
• [SPARK-49474][BEHAVE-143][sc-169253][SC-175933][ss] Klassifizieren der Fehlerklasse für den Fehler der FlatMapGroupsWithState-Benutzerfunktion
• [SPARK-49408] [SC-175932][sql] Verwenden von IndexedSeq in ProjectingInternalRow
• [SPARK-49509] [SC-175853][core] Verwenden Sie Platform.allocateDirectBuffer anstelle von ByteBuffer.allocateDirect
• [SPARK-49382] [SC-175013][ps] Erstellen eines Framefeldplots zum ordnungsgemäßen Rendern der Flier/Ausreißer
• [SPARK-49002] [SC-172846][sql] Einheitliche Behandlung ungültiger Lagerorte in WAREHOUSE/SCHEMA/TABLE/PARTITION/DIRECTORY
• [SPARK-49480] [SC-175699][core] Beheben NullPointerException von SparkThrowableHelper.isInternalError
• [SPARK-49477] [SC-175828][python] Verbessern der Fehlermeldung "Ungültiger Rückgabetyp" für Pandas udf
• [SPARK-48693] [SC-169492][sql] Vereinfachen und Vereinheitlichen von „toString of Invoke“ und „StaticInvoke“
• [SPARK-49441] [SC-175716][ml] StringIndexer sortiert Arrays in Executors
• [SPARK-49347] [SC-175004][r] SparkR als veraltet kennzeichnen
• [SPARK-49357] [SC-175227][connect][PYTHON] Tief geschachtelte Protobuf-Nachricht vertikal abschneiden
• [SPARK-41982] [SC-120604][sql] Partitionen von Typzeichenfolgen sollten nicht als numerische Typen behandelt werden.
• [SPARK-48776] [SC-170452][behave-72] Korrigieren der Zeitstempelformatierung für JSON, XML und CSV
• [SPARK-49223] [SC-174800][ml] StringIndexer.countByValue mit eingebauten Funktionen vereinfachen
• [SPARK-49016] Wiederherstellen von „[SC-174663][sql] Wiederherstellen des Verhaltens, das von unformatierten CSV-Dateien abgefragt wird, sind unzulässig, wenn nur beschädigte Datensatzspalte eingeschlossen und Name zugewiesen wird _LEGACY_ERROR_TEMP_1285„
• [SPARK-49041] [SC-172392][python][CONNECT] Auslösen eines ordnungsgemäßen Fehlers für dropDuplicates, wenn subset falsch angegeben wird
• [SPARK-49050] [SC-175235] Aktivieren des deleteIfExists-Operators in TWS mit virtuellen Spaltenfamilien
• [SPARK-49216] [SC-173919][core]Fix, um nicht den Nachrichtenkontext mit einem explizit erstellten LogEntry zu protokollieren, wenn die Structured Logging-Konfiguration deaktiviert ist.
• [SPARK-49252] [ SC-175596][Kern] ErstellenTaskSetExcludeList und HeathTracker unabhängig machen
• [SPARK-49352] [SC-174971][sql] Vermeiden redundanter Arraytransformationen für identischen Ausdruck
• [SPARK-42307] [SC-173863][sql] Name zuweisen für Fehler _LEGACY_ERROR_TEMP_2232
• [SPARK-49197] [SC-173732][core] Ausgabe Spark Command im launcher Modul maskieren
• [SPARK-48913] [ SC-173934][sql] Implementierung von IndentingXMLStreamWriter
• [SPARK-49306] [SC-175363][python][SQL] Erstellen von SQL-Funktionsaliasen für "zeroifnull" und "nullifzero"
• [SPARK-48344] [SQL] AUSFÜHRUNG von SQL-Skripts (einschließlich Spark Connect)
• [SPARK-49402] [SC-175122][python] Fix Binder-Integration in der PySpark-Dokumentation
• [SPARK-49017] [SC-174664][sql] Insert-Anweisung schlägt fehl, wenn mehrere Parameter verwendet werden
• [SPARK-49318] [SC-174733][sql] Niedrigpriorisierte Fehler im LCA bis zum Ende der Überprüfungsanalyse zurückstellen, um die Fehlererfahrung zu verbessern.
• [SPARK-49016] [SC-174663][sql] Wiederherstellen des Verhaltens, dass Abfragen aus unformatierten CSV-Dateien nicht zulässig sind, wenn nur beschädigte Datensatzspalte eingeschlossen und der Name _LEGACY_ERROR_TEMP_1285 zugewiesen wird
• [SPARK-49387] [SC-175124][python] Fix Type-Hinweis für accuracy in percentile_approx und approx_percentile
• [SPARK-49131] [ SC-174666][ss] TransformWithState sollte implizite Gruppierungsschlüssel auch mit faulen Iteratoren ordnungsgemäß festlegen
• [SPARK-49301] [SC-174795][ss] Daten mit Blockpfeilen, die an Python Worker übergeben werden
• [SPARK-49039] [SC-174651][ui] Kontrollkästchen zurücksetzen, wenn Executormetriken auf der Registerkarte „Phasen“ geladen werden
• [SPARK-48428] [SC-169806][sql]: Korrigieren von ix IllegalStateException in NestedColumnAliasing
• [SPARK-49353] [SC-174830][sql] Aktualisieren von Dokumenten im Zusammenhang mit UTF-32 Codierung/Decodierung
• [SPARK-48613] [SC-170966][sql] SPJ: Unterstützung für auto-shuffle einer Seite + weniger Verknüpfungsschlüssel als Partitionsschlüssel
• [SPARK-47473] [SC-160450][behave-127][SQL] Behebung eines Problems mit der Korrektheit beim Konvertieren von Postgres INFINITY-Zeitstempeln
• [SPARK-49142] [SC-173658][connect][PYTHON] Nachverfolgung, um proto auf Zeichenfolgenleistungskosten zurückzusetzen
• [SPARK-49300] [SC-175008][core] Beheben von hadoop-Delegierungstokenleck, wenn tokenRenewalInterval nicht festgelegt ist.
• [SPARK-49367] [SC-175012][ps] Parallelisieren der KDE-Berechnung für mehrere Spalten (Plotly Back-End)
• [SPARK-49365] [SC-175011][ps] Vereinfachen der Bucket-Aggregation in hist-Plot
• [SPARK-49372] [SC-175003][ss] Sicherstellen, dass latestSnapshot auf „keine“ festgelegt ist, um nachfolgende Verwendung zu vermeiden
• [SPARK-49341] [SC-174785] Entfernen connector/docker zugunsten von Apache Spark Operator
• [SPARK-49344] [ SC-174894][ps] Unterstützung json_normalize der Pandas-API für Spark
• [SPARK-49306] [SC-174794][sql] Erstellen neuer SQL-Funktionen "zeroifnull" und "nullifzero"
• [SPARK-48796] [SC-174668][ss] Spaltenfamilien-ID aus RocksDBCheckpointMetadata für VCF beim Neustart laden
• [SPARK-49342] [SC-174899][sql] Festlegen der TO_AVRO SQL-Funktion „jsonFormatSchema“ als optional
• [SPARK-48628] [SC-174695][core] Hinzufügen Aufgabenheap ein/aus für Heap-Metriken
• [SPARK-47407] [SC-159379][behave-126][SQL] Unterstützung java.sql.Types.NULL-Zuordnung zu NullType
• [SPARK-48628] [SC-173407][core] Hinzufügen Aufgabenheap ein/aus für Heap-Metriken
• [SPARK-49166] [SC-173987][sql] Unterstützung OFFSET in korrelierten Unterabfragen
• [SPARK-49269] [SC-174676][sql] Eifrig VALUESListe in AstBuilder auswerten
• [SPARK-49281] [SC-174782][sql] Optimieren von Parquet-Binary-getBytes mit getBytesUnsafe, um Kopierkosten zu vermeiden
• [SPARK-49113] [SC-174734] Keine Bestätigung bei Übersetzungsfehlern – Ausnahme im Hintergrund ignorieren
• [SPARK-49098] [ SC-173253][sql] Hinzufügen von Schreiboptionen für INSERT
• [SPARK-48638] [SC-174694][follow][CONNECT] Dokumentation für ExecutionInfo korrigieren
• [SPARK-49250] [ES-1222826][sql] Fehlermeldung für geschachtelte UnresolvedWindowExpression in CheckAnalysis verbessern
• [SPARK-48755] [SC-174258][ss][PYTHON] transformWithState pyspark-Basisimplementierung und ValueState-Unterstützung
• [SPARK-48966] [SC-174329][sql] Fehlermeldung mit ungültigem nicht aufgelöstem Spaltenverweis im UDTF-Aufruf verbessern
• [SPARK-46590] [SC-154115][sql] Fehler beim Beheben der Zusammenfügung mit unerwarteten Partitionsfehlern
• [SPARK-49235] [SC-174159][sql] Refaktorisiere die ResolveInlineTables-Regel, sodass sie den gesamten Baum nicht traversiert.
• [SPARK-49060] [SC-173107][connect] Bereinigung der Mima-Regeln für SQL-Connect binäre Kompatibilitätsprüfungen
• [SPARK-48762] [SC-172525][sql] Einführung der clusterBy DataFrameWriter-API für Python
• [SPARK-49207] [SC-173852][sql] Beheben der 1:n-Fallzuordnung in SplitPart und StringSplitSQL
• [SPARK-49204] [SC-173850][sql] Beheben der Ersatzpaarbehandlung in StringInstr und StringLocate
• [SPARK-36680] [SC-170640][sql] Unterstützt dynamische Tabellenoptionen für Spark SQL
• [SPARK-49204] [SC-173849][sql] Korrigieren der Ersatzpaarbehandlung in SubstringIndex
• [SPARK-49204] [SC-173848][sql] Korrigieren der Ersatzpaarbehandlung in StringTrim
• [SPARK-48967] [SC-173993] Korrigieren von forward SparkConfigOwnershipSuite test für OPTIMIZE_INSERT_INTO_VALUES_PARSER
• [SPARK-49204] [SC-173851][sql] Korrigieren der Ersatzpaarbehandlung in StringReplace
• [SPARK-48967] [SC-173993][sql][16.x] Verbessern der Leistung und des Speicherbedarfs von "INSERT INTO ... VALUES” Aufstellungen
• [SPARK-49099] Rückgängig machen von „[SC-173229][sql] CatalogManager.setCurrent...
• [SPARK-48347] [SC-173812][sql] Unterstützung für WHILE-Anweisung
• [SPARK-49128] [SC-173344][core] Unterstützung des benutzerdefinierten Verlaufsserver-UI-Titels
• [SPARK-49146][SC-173825][ss] Verschieben von Assertion-Fehlern im Zusammenhang mit fehlenden Wasserzeichen in Streaming-Abfragen im Anfügen-Modus in das Fehler-Framework
• [SPARK-45787] [SC-172197][sql] Unterstützung für Catalog.listColumns bei Clusterungsspalten
• [SPARK-49099] [ SC-173229][sql] CatalogManager.setCurrentNamespace sollte den benutzerdefinierten Sitzungskatalog berücksichtigen
• [SPARK-49138] [SC-173483][sql] Korrigieren von CollationTypeCasts mehrerer Ausdrücke
• [SPARK-49163] [SC-173666][sql] Der Versuch, eine Tabelle basierend auf fehlerhaften Parquet-Partitionsergebnissen zu erstellen, sollte einen benutzerorientierten Fehler zurückgeben.
• [SPARK-49201] [SC-173793][ps][PYTHON][connect] Erneutes Implementieren von hist Plot mit Spark SQL
• [SPARK-49188] [SC-173682][sql] Interner Fehler für concat_ws aufgerufen für Arrays von Arrays von Zeichenfolgen
• [SPARK-49137] [SC-173677][sql] Wenn die boolesche Bedingung ungültig if statement ist, sollte eine Ausnahme ausgelöst werden.
• [SPARK-49193] [SC-173672][sql] Leistung von RowSetUtils.toColumnBasedSet verbessern
• [SPARK-49078] [ SC-173078][sql] Unterstützung zeigt Spaltensyntax in v2-Tabelle an
• [SPARK-49141] [SC-173388][sql] Markiere Variante als Hive-inkompatiblen Datentyp
• [SPARK-49059] [Cherry-Pick][15.x][SC-172528][connect] Verschieben SessionHolder.forTesting(...) zum Testpaket
• [SPARK-49111] [SC-173661][sql] Verschieben von withProjectAndFilter in das Begleiterobjekt von DataSourceV2Strategy
• [SPARK-49185] [SC-173688][ps][PYTHON][connect] Diagramm neu implementieren mit Spark SQL
• [SPARK-49178] [SC-173673][sql] Optimieren Sie die Leistung, um die Leistung bei Verwendung von Row#getSeq Spark 3.5 mit Scala 2.12 abzugleichen.
• [SPARK-49093] [SC-172958][sql] GROUP BY mit MapType geschachtelt im komplexen Typ
• [SPARK-49142] [SC-173469][connect][PYTHON] Niedrigere Spark Connect-Clientprotokollebene zum Debuggen
• [SPARK-48761] [SC-172048][sql] Einführung der clusterBy DataFrameWriter-API für Scala
• [SPARK-48346] [ SC-173083][sql] Unterstützung für IF ELSE-Anweisungen in SQL-Skripts
• [SPARK-48338] [SC-173112][sql] Verbessern von Ausnahmen, die von Parser/Interpreter ausgelöst werden
• [SPARK-48658] [SC-169474][sql] Decodieren/Codieren von Funktionen melden Codierungsfehler anstelle von Mojibake für nicht verwendbare Zeichen
• [SPARK-49071] [SC-172954][sql] Entfernen des ArraySortLike-Merkmals
• [SPARK-49107] Rückgängig machen von „Wiederherstellen von ‚[SC-173103][sql] ROUTINE_ALREADY_EXISTS unterstützt RoutineType‘“
• [SPARK-49070] [SC-172907][ss][SQL] TransformWithStateExec.initialState wird falsch umgeschrieben, um einen ungültigen Abfrageplan zu erstellen.
• [SPARK-49114] [SC-173217] Fehler beim Speichern des Zustands können von Unterkategorie nicht geladen werden
• [SPARK-49107] Wiederherstellen von "[SC-173103][sql] ROUTINE_ALREADY_EXISTS unterstützt RoutineType"
• [SPARK-49048] [ SC-173223][ss] Hinzufügen von Unterstützung für das Lesen relevanter Operatormetadaten bei gegebener Batch-ID
• [SPARK-49094] [SC-173049][sql] Behebung des nicht funktionierenden ignoreCorruptFiles für Hive ORC-Implementierung mit deaktiviertem mergeSchema
• [SPARK-49108] [SC-173102][Beispiel] REST-API-Beispiel hinzufügen submit_pi.sh
• [SPARK-49107] [ SC-173103][sql] ROUTINE_ALREADY_EXISTS unterstützt RoutineType
• [SPARK-48997] [SC-172484][ss] Implementieren einzelner Entladungen für Wartungsthread-Poolthreadfehler
• [SPARK-49063] [SC-173094][sql] Beheben von Between mit ScalarSubqueries
• [SPARK-45891] [SC-172305][sql][PYTHON][Variant] Fügen Sie Unterstützung für Intervalltypen in der Variant-Spezifikation hinzu.
• [SPARK-49074] [BEHAVE-110][sc-172815][SQL] Variante mit df.cache() korrigieren
• [SPARK-49003] [SC-172613][sql] Beheben von interpretierten Codepfad-Hashing, damit es die Sortierung berücksichtigt
• [SPARK-48740] [SC-172430][sql] Fehler bei fehlender Fensterspezifikation frühzeitig abfangen
• [SPARK-48999] [SC-172245][ss] Aufteilen von PythonStreamingDataSourceSimpleSuite
• [SPARK-49031] [SC-172602] Implementieren der Überprüfung für den TransformWithStateExec-Operator mit OperatorStateMetadataV2
• [SPARK-49053] [SC-172494][python][ML] Die Hilfsfunktionen zum Speichern/Laden des Modells akzeptieren die Spark-Sitzung
• [SPARK-49032] [Backport][15.x][SS] Hinzufügen des Schemapfads im Metadatentabelleneintrag, Überprüfen der erwarteten Version und Hinzufügen von Operatormetadaten im Zusammenhang mit dem Operatormetadatenformat v2
• [SPARK-49034] [SC-172306][core] Unterstützen des serverseitigen sparkProperties Ersatzes in der REST-Übermittlungs-API
• [SPARK-48931] [SC-171895][ss] Reduzierung der Kosten der Cloud Store Listen-API für die Wartung von Zustandsspeicher.
• [SPARK-48849] [SC-172068][ss]Create OperatorStateMetadataV2 für den TransformWithStateExec-Operator
• [SPARK-49013] [SC-172322] Ändern des Schlüssels in collationsMap für Zuordnungs- und Arraytypen in skalarer Reihenfolge
• [SPARK-48414] [SC-171884][python] Beheben von Breaking Change in fromJson von Python
• [SPARK-48910] [SC-171001][sql] Verwenden von HashSet/HashMap, um lineare Suchvorgänge in PreprocessTableCreation zu vermeiden
• [SPARK-49007] [ SC-172204][Core] Optimierung von MasterPage zur Unterstützung eines benutzerdefinierten Titels.
• [SPARK-49009] [SC-172263][sql][PYTHON] Spalten-APIs und -Funktionen Enumerationen akzeptieren lassen
• [SPARK-49033] [SC-172303][core] Unterstützen des serverseitigen environmentVariables Ersatzes in der REST-Übermittlungs-API
• [SPARK-48363] [SC-166470][sql] Bereinigung einiger redundanter Codes in from_xml
• [SPARK-46743] [SC-170867][sql][BEHAVE-84] Fehler zählen, nachdem ScalarSubqery gefaltet wurde, wenn es eine leere Beziehung hat
• [SPARK-49040] [ SC-172351][sql] Dokument korrigieren sql-ref-syntax-aux-exec-imm.md
• [SPARK-48998] [SC-172212][ml] Metaalgorithmen speichern/laden Modelle mit SparkSession
• [SPARK-48959] [SC-171708][sql] NoSuchNamespaceException auf NoSuchDatabaseException erweitern, um die Ausnahmebehandlung wiederherzustellen
• [SPARK-48996] [SC-172130][sql][PYTHON] Bare Literale für und- und oder-Spalten zulassen
• [SPARK-48990] [SC-171936] Nachverfolgung für #101759 – Testkorrektur
• [SPARK-48338] [SC-171912][sql] Überprüfen von Variablendeklarationen
• [SPARK-48990] [SC-171936][sql] Einheitliche, variablenbezogene SQL-Syntaxschlüsselwörter
• [SPARK-48988] [SC-171915][ml] Erstellen von DefaultParamsReader/Writer Handle-Metadaten mit Spark-Sitzung
• [SPARK-48974] [SC-171978][sql][SS][ml][MLLIB] Nutze SparkSession.implicits statt SQLContext.implicits
• [SPARK-48760] [SC-170870][sql] Korrigieren von CatalogV2Util.applyClusterByChanges
• [SPARK-48928] [SC-171956] Protokollwarnung für das Aufrufen von unpersist() für lokal überprüfte RDDs
• [SPARK-48760] [SC-170139][sql] Einführung ALTER TABLE ... CLUSTER BY SQL-Syntax zum Ändern von Clusterspalten
• [SPARK-48844] Wiederherstellen von „[SC-170669][sql] USE INVALID_EMPTY_LOCATION anstelle von UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY, wenn der Pfad leer ist“
• [SPARK-48833] [SC-171914][sql][VARIANT] Unterstützungsvariante in InMemoryTableScan
• [SPARK-48975] [SC-171894][protobuf] Entfernen einer unnötigen ScalaReflectionLock Definition aus protobuf
• [SPARK-48970] [SC-171800][python][ML] Vermeiden Sie die Verwendung von SparkSession.getActiveSession in Spark ML Reader/Writer.
• [SPARK-48844] [SC-170669][sql] USE INVALID_EMPTY_LOCATION anstelle von UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY, wenn der Pfad leer ist“
• [SPARK-48714] [SC-170136] Beheben fehlerhafter df.mergeInto-Tests in PySpark und UC
• [SPARK-48957] [ SC-171797][ss] Gibt unterklassifizierte Fehlerklasse beim Zustandsspeicher-Laden für HDFS- und RocksDB-Anbieter zurück.
• [SPARK-48891] [Backport][15x][SC-171677][ss] Die Überarbeitung des StateSchemaCompatibilityChecker zur Vereinheitlichung aller Zustandsschemaformate
• [SPARK-48972] [SC-171795][python] Vereinheitlichung der Behandlung von Literalzeichenfolgen in Funktionen
• [SPARK-48388] [SC-171337][sql] Anweisungsverhalten für SQL-Skripts korrigieren
• [SPARK-48743] [SC-170552][sql][SS] MergeSessionIterator sollte besser behandelt werden, wenn getStruct null zurückgibt.
• [SPARK-48623] [15.x][sc-171322][CORE] Migrieren von FileAppender-Protokollen zur strukturierten Protokollierung
• [SPARK-36680] [DBRRM-1123] Wiederherstellen von „[SC-170640][sql] Unterstützt dynamische Tabellenoptionen für Spark SQL“
• [SPARK-48841] [SC-170868][behave-83][SQL] collationName in sql() von Collate einfügen
• [SPARK-48941] [SC-171703][python][ML] RdD-Lese-/Schreib-API-Aufruf durch Dataframe-Lese-/Schreib-API ersetzen
• [SPARK-48938] [SC-171577][python] Verbessern von Fehlermeldungen beim Registrieren Python UDTFs
• [SPARK-48350] [SC-171040][sql] Einführung von benutzerdefinierten Ausnahmen für SQL-Skripting
• [SPARK-48907] [ SC-171158][sql] Korrigieren Sie den Wert explicitTypes in COLLATION_MISMATCH.EXPLICIT
• [SPARK-48945] [ SC-171658][python] Vereinfachen von regex-Funktionen mit lit
• [SPARK-48944] [SC-171576][connect] Vereinheitlichen der JSON-Format-Schema-Verarbeitung im Connect Server
• [SPARK-48836] [SC-171569] Integrieren eines SQL-Schemas in Zustandsschema/Metadaten
• [SPARK-48946] [SC-171504][sql] NPE in Maskierungsmethode, wenn die Sitzung NULL ist
• [SPARK-48921] [SC-171412][sql] ScalaUDF-Encoder in Unterabfragen sollten für MergeInto aufgelöst werden
• [SPARK-45155] [SC-171048][connect] Hinzufügen von API-Dokumenten für Spark Connect JVM/Scala Client
• [SPARK-48900] [SC-171319] Feld reason hinzufügen für cancelJobGroup und cancelJobsWithTag
• [SPARK-48865] [SC-171154][sql] Funktion try_url_decode hinzufügen
• [SPARK-48851] [SC-170767][sql] Ändern Sie den Wert von SCHEMA_NOT_FOUND von namespace auf catalog.namespace
• [SPARK-48510] [SC-170893][2/2] Unterstützen der UDAF-API toColumn in Spark Connect
• [SPARK-45190] [SC-171055][spark-48897][PYTHON][connect] from_xml für die Unterstützung des StructType-Schemas einrichten
• [SPARK-48930] [SC-171304][core] Redigieren durch Einbeziehung des Musters awsAccessKeyIdaccesskey
• [SPARK-48909] [SC-171080][ml][MLLIB] Verwendet SparkSession über SparkContext beim Schreiben von Metadaten
• [SPARK-48883] [SC-171133][ml][R] RdD-Lese-/Schreib-API-Aufruf durch Dataframe-Lese-/Schreib-API ersetzen
• [SPARK-48924] [ SC-171313][ps] Hinzufügen einer Panda-ähnlichen make_interval Hilfsfunktion
• [SPARK-48884] [SC-171051][python] Nicht verwendete Hilfsfunktion entfernen PythonSQLUtils.makeInterval
• [SPARK-48817] [SC-170636][sql] Gemeinsames Ausführen von Union Multi-Befehlen
• [SPARK-48896] [SC-171079][ml][MLLIB] Vermeiden Sie die Neupartitionierung beim Schreiben der Metadaten.
• [SPARK-48892] [SC-171127][ml] Vermeiden des zeilenweisen Parameterlesens Tokenizer
• [SPARK-48927] [SC-171227][Kern] Anzeigen der Anzahl der zwischengespeicherten RDDs in StoragePage
• [SPARK-48886] [15.x][Backport][SC-171039][ss] Fügen Sie Versionsinformationen zum Änderungsprotokoll v2 hinzu, um eine einfachere Entwicklung zu ermöglichen.
• [SPARK-48903] [SC-171136][ss] Die letzte Snapshotversion von RocksDB beim Remote-Laden korrekt einstellen.
• [SPARK-48742] [ SC-170538][ss] Virtuelle Säulenfamilie für RocksDB
• [SPARK-48726] [15.x][sc-170753][SS] Erstellen Sie das StateSchemaV3-Dateiformat, und schreiben Sie dies für den Operator TransformWithStateExec.
• [SPARK-48794] [SC-170882][connect][15.x] df.mergeInto-Unterstützung für Spark Connect (Scala und Python)
• [SPARK-48714] [ SC-170136][python] Implementieren DataFrame.mergeInto in PySpark
• [SPARK-48772] [SC-170642][ss][SQL] Status Datenquelle Änderungsfeed Reader Modus
• [SPARK-48666] [SC-170887][sql] Filter nicht herunterdrücken, wenn er PythonUDFs enthält
• [SPARK-48845] [SC-170889][sql] GenericUDF erfasst Ausnahmen von untergeordneten Elementen
• [SPARK-48880] [SC-170974][core] Vermeiden Des Auslösens von NullPointerException, wenn das Treiber-Plug-In nicht initialisiert werden kann
• [SPARK-48888] [Backport][15x][SC-170973][ss] Entfernen der Snapshot-Erstellung basierend auf der Größe der Changelog-Operationen
• [SPARK-48871] [SC-170876] Beheben INVALID_NON_DETERMINISTIC_EXPRESSIONS Überprüfung in...
• [SPARK-48883] [SC-170894][ml][R] RdD-Lese-/Schreib-API-Aufruf durch Dataframe-Lese-/Schreib-API ersetzen
• [SPARK-36680] [SC-170640][sql] Unterstützt dynamische Tabellenoptionen für Spark SQL
• [SPARK-48804] [SC-170558][sql] Hinzufügen von classIsLoadable & OutputCommitter.isAssignableFrom Überprüfung für Output-Committer-Klassenkonfigurationen
• [SPARK-46738] [SC-170791][python] Eine Gruppe von doctests wieder aktivieren
• [SPARK-48858] [SC-170756][python] Entfernen veralteter setDaemon Methodenaufrufe von Thread in log_communication.py
• [SPARK-48639] [SC-169801][connect][PYTHON] Origin zu RelationCommon hinzufügen
• [SPARK-48863] [SC-170770][es-1133940][SQL] Fix ClassCastException beim Analysieren von JSON mit aktiviertem "spark.sql.json.enablePartialResults"
• [SPARK-48343] [ SC-170450][sql] Einführung des SQL Scripting-Interpreters
• [SPARK-48529] [ SC-170755][sql] Einführung von Bezeichnungen in SQL-Skripting
• [SPARK-45292] Wiederherstellung von „[SC-151609][sql][HIVE] Entfernen von Guava aus freigegebenen Klassen in IsolatedClientLoader“
• [SPARK-48037] [SC-165330][core][3.5] Korrigieren von SortShuffleWriter enthält keine Shuffle-Schreibmetriken, was zu potenziell ungenauen Daten führt
• [SPARK-48720] [SC-170551][sql] Ausrichten des Befehls ALTER TABLE ... UNSET TBLPROPERTIES ... in v1 und v2
• [SPARK-48485] [SC-167825][connect][SS] Unterstützung für interruptTag und interruptAll in Streaming-Abfragen
• [SPARK-45292] [SC-151609][sql][HIVE] Guava aus freigegebenen Klassen im IsolatedClientLoader entfernen
• [SPARK-48668] [SC-169815][sql] Unterstützung für ALTER NAMESPACE ... Nicht festgelegte Eigenschaften in v2
• [SPARK-47914] [ SC-165313][sql] Zeigen Sie nicht den Splits-Parameter in Range an.
• [SPARK-48807] [ SC-170643][sql] Binäre Unterstützung für CSV-Datenquelle
• [SPARK-48220] [SC-167592][python][15.X] Erlauben Sie das Übergeben einer PyArrow-Tabelle an createDataFrame()
• [SPARK-48545] [SC-169543][sql] Erstellen von to_avro- und from_avro SQL-Funktionen zum Abgleichen von DataFrame-Entsprechungen
• [SPARK-47577] [SC-168875][spark-47579] Korrigieren der irreführenden Verwendung von Protokollschlüsseln TASK_ID

Databricks ODBC/JDBC-Treiberunterstützung

Databricks unterstützt ODBC-/JDBC-Treiber, die in den letzten 2 Jahren veröffentlicht wurden. Laden Sie die kürzlich veröffentlichten Treiber herunter, und führen Sie ein Upgrade durch (ODBC herunterladen, JDBC herunterladen).

Systemumgebung

• Betriebssystem: Ubuntu 24.04.1 LTS
• Java: Zulu17.50+19-CA
• Scala: 2.12.15
• Python: 3.12.3
• R: 4.4.0
• Delta Lake: 3.2.1

Installierte Python-Bibliotheken

Installierte R-Bibliotheken

R-Bibliotheken werden aus der Posit Paket-Manager CRAN-Momentaufnahme am 2024-08-04 installiert: https://packagemanager.posit.co/cran/2024-08-04/.

Installierte Java- und Scala-Bibliotheken (Scala 2.12-Clusterversion)