Installér en anden version af SynapseML på Fabric

SynapseML (Synapse Machine Learning) er forudinstalleret på Microsoft Fabric. Hvis du har brug for en specifik version, kan du tilsidesætte den ved at bruge magi-kommandoen %%configure i en Fabric-notesbog.

Hurtig start

Forudsætninger

Før du begynder, skal du sikre dig, at du har følgende ressourcer:

SynapseML og Fabric runtime-kompatibilitet

Vælg SynapseML-versionen og Spark Avro JAR, der matcher din Fabric runtime Spark-version:

Du kan finde tilgængelige SynapseML-versioner på Maven Central.

Installér SynapseML med %%configure

Kommandoen %%configure -f konfigurerer Spark-sessionsegenskaber, inklusive Maven-pakkekoordinater. Flaget -f tvinger en genstart af den eksisterende session.

Eksempel for Fabric Runtime 1.2 (Spark 3.4)

Indsæt denne kode i den første celle i en ny Fabric-notebook og kør cellen:

%%configure -f
{
  "name": "synapseml",
  "conf": {
      "spark.jars.packages": "com.microsoft.azure:synapseml_2.12:1.0.8,org.apache.spark:spark-avro_2.12:3.4.1",
      "spark.jars.repositories": "https://mmlspark.azureedge.net/maven",
      "spark.jars.excludes": "org.scala-lang:scala-reflect,org.apache.spark:spark-tags_2.12,org.scalactic:scalactic_2.12,org.scalatest:scalatest_2.12,com.fasterxml.jackson.core:jackson-databind",
      "spark.yarn.user.classpath.first": "true",
      "spark.sql.parquet.enableVectorizedReader": "false",
      "spark.sql.legacy.replaceDatabricksSparkAvro.enabled": "true"
  }
}

For at installere en anden version, erstatte versionsnumrene i spark.jars.packages:

• synapseml_2.12:<version>: den SynapseML-version, du ønsker (for eksempel, 1.0.4).
• spark-avro_2.12:<spark-version>: skal matche din Fabric runtime Spark-version (se kompatibilitetstabel).

Eksempel for Fabric Runtime 1.1 (Spark 3.3)

%%configure -f
{
  "name": "synapseml",
  "conf": {
      "spark.jars.packages": "com.microsoft.azure:synapseml_2.12:0.11.4,org.apache.spark:spark-avro_2.12:3.3.1",
      "spark.jars.repositories": "https://mmlspark.azureedge.net/maven",
      "spark.jars.excludes": "org.scala-lang:scala-reflect,org.apache.spark:spark-tags_2.12,org.scalactic:scalactic_2.12,org.scalatest:scalatest_2.12,com.fasterxml.jackson.core:jackson-databind",
      "spark.yarn.user.classpath.first": "true",
      "spark.sql.parquet.enableVectorizedReader": "false",
      "spark.sql.legacy.replaceDatabricksSparkAvro.enabled": "true"
  }
}

Verificér Spark-konfigurationen

Efter cellen kører, skal du verificere at Spark-sessionen har accepteret konfigurationen. Kør denne kode i en ny celle:

print(spark.conf.get("spark.jars.packages"))

Forventet output (for Runtime 1.2-eksemplet):

com.microsoft.azure:synapseml_2.12:1.0.8,org.apache.spark:spark-avro_2.12:3.4.1

Kontrollér SynapseML-version

For at verificere installationen skal følgende kode køres i en ny celle. Versionsnummeret bør matche den version, du har installeret.

import synapse.ml.lightgbm
print(f"SynapseML version: {synapse.ml.lightgbm.__version__}")

Forventet output (for Runtime 1.2-eksemplet):

SynapseML version: 1.0.8

Gå tilbage til standardversionen

For at vende tilbage til den forudinstallerede SynapseML-version, fjern cellen %%configure og genstart notesbogssessionen:

1. Slet eller kommenter ud af %%configure cellen.
2. Vælg Session>Stop session i notesbogens værktøjslinje.
3. Kør en hvilken som helst celle for at starte en ny session med standardkonfigurationen.

Konfigurationsreference

Blokken %%configure indeholder disse Spark-egenskaber:

Fejlfinding

%%configure celle virker ikke

Årsag: Cellen %%configure var ikke den første celle, der kørte, eller også var en Spark-session allerede aktiv.

Løsning: Vælg Session>Stop session, og kør derefter cellen %%configure først.

JAR-download fejler eller går ud på tid

Årsag: Maven-repositoriet er utilgængeligt, eller versionskoordinaterne er forkerte.

Løsning: Tjek at SynapseML-versionen findes på Maven Central. Tjek at versionen matcher spark-avro din Spark-runtime-version.

ClassNotFoundException eller NoSuchMethodError ved kørsel

Årsag: SynapseML-versionen er ikke kompatibel med Fabric runtime Spark-versionen.

Løsning: Brug kompatibilitetstabellen til at vælge den korrekte versionskombination.

ImportError: Intet modul med navnet 'synapse.ml'

Årsag: SynapseML Python-wrapper-pakken er ikke installeret i notebook-miljøet.

Løsning: I en ny celle, kør:

%pip install synapseml==1.0.8

Erstat 1.0.8 med den version, der matcher den JAR, du har installeret.

Versionsnummeret matcher ikke den installerede version

Årsag: Python-attributten __version__ kommer fra synapseml pip-pakken, som kan adskille sig fra JAR-versionen installeret af %%configure.

Løsning: Verificér både Spark-konfigurationen og pip-pakkens version:

# Check the JAR version from Spark config
print("JAR packages:", spark.conf.get("spark.jars.packages"))

# Check the pip package version
import synapse.ml.lightgbm
print("Pip package version:", synapse.ml.lightgbm.__version__)

Hvis versionerne ikke matcher, installer den matchende pip-pakke:

%pip install synapseml==1.0.8

Relateret indhold

• Sådan bruger du LightGBM med SynapseML
• Sådan bruger du AI-tjenester med SynapseML
• Sådan udfører du den samme klassificeringsopgave med og uden SynapseML-
• Administrer Apache Spark-biblioteker i Fabric