Requisiti e limitazioni di calcolo standard

Questa pagina include un elenco di requisiti e limitazioni per il calcolo standard. Se si usa il calcolo classico, Databricks consiglia di usare la modalità di accesso standard, a meno che il carico di lavoro non sia dipendente da una delle limitazioni elencate di seguito.

Limitazioni di calcolo standard correnti

Le sezioni seguenti elencano le limitazioni per il calcolo standard in base alla versione più recente di Databricks Runtime. Per le limitazioni applicabili alle versioni precedenti di Databricks Runtime, vedere Limitazioni dipendenti dal runtime.

Se queste funzionalità sono necessarie per il carico di lavoro, usare invece calcolo dedicato .

Limitazioni di calcolo standard generali

• Databricks Runtime per ML non è supportato. Installare invece qualsiasi libreria di Machine Learning non in bundle con Databricks Runtime come libreria con ambito di calcolo.
• Le risorse di calcolo abilitate per LA GPU non sono supportate.
• Le attività di job spark-submit non sono supportate. È meglio utilizzare un'attività JAR invece.
• DBUtils e altri client possono leggere solo dall'archiviazione su cloud usando una posizione esterna.
• La radice DBFS e i punti di montaggio non supportano FUSE.

Limitazioni della lingua

• R non è supportato.

Limitazioni dell'API Spark

• Spark Context (sc), spark.sparkContext e sqlContext non sono supportati per Scala:
  • Azure Databricks consiglia di usare la spark variabile per interagire con l'istanza SparkSession .
  • Anche le funzioni sc seguenti non sono supportate: emptyRDD, range, init_batched_serializer, parallelize, pickleFile, textFile, wholeTextFiles, binaryFiles, binaryRecords, sequenceFile, newAPIHadoopFile, newAPIHadoopRDD, hadoopFile, hadoopRDD, union, runJob, setSystemProperty, uiWebUrl, stop, setJobGroup, setLocalProperty, getConf.
• L'impostazione di determinate proprietà di configurazione di Spark non è supportata. La creazione o la modifica di un cluster che imposta una proprietà con restrizioni ha esito negativo e viene visualizzato un errore. Per l'elenco completo, vedere Limitazioni di configurazione di Spark.
• Quando si crea un dataframe da dati locali tramite spark.createDataFrame, le dimensioni delle righe non possono superare 128 MB.
• Le API RDD non sono supportate.
• Spark Connect, usato nelle versioni più recenti di Databricks Runtime, rinvia l'analisi e la risoluzione dei nomi al tempo di esecuzione, che può modificare il comportamento del codice. Vedi Confronta Spark Connect con Spark Classic.

Limitazioni delle UDF (funzioni definite dall'utente)

• Le UDF di Hive non sono supportate. Usare invece UDF nel catalogo Unity.
• Le funzioni definite dall'utente Scala non possono essere usate all'interno di funzioni di ordine elevato.

Limitazioni di streaming

• L'uso delle sorgenti socket non è supportato.
• Il sourceArchiveDir deve trovarsi nella stessa posizione esterna dell'origine quando si utilizza option("cleanSource", "archive") con un'origine dati gestita da Unity Catalog.
• Per le origini e le destinazioni Kafka, le opzioni seguenti non sono supportate:
  • kafka.sasl.client.callback.handler.class
  • kafka.sasl.login.callback.handler.class
  • kafka.sasl.login.class
  • kafka.partition.assignment.strategy
• Python foreachBatch non supporta ThreadPoolExecutor né l'esecuzione multithread. L'esecuzione multithread potrebbe non generare errori, ma può causare un danneggiamento dei dati o risultati incoerenti.

Limitazioni di rete e file system

• Standard compute esegue comandi come utente con privilegi limitati cui è vietato accedere a parti sensibili del filesystem.
• I percorsi in stile POSIX (/) per DBFS non sono supportati.
• Solo gli amministratori e gli utenti dell'area di lavoro con autorizzazioni ANY FILE possono interagire direttamente con i file tramite DBFS.

• Non è possibile connettersi al servizio metadati dell'istanza o ad Azure WireServer.

Limitazioni delle variabili di ambiente

Solo un set predefinito di variabili di ambiente è disponibile per il motore Spark e gli script init nel calcolo standard. Le variabili di ambiente impostate su un cluster ma che non rientrano in questo insieme rimangono disponibili per il codice utente, incluse le UDF, ma non sono disponibili per il motore Spark o per gli script init.

Questo set include variabili di runtime, credenziali e configurazione comuni. Gli esempi seguenti non sono esaustivi:

• Rete e proxy: HTTP_PROXY, HTTPS_PROXY, NO_PROXY
• Certificati TLS: REQUESTS_CA_BUNDLE, SSL_CERT_FILE
• Credenziali e area di AWS: AWS_ACCESS_KEY_ID, AWS_SECRET_ACCESS_KEY, AWS_REGION, AWS_DEFAULT_REGION
• Azure credenziali: AZURE_CLIENT_ID, AZURE_CLIENT_SECRET,AZURE_TENANT_ID
• Credenziali di Google Cloud: GOOGLE_APPLICATION_CREDENTIALS
• Connessione a Databricks: DATABRICKS_HOST, DATABRICKS_TOKEN
• Impostazioni locali e fuso orario: TZ, LANG, LC_ALL
• Parallelismo e threading: OMP_NUM_THREADS, OPENBLAS_NUM_THREADS, MKL_NUM_THREADS, NUMEXPR_NUM_THREADS
• Osservabilità: DD_API_KEY, DD_SITE, DD_ENV
• Impostazioni predefinite del catalogo Unity: CATALOG, CATALOG_NAME

Limitazioni del kernel Scala

Quando si usa il kernel scala nel calcolo standard, si applicano le limitazioni seguenti:

• Alcune classi non possono essere usate nel codice se sono in conflitto con la libreria interna del kernel di mandorla, in particolare Input. Per un elenco delle importazioni definite di mandorle, vedere Importazioni di mandorle.
• La registrazione diretta a log4j non è supportata.
• Nell'interfaccia utente l'elenco a discesa dello schema del frame di dati non è supportato.
• Se il driver raggiunge OOM, scala REPL non terminerà.
• //connector/sql-aws-connectors:sql-aws-connectors non è nel target bazel di Scala REPL, utilizza i risultati in ClassNotFoundException.
• Il kernel Scala non è compatibile con SQLImplicits.

Limitazioni dipendenti dal runtime

Le limitazioni seguenti sono state risolte tramite gli aggiornamenti di runtime, ma potrebbero comunque essere applicate al carico di lavoro se si usa un runtime precedente.

Supporto linguistico

Supporto dell'API Spark

Supporto di funzioni definite dall'utente

Supporto per lo streaming

Per Python, inoltre, foreachBatch presenta le modifiche di comportamento seguenti in Databricks Runtime 14.0 e versioni successive:

• I comandi print() scrivono l'output nei registri del driver.
• Non è possibile accedere al modulo secondario dbutils.widgets all'interno della funzione.
• Tutti i file, i moduli o gli oggetti a cui si fa riferimento nella funzione devono essere serializzabili e disponibili in Spark.

Supporto di rete e file system

Limitazioni della configurazione di Spark

In Databricks Runtime 19 e versioni successive non è possibile impostare le proprietà di configurazione spark seguenti in modalità di accesso standard. La creazione o la modifica di un cluster che imposta una di queste proprietà o una proprietà che inizia con uno dei prefissi elencati (mostrati con un carattere finale .*), ha esito negativo con un errore. Rimuovere queste proprietà dalla configurazione del cluster, dai criteri di calcolo e dalle definizioni dei processi prima dell'aggiornamento.