Raccomandazioni di rete per Lakehouse Federation

Questo articolo fornisce indicazioni per la configurazione di un percorso di rete praticabile tra i cluster di Azure Databricks o sql warehouse e il sistema di database esterno a cui ci si connette tramite Lakehouse Federation.

Quando si configura la connettività di rete per Lakehouse Federation, tenere presente quanto segue:

• Tutto il traffico di rete per le query federate è direttamente tra cluster Azure Databricks (o sql warehouse) e il sistema di database esterno. Né Unity Catalog né il piano di controllo di Azure Databricks è nel percorso di rete.
• Le connessioni che usano OAuth hanno un requisito aggiuntivo. Quando una connessione viene autenticata con OAuth, lo scambio di token OAuth avviene dal piano di controllo Azure Databricks, non dal piano di calcolo. Il piano di controllo deve essere in grado di raggiungere l'endpoint OAuth del sistema esterno. L'inserimento nella allowlist del solo piano di calcolo non è sufficiente per queste connessioni. Per indicazioni specifiche del connettore, vedere la sezione relativa alla rete o alle limitazioni della pagina di connessione pertinente, ad esempio Eseguire query federate in Snowflake (OAuth) o Eseguire query federate in Microsoft SQL Server. Le connessioni HTTP sono un'eccezione; instradano OAuth attraverso il piano di calcolo serverless anziché il piano di controllo.
• Il calcolo di Azure Databricks( ovvero cluster e SQL Warehouse) viene sempre distribuito nel cloud, ma il sistema di database esterno può essere locale o ospitato in qualsiasi provider di servizi cloud, purché sia presente un percorso di rete funzionante tra il calcolo di Azure Databricks e il database esterno.
• Se sono presenti restrizioni di rete in ingresso o in uscita per il calcolo di Azure Databricks o il sistema di database esterno, fare riferimento alle sezioni seguenti per indicazioni generali che consentono di creare un percorso di rete praticabile.

Per altre informazioni sulla rete nelle aree di lavoro di Azure Databricks, vedere Rete.

Il sistema di database e Azure Databricks sono entrambi accessibili tramite Internet.

La connessione deve funzionare senza alcuna configurazione.

Il sistema di database ha restrizioni di accesso alla rete

Se il sistema di database esterno presenta restrizioni di accesso alla rete in ingresso o in uscita e il cluster Azure Databricks o SQL Warehouse è accessibile da Internet, configurare una delle soluzioni di rete seguenti per connettersi dalle risorse di calcolo classiche:

• IP in uscita stabile nell'ambiente di calcolo di Azure Databricks.

  Dal piano di calcolo classico, configura un indirizzo IP stabile tramite un servizio di bilanciamento del carico, un gateway NAT, un gateway Internet o equivalente, e connettilo alla subnet in cui viene distribuito Azure Databricks. Ciò consente alla risorsa di calcolo di condividere un indirizzo IP pubblico stabile che può essere inserito nella lista consentita sul lato del database esterno.

• collegamento privato (solo quando il database esterno si trova nello stesso cloud di calcolo di Azure Databricks)

  Dal piano di calcolo classico, configurare una connessione collegamento privato tra la rete in cui viene distribuito il database e la rete in cui viene distribuito il compute di Azure Databricks.

Dal piano di calcolo serverless è supportato collegamento privato di Azure per il connettore SQL Server. Consulta Passaggio 3: creare le regole degli endpoint privati.

L'ambiente di calcolo di Azure Databricks presenta restrizioni di accesso alla rete

Se il sistema di database esterno è accessibile da Internet e il calcolo di Azure Databricks presenta restrizioni di accesso alla rete in ingresso o in uscita (che è possibile solo se si è in una rete gestita dal cliente), eseguire una delle configurazioni seguenti:

• Inserire l'hostname del database esterno nella lista di permessi delle regole del firewall della subnet in cui il calcolo di Azure Databricks è implementato.

  Se si sceglie di inserire nell'elenco consentito l'indirizzo IP del database esterno anziché il nome host, assicurarsi che il database esterno disponga di un indirizzo IP stabile.

• collegamento privato (solo quando il database esterno si trova nello stesso cloud dell'ambiente di calcolo di Azure Databricks)

  Configurare un collegamento privato tra la rete in cui viene implementato il database e la rete in cui viene implementato Azure Databricks.

L'ambiente di calcolo di Azure Databricks ha un server DNS personalizzato

Se il sistema di database esterno è accessibile da Internet e il calcolo di Azure Databricks dispone di un server DNS personalizzato (che è possibile solo se si è in una rete gestita dal cliente), aggiungere il nome host del sistema di database al server DNS personalizzato in modo che possa essere risolto.

Considerazioni sulla rete Snowflake

Snowflake supporta il traffico in uscita tramite collegamento privato come funzionalità in anteprima. Snowflake non supporta la fornitura di indirizzi IP statici, che impedisce la pratica dell'impostazione degli elenchi consentiti.