Ciclo di vita dell'archiviazione degli oggetti nel catalogo unity

Quando si elimina un oggetto a protezione diretta del catalogo Unity (tramite Esplora cataloghi, SQL DROPe così via), ciò che accade dipende dal tipo di oggetto e dal tipo di archiviazione. Questa pagina descrive il ciclo di vita dei file di dati, la fatturazione dell'archiviazione e le opzioni di ripristino dopo l'eliminazione.

Il tipo di archiviazione determina cosa accade ai file di dati

Per tabelle e volumi, ciò che accade ai file di dati sottostanti dipende dal fatto che l'asset sia gestito o esterno. Per ulteriori informazioni su questa distinzione, vedere Managed versus external assets in Unity Catalog.

  • Tabelle e volumi gestiti: Il catalogo unity controlla il percorso di archiviazione e il ciclo di vita dei file di dati. I file di dati risiedono nel percorso di archiviazione gestito definito a livello di metastore, catalogo o schema. Quando si elimina una tabella o un volume gestito, Unity Catalog elimina i file di dati sottostanti tramite un ciclo di vita in più fasi. I percorsi di archiviazione gestiti sono disponibili in due versioni:

    • archiviazione predefinita di Azure Databricks: archiviazione di oggetti che Azure Databricks provisiona e gestisce nel proprio account Azure Databricks.
    • Archiviazione gestita fornita dal cliente: una posizione di archiviazione cloud nell'account cloud, configurata a livello di metastore, catalogo o schema, in cui Azure Databricks scrive e gestisce i dati.

    Entrambi i tipi condividono lo stesso ciclo di vita dei file di dati, ma la fatturazione e la conservazione dei file post-eliminazione differiscono. Vedi Oggetti gestiti nell'archiviazione predefinita di Azure Databricks e nell'archiviazione fornita dal cliente.

  • Tabelle e volumi esterni: è possibile controllare la posizione e il ciclo di vita di archiviazione. Quando si elimina una tabella o un volume esterno, Unity Catalog rimuove i metadati dal metastore, ma i file di dati rimangono nel percorso di archiviazione cloud.

  • Cataloghi esterni e federati: i dati si trovano in un'altra origine dati ,ad esempio un database federato tramite Lakehouse Federation o un metastore Hive tramite la federazione del metastore Hive. Unity Catalog contiene solo i metadati di connessione. Quando si elimina un catalogo esterno, Unity Catalog rimuove i metadati di connessione. I dati nel sistema di origine non sono interessati.

Per altri oggetti a protezione diretta (cataloghi, schemi, viste, funzioni, modelli), l'eliminazione rimuove solo i metadati, ovvero non sono presenti file di dati associati per la gestione di Unity Catalog. L'eliminazione di un catalogo o di uno schema con CASCADE rimuove le tabelle e i volumi contenuti, ognuno in base al proprio comportamento gestito o esterno precedente.

Recuperare un oggetto eliminato

La modalità di recupero di un oggetto eliminato dipende dal tipo di oggetto.

Tipo di oggetto Recupero
Tabelle, viste materializzate, tabelle di streaming Usare UNDROP entro 7 giorni dall'eliminazione. Le viste materializzate e le tabelle di streaming devono essere state create da una pipeline ETL e tale pipeline deve ancora esistere.
Cataloghi, schemi, volumi, viste, funzioni, modelli Non è possibile recuperarli dopo l'eliminazione.

Warning

Il ripristino è soggetto a limiti di tempo ed è fornito secondo il principio del massimo impegno. Eliminare un oggetto solo dopo aver verificato che i dati non sono più necessari. Usare l'opzione RESTRICT (impostazione predefinita) su DROP CATALOG e DROP SCHEMA per impedire l'eliminazione accidentale di oggetti non vuoti.

Ciclo di vita dei dati gestiti dopo un'eliminazione

L'eliminazione di una tabella gestita o di un volume non elimina immediatamente i file di dati dall'archiviazione cloud. I file di dati vengono conservati durante una finestra di ripristino e eliminati definitivamente in seguito.

Fase 1: finestra di ripristino

Per 7 giorni dopo l’eliminazione, Unity Catalog conserva i dati eliminati in modo temporaneo, così da consentire il recupero dell’oggetto. Durante questa finestra:

  • Usare il comando UNDROP SQL per ripristinare tabelle, viste materializzate e tabelle di streaming.
  • Unity Catalog conserva i metadati dell'oggetto eliminato e l'addebito dello spazio di archiviazione continua.

Fase 2: Ripulitura

Al termine della finestra di recupero di 7 giorni, l'oggetto non può più essere recuperato. Unity Catalog elimina definitivamente i file di dati entro 48 ore. Per informazioni dettagliate sulla fatturazione dell'archiviazione in ogni fase, vedere Fatturazione dell'archiviazione dopo un'eliminazione.

Oggetti gestiti nell'archiviazione predefinita di Azure Databricks rispetto all'archiviazione fornita dal cliente

Gli oggetti gestiti possono usare due tipi di archiviazione gestita. Il ciclo di vita dei dati e il comportamento di eliminazione del catalogo Unity sono gli stessi, ma la fatturazione e la conservazione dei file post-ripulitura differiscono.

Tipo di archiviazione Eliminazione file
archiviazione predefinita di Azure Databricks (gestita da Azure Databricks per conto dell'utente) Unity Catalog elimina definitivamente i file di dati entro 48 ore dalla fine della finestra di ripristino.
Archiviazione gestita fornita dal cliente (una posizione di archiviazione cloud configurata nel metastore, nel catalogo o nello schema) Unity Catalog elimina definitivamente i file di dati entro 48 ore dalla fine della finestra di ripristino. I criteri di archiviazione cloud (controllo delle versioni degli oggetti, eliminazione temporanea, regole del ciclo di vita) possono conservare i file oltre questo punto. Il provider di servizi cloud fattura l'archiviazione in base a tali criteri.

Per altre informazioni sull'archiviazione predefinita Azure Databricks, vedere Archiviazione predefinita in Databricks. Per configurare l'archiviazione gestita fornita dal cliente, vedere Specificare un percorso di archiviazione gestito nel catalogo unity.

Tabelle e volumi esterni

Quando si elimina una tabella esterna o un volume esterno, Il catalogo unity rimuove i metadati dal metastore. I file di dati nell'archiviazione cloud non vengono eliminati. Il tuo fornitore di servizi cloud continua ad addebitarti i costi di archiviazione secondo i criteri del bucket.

Per rimuovere i file, eliminarli direttamente dall'archiviazione cloud.

Cataloghi stranieri e federati

Un catalogo esterno contiene metadati che fanno riferimento a un'origine dati esterna. Quando si elimina un catalogo esterno, Unity Catalog rimuove i metadati di connessione. I dati nel sistema di origine non sono interessati. Azure Databricks non fattura l'archiviazione nel sistema di origine. Si applica la fatturazione del sistema di origine.

Fatturazione dello spazio di archiviazione dopo l'eliminazione

La tabella seguente riepiloga il modo in cui Azure Databricks e il provider cloud fatturano l'archiviazione in ogni fase. Azure Databricks fattura solo per l'archiviazione in Azure Databricks risorsa di archiviazione predefinita e solo durante la finestra di ripristino, la fatturazione dell'archiviazione si arresta al termine della finestra di ripristino di 7 giorni. Per l'archiviazione gestita fornita dal cliente e l'archiviazione esterna, il provider di servizi cloud fattura direttamente.

Tipo di archiviazione Finestra di ripristino Pulizia fase 2 Dopo l'eliminazione
Gestito nell'archiviazione predefinita di Azure Databricks Fatturazione di Azure Databricks Non fatturabile dal cliente (la fatturazione si arresta dopo il passaggio della finestra di ripristino) Non applicabile
Gestito su archiviazione fornita dal cliente Provider di servizi cloud fatturati Provider di servizi cloud fatturati Fatturato dal provider cloud (in base ai criteri del tuo bucket)
Tabelle e volumi esterni Provider di servizi cloud fatturati (i file non vengono eliminati) Provider di servizi cloud fatturati Provider di servizi cloud fatturati
Cataloghi stranieri e federati Non applicabile Non applicabile Non applicabile

Dopo aver eliminato un oggetto gestito nella risorsa di archiviazione fornita dal cliente, è possibile che vengano visualizzati i costi di archiviazione del provider di servizi cloud. Per ridurre questi addebiti, controllare il controllo delle versioni degli oggetti del bucket, l'eliminazione temporanea e i criteri relativi al ciclo di vita.

Eliminare un oggetto da Esplora cataloghi

È possibile eliminare gli oggetti di Unity Catalog in Catalog Explorer nell'interfaccia utente del workspace. Il ciclo di vita dei dati descritto in questo articolo si applica se si elimina un oggetto da Esplora cataloghi o si esegue un'istruzione SQL DROP .

Cosa accade quando si elimina un'area di lavoro

Per impostazione predefinita, l'eliminazione di un'area di lavoro non comporta l'eliminazione automatica del catalogo Unity predefinito dell'area di lavoro. Se il catalogo viene conservato, le tabelle gestite e i volumi rimangono e la fatturazione dell'archiviazione continua fino all'eliminazione del catalogo.

Azure Databricks offre un'opzione di eliminazione forzata che rimuove il catalogo dell'area di lavoro e i relativi dati come parte dell'eliminazione dell'area di lavoro. Vedere Forzare l'eliminazione del catalogo dell'area di lavoro. Se il catalogo dell'area di lavoro non viene eliminato forzatamente, viene conservato dopo l'eliminazione dell'area di lavoro e deve essere eliminato manualmente.

Per informazioni dettagliate sull'eliminazione dell'area di lavoro, vedere Eliminare un'area di lavoro.

Risorse aggiuntive