Databricks Unity Catalog

Informações básicas

• Modelo: Catálogo Unity
• Versão: Atualizada continuamente como um serviço dentro da Plataforma de Inteligência de Dados Databricks.
• Data de lançamento: 26 de maio de 2021.
• Requisitos mínimos: Requer um espaço de trabalho Databricks no plano Premium ou superior.
• Sistemas Operacionais Compatíveis: Não se aplica diretamente ao Unity Catalog em si, mas funciona dentro do ambiente Databricks. É compatível com clusters que executam o Databricks Runtime 11.3 LTS ou superior.
• Última versão estável: Como um serviço gerenciado, o Unity Catalog não possui lançamentos de versão tradicionais; ele recebe atualizações contínuas.
• Data de fim do suporte: Não aplicável; evolui com a plataforma Databricks.
• Data de Fim de Vida Útil: Não aplicável; evolui com a plataforma Databricks.
• Data de expiração da atualização automática: Não aplicável; trata-se de um serviço gerenciado com atualização contínua.
• Tipo de licença: Incluída nos planos Databricks Premium e Enterprise, não exigindo licença separada. A API do Unity Catalog e a implementação do servidor foram disponibilizadas como código aberto em 12 de junho de 2024, sob a licença Apache 2.0.
• Modelo de implantação: Nativo da nuvem, integrado à plataforma Data Intelligence da Databricks, disponível na AWS, Azure e Google Cloud.

Requisitos técnicos

O Databricks Unity Catalog funciona como uma camada de governança dentro da plataforma Databricks Lakehouse, o que significa que seus requisitos técnicos estão principalmente vinculados aos recursos de computação e à infraestrutura de nuvem subjacentes do Databricks.

• RAM: Depende da configuração do cluster Databricks ou do SQL Server usado para acessar os dados do Unity Catalog.
• Processador: Depende da configuração do cluster Databricks ou do SQL Warehouse.
• Armazenamento: Requer armazenamento em nuvem (por exemplo, Azure Data Lake Storage Gen2) para tabelas e volumes gerenciados.
• Exibição: O acesso é normalmente feito através da interface de usuário do Databricks Workspace baseada na web; aplicam-se os requisitos de exibição padrão para aplicativos da web.
• Portas: Conectividade de rede padrão para serviços em nuvem e endpoints do Databricks.
• Sistema Operacional: O Databricks Runtime 11.3 LTS ou superior é necessário para suporte completo ao Unity Catalog em clusters.

Análise dos Requisitos Técnicos

O Unity Catalog em si é um serviço, portanto, não possui requisitos diretos de hardware, como RAM ou processador. Em vez disso, ele depende dos recursos computacionais provisionados no ambiente Databricks. Esses recursos computacionais (clusters e data warehouses SQL) devem ser configurados com modos de acesso específicos, como Standard ou Dedicated (anteriormente Single User), para garantir a interação segura com o Unity Catalog. O armazenamento em nuvem subjacente é um componente crítico para a persistência de dados, principalmente para tabelas e volumes gerenciados. Os requisitos geralmente estão alinhados com o uso de plataformas de dados em nuvem modernas, enfatizando a compatibilidade com as versões do Databricks Runtime para funcionalidade ideal.

Suporte e compatibilidade

• Última versão: O Unity Catalog é um serviço em constante evolução, com novos recursos e melhorias integrados regularmente à plataforma Databricks.
• Suporte a SO: Funciona dentro do ecossistema Databricks, que oferece suporte a vários sistemas operacionais de clientes. O Unity Catalog em si requer o Databricks Runtime 11.3 LTS ou superior para compatibilidade total de recursos.
• Data de término do suporte: Não aplicável; o suporte é contínuo como parte da plataforma Databricks.
• Localização: A plataforma Databricks geralmente oferece suporte a vários idiomas, incluindo a interface e a documentação do Unity Catalog.
• Drivers disponíveis: Integra-se com uma ampla gama de ferramentas e mecanismos por meio de APIs abertas. O Delta Sharing, um protocolo aberto, permite o consumo de dados por plataformas como Power BI, Tableau, Apache Spark, pandas e Java.

Análise do estado geral de suporte e compatibilidade

O Databricks Unity Catalog oferece suporte robusto e ampla compatibilidade por ser parte integrante da Plataforma de Inteligência de Dados Databricks. Seu modelo de desenvolvimento contínuo garante atualizações constantes de recursos e correções de segurança. A compatibilidade é determinada principalmente pelas versões do Databricks Runtime, sendo a versão 11.3 LTS ou superior recomendada para funcionalidade completa. A abordagem de API aberta e o suporte ao Compartilhamento Delta facilitam a ampla interoperabilidade com diversas ferramentas de análise de dados e BI, evitando a dependência de um único fornecedor. Essa estratégia garante que o Unity Catalog permaneça uma solução de governança flexível e bem suportada em diversos ecossistemas de dados.

Estado de segurança

• Recursos de segurança:
  • Controle de acesso centralizado, auditoria, rastreabilidade e monitoramento de qualidade.
  • Modelo de segurança compatível com padrões, baseado em ANSI SQL para concessão de permissões.
  • Controle de acesso granular em níveis de catálogo, esquema, tabela, coluna e linha.
  • Mascaramento dinâmico de dados para proteger informações sensíveis sem duplicação de dados.
  • Auditoria e rastreamento de linhagem integrados para ações em nível de usuário e fluxo de dados.
  • Compartilhamento seguro de dados via Delta Sharing, um protocolo aberto.
  • Suporte para locais de armazenamento gerenciados e locais externos para controlar o acesso ao armazenamento em nuvem.
• Vulnerabilidades conhecidas: Não há "vulnerabilidades conhecidas" específicas destacadas publicamente; o foco está em um design seguro por padrão e em melhorias contínuas de segurança.
• Status na lista negra: Não aplicável.
• Certificações: A certificação de Administrador da Plataforma Databricks abrange a governança e a segurança do Unity Catalog. O Unity Catalog também auxilia as organizações a alcançar e demonstrar a conformidade regulatória.
• Suporte à criptografia:
  • Criptografia de dados em repouso (por exemplo, S3 com KMS, chaves gerenciadas pelo cliente para serviços gerenciados e armazenamento de espaço de trabalho).
  • Criptografia de dados em trânsito (por exemplo, TLS 1.3 entre nós de trabalho do cluster).
  • Criptografia de envelope para múltiplas camadas de confidencialidade de dados.
  • Funções definidas pelo usuário (UDFs) em Python para descriptografia avançada e instantânea com base no nível de acesso do usuário.
• Métodos de autenticação:
  • Tokens de Acesso Pessoal (PATs).
  • Autenticação OAuth de máquina para máquina (M2M).
  • Identidades gerenciadas (atribuídas pelo sistema).
  • Autenticação da entidade principal do serviço.
• Recomendações gerais:
  • Utilize políticas de computação para garantir que os clusters sejam compatíveis com o Catálogo Unity (modos de acesso Padrão ou Dedicado).
  • Para manter a governança do Unity Catalog, evite o acesso externo direto a tabelas externas, priorizando tabelas gerenciadas e o Compartilhamento Delta para distribuição de dados.
  • Implemente o princípio do menor privilégio através do sistema de permissões granulares do Unity Catalog.
  • Gerencie com segurança informações confidenciais, como chaves, usando escopos secretos com suporte do Databricks.

Análise da Classificação Geral de Segurança

O Databricks Unity Catalog oferece uma estrutura de segurança robusta e abrangente, projetada para lidar com os desafios modernos de governança de dados. Ele é seguro por padrão, aplicando controles de acesso rigorosos e oferecendo permissões refinadas até o nível de linha e coluna. A inclusão de mascaramento dinâmico de dados, auditoria integrada e linhagem de ponta a ponta garante transparência e conformidade. Recursos robustos de criptografia para dados em repouso e em trânsito, juntamente com métodos de autenticação flexíveis, reforçam ainda mais sua segurança. Embora nenhum sistema seja totalmente imune a ameaças, o desenvolvimento contínuo do Unity Catalog, a integração com recursos de segurança na nuvem e a ênfase em práticas recomendadas, como o princípio do menor privilégio, contribuem para uma alta classificação geral de segurança.

Desempenho e indicadores de desempenho

• Resultados de referência: Resultados de referência específicos não estão facilmente disponíveis em resultados de busca públicos.
• Métricas de desempenho no mundo real:
  • Melhora o desempenho das consultas por meio de otimização inteligente baseada em padrões de uso.
  • Reduz os custos de armazenamento otimizando o layout dos dados.
  • Elimina tarefas de manutenção de rotina por meio de recursos como compactação automática, agrupamento e aspiração.
  • A Otimização Preditiva otimiza automaticamente as tabelas gerenciadas do Unity Catalog para melhorar o desempenho das consultas e reduzir os custos de armazenamento.
  • Otimização automática do tamanho dos arquivos usando IA, reduzindo a fragmentação dos arquivos e a sobrecarga de verificação.
  • Agrupamento automático de dados com base em padrões de consulta observados.
  • Coleta automática de estatísticas para melhorar o desempenho das consultas por meio de um planejamento mais inteligente de omissão e junção de dados.
• Consumo de energia: Não há métricas específicas de consumo de energia disponíveis publicamente para o Unity Catalog como serviço.
• Pegada de carbono: Não há métricas específicas de pegada de carbono disponíveis publicamente para o Unity Catalog como serviço.
• Comparação com ativos semelhantes:
  • Ao contrário dos catálogos tradicionais, limitados a dados estruturados ou formatos específicos, o Unity Catalog unifica descoberta, acesso, linhagem, monitoramento, auditoria, semântica e compartilhamento em todos os dados e ativos de IA em formatos abertos (Delta, Apache Iceberg, Hudi, Parquet, CSV).
  • Simplifica a governança de dados em comparação com o gerenciamento de ferramentas distintas ou a dependência exclusiva de permissões de arquivo do provedor de nuvem.
  • Oferece um modelo de segurança mais integrado e granular em comparação com os metastores Hive tradicionais.

Análise do Estado de Desempenho Geral

O Databricks Unity Catalog aprimora significativamente o desempenho das operações de dados na plataforma Lakehouse, principalmente por meio de seus recursos de otimização inteligente. Ele automatiza tarefas críticas de ajuste de desempenho, como compactação de arquivos, agrupamento de dados e coleta de estatísticas, o que leva diretamente a uma execução de consultas mais rápida e à redução da sobrecarga de armazenamento. O recurso "Otimização Preditiva" utiliza IA para se adaptar aos padrões de carga de trabalho, garantindo melhoria contínua do desempenho sem intervenção manual. Embora não sejam fornecidos resultados de benchmarks diretos para o Unity Catalog em si, seu design arquitetônico e recursos de otimização integrados contribuem para uma solução de governança e gerenciamento de dados de alto desempenho, superando as abordagens tradicionais ao simplificar as operações e reduzir custos.

Avaliações e comentários dos usuários

O feedback dos usuários destaca o impacto transformador do Unity Catalog na governança e gestão de dados dentro do ecossistema Databricks.

• Pontos fortes:
  • Governança Unificada: Oferece uma visão centralizada para gerenciar o acesso, a auditoria e a linhagem de todos os dados e ativos de IA, simplificando plataformas de dados complexas.
  • Segurança aprimorada: Oferece controle de acesso refinado (nível de linha, nível de coluna, mascaramento dinâmico) e auditoria robusta, cruciais para dados confidenciais e conformidade.
  • Redução de custos e eficiência: Reduz os custos operacionais, otimiza os custos de armazenamento e computação e simplifica o compartilhamento de dados, resultando em economias significativas.
  • Interoperabilidade e abertura: Suporta vários formatos de dados abertos (Delta, Iceberg, Parquet) e integra-se com um amplo ecossistema de ferramentas e mecanismos, evitando a dependência de fornecedores específicos.
  • Descoberta e linhagem de dados: Facilita a descoberta de dados por meio de marcação e pesquisa, e fornece uma linhagem completa de ponta a ponta para análise de impacto e solução de problemas.
  • Gerenciamento de modelos de aprendizado de máquina: Estende a governança aos modelos de aprendizado de máquina, simplificando o versionamento, a linhagem de dados e a implantação.
• Pontos fracos:
  • Dependências da versão do ambiente de execução: Alguns recursos ou suporte a idiomas (por exemplo, cargas de trabalho em R, UDFs em Python, clones superficiais) têm limitações ou requisitos específicos em versões mais antigas do Databricks Runtime.
  • Gerenciamento de grupos: grupos no nível do espaço de trabalho não podem ser usados diretamente em declarações GRANT do Unity Catalog, sendo necessário o gerenciamento de grupos no nível da conta para manter a consistência.
  • Lacunas de funcionalidades (histórico): O agrupamento não é compatível com tabelas do Catálogo Unity.
  • Complexidade da migração: A transição de registros de modelos de espaço de trabalho antigos ou metastores do Hive para o Unity Catalog exige planejamento cuidadoso e compreensão das mudanças.
• Casos de uso recomendados:
  • Governança e segurança de dados centralizadas para data lakes e lakehouses.
  • Gerenciamento e segurança de dados sensíveis, incluindo informações pessoais identificáveis, com controles de acesso refinados.
  • Otimização da gestão do ciclo de vida de modelos de aprendizado de máquina, incluindo versionamento, linhagem e implantação.
  • Facilitar o compartilhamento seguro de dados interna e externamente por meio do Compartilhamento Delta.
  • Garantir a conformidade regulamentar e simplificar os processos de auditoria.
  • Otimização de custos por meio de gerenciamento automatizado de dados e ajuste de desempenho.
  • Unificação da governança para dados estruturados, não estruturados e ativos de IA em múltiplos ambientes de nuvem.

Resumo

O Databricks Unity Catalog é um componente fundamental da Plataforma de Inteligência de Dados Databricks, oferecendo uma solução de governança unificada e aberta para todos os ativos de dados e IA. Lançado em maio de 2021, ele aborda as complexidades do gerenciamento de dados, centralizando o controle de acesso, auditoria, linhagem e descoberta de dados em vários espaços de trabalho e ambientes de nuvem do Databricks. Opera como um serviço continuamente atualizado, integrado aos planos Databricks Premium e Enterprise, com sua API principal e implementação de servidor de código aberto sob a licença Apache 2.0 desde junho de 2024.

Os pontos fortes do ativo residem em seu modelo de segurança abrangente, que oferece controle de acesso granular até os níveis de linha e coluna, mascaramento dinâmico de dados e recursos robustos de auditoria baseados nos padrões ANSI SQL. Ele suporta vários métodos de autenticação, incluindo Tokens de Acesso Pessoal (PATs), OAuth, Identidades Gerenciadas e Entidades de Serviço (SPs), garantindo uma integração segura. A criptografia de dados em repouso e em trânsito, juntamente com técnicas avançadas como criptografia de envelope e UDFs em Python para descriptografia, reforça ainda mais sua segurança. O desempenho é significativamente aprimorado por otimizações inteligentes, como compactação automática de arquivos, agrupamento de dados e otimização preditiva, resultando em maior velocidade de consulta e redução dos custos de armazenamento.

No entanto, o Unity Catalog apresenta algumas considerações. A compatibilidade com versões mais antigas do Databricks Runtime pode introduzir limitações para certas funcionalidades, como cargas de trabalho em R ou UDFs em Python. A transição de grupos em nível de espaço de trabalho para grupos em nível de conta, visando permissões consistentes, também pode exigir adaptação. Apesar disso, sua capacidade de unificar a governança em diversos formatos de dados (Delta, Iceberg, Parquet) e ativos de IA, aliada às suas APIs abertas e recursos de compartilhamento Delta, o posiciona como uma solução altamente compatível e interoperável.

Em essência, o Databricks Unity Catalog é uma solução robusta e de nível empresarial para governança de dados moderna, especialmente benéfica para organizações que buscam centralizar o controle, aprimorar a segurança, garantir a conformidade e otimizar o desempenho de suas iniciativas de dados e IA em ambientes multicloud. Sua evolução contínua e conjunto robusto de recursos o tornam uma ferramenta essencial para a construção de data lakehouses confiáveis e eficientes.

As informações fornecidas são baseadas em dados disponíveis publicamente e podem variar dependendo das configurações específicas do dispositivo. Para obter informações atualizadas, consulte os recursos oficiais do fabricante.