BigQuery Omni

Informações básicas

O Google BigQuery Omni é uma solução de análise flexível e multicloud que estende os recursos do BigQuery do Google Cloud para dados residentes em outras nuvens públicas.

• Modelo: BigQuery Omni
• Versão: Atualizações contínuas de serviço.
• Data de lançamento: Apresentado como versão alfa privada em julho de 2020 para AWS S3. Disponível para o público em geral na AWS e no Azure até o final de 2021.
• Requisitos mínimos: Como um serviço de nuvem totalmente gerenciado, o BigQuery Omni em si não possui requisitos de hardware diretos. As ferramentas do lado do cliente (Cloud SDK, bq CLI, drivers ODBC/JDBC, conectores de BI) exigem um sistema operacional compatível, um navegador moderno, internet confiável e CPU/RAM suficientes para operações locais.
• Sistemas operacionais suportados: Não aplicável ao serviço em si. As ferramentas do lado do cliente são compatíveis com os sistemas operacionais mais comuns.
• Última versão estável: BigQuery Omni é uma oferta sem servidor que é atualizada continuamente.
• Data de fim do suporte: Não definida explicitamente para um serviço de nuvem contínuo; o suporte está alinhado com o ciclo de vida geral do serviço BigQuery do Google Cloud.
• Data de Fim de Vida Útil: Não definida explicitamente para um serviço de nuvem contínuo.
• Data de expiração da atualização automática: As atualizações são gerenciadas pelo Google Cloud como parte do modelo sem servidor.
• Tipo de licença: Pagamento conforme o uso, com base no modelo de preços do BigQuery, que inclui computação e armazenamento. As cobranças são baseadas na quantidade de dados processados e na região, com custos adicionais para transferência de dados entre nuvens e armazenamento gerenciado.
• Modelo de implantação: Plataforma de análise multicloud e sem servidor. Ela executa o mecanismo de consulta BigQuery (Dremel) em outras nuvens públicas (AWS e Azure) dentro de clusters Anthos gerenciados pelo Google.

Requisitos técnicos

O BigQuery Omni é um serviço sem servidor e totalmente gerenciado, o que significa que o Google gerencia a infraestrutura subjacente. Portanto, os requisitos técnicos dizem respeito principalmente ao acesso e à integração do lado do cliente.

• RAM: Memória RAM suficiente para ferramentas e aplicativos locais do lado do cliente que se conectam ao BigQuery Omni.
• Processador: Capacidade de processamento adequada para ferramentas e aplicativos locais do lado do cliente.
• Armazenamento: Armazenamento local para ferramentas do lado do cliente, arquivos temporários e resultados de consultas, caso tenham sido baixados localmente. O próprio BigQuery Omni armazena dados no armazenamento do respectivo provedor de nuvem (por exemplo, AWS S3, Azure Blob Storage).
• Tela: Resolução de tela padrão para acessar o console do Google Cloud.
• Portas: Portas de rede padrão para comunicação HTTPS com os serviços do Google Cloud.
• Sistema Operacional: Sistemas operacionais suportados para executar ferramentas e aplicativos do lado do cliente.

Análise dos Requisitos Técnicos

A natureza sem servidor do BigQuery Omni reduz significativamente a carga técnica para os usuários, já que o Google gerencia todos os recursos de computação e a infraestrutura. Os usuários precisam apenas garantir que seus ambientes locais atendam aos requisitos básicos para executar aplicativos cliente e acessar o console do Google Cloud. Essa abordagem elimina a necessidade de provisionar ou gerenciar clusters, simplificando a sobrecarga operacional.

Suporte e compatibilidade

• Última versão: O BigQuery Omni é um serviço em nuvem em constante evolução, sempre executando a versão mais recente.
• Suporte a SO: O serviço em si é independente de sistema operacional. As ferramentas e APIs do lado do cliente são compatíveis com os sistemas operacionais mais comuns.
• Data de término do suporte: Não aplicável a um serviço de nuvem contínuo. O suporte é contínuo como parte da oferta do BigQuery do Google Cloud.
• Localização: O BigQuery Omni processa consultas na mesma região em que o conjunto de dados reside na AWS ou no Azure. As regiões suportadas incluem AWS Leste dos EUA (Norte da Virgínia), AWS Oregon, AWS Seul, AWS Irlanda e Azure Norte da Virgínia.
• Drivers disponíveis: Suporta APIs padrão do BigQuery, bibliotecas de cliente, ferramenta de linha de comando bq e drivers ODBC/JDBC para conectividade.

Análise do estado geral de suporte e compatibilidade

O BigQuery Omni oferece suporte robusto e compatibilidade, integrando-se perfeitamente ao ecossistema BigQuery existente. Ele permite que os usuários aproveitem as ferramentas, APIs e sintaxe SQL familiares do BigQuery em vários ambientes de nuvem. A compatibilidade se estende a diversos formatos de dados, incluindo Avro, CSV, JSON, ORC e Parquet. A capacidade de consultar dados no AWS S3 e no Azure Blob Storage sem precisar movê-los é um recurso de compatibilidade fundamental, reduzindo a complexidade e os custos de saída de dados. O gerenciamento dos clusters Anthos subjacentes pelo Google garante orquestração, implantação e segurança consistentes.

Estado de segurança

• Recursos de segurança:
  • Governança unificada com os controles de segurança do BigQuery, incluindo criptografia, controles de acesso e registros de auditoria.
  • Os dados permanecem na assinatura AWS ou Azure do cliente, e não são movidos para o Google Cloud.
  • Os controles de serviço VPC podem restringir o acesso do BigQuery Omni a nuvens externas.
  • Segurança em nível de linha e de coluna para controle de acesso a dados com granularidade fina.
  • Mascaramento de dados para informações sensíveis.
• Vulnerabilidades conhecidas: Não há vulnerabilidades específicas conhecidas para o BigQuery Omni que sejam publicamente destacadas além das melhores práticas gerais de segurança na nuvem.
• Status na lista negra: Não aplicável.
• Certificações: Possui certificações do Google Cloud e do BigQuery, que estão em conformidade com diversos padrões e estruturas de conformidade do setor.
• Suporte à criptografia:
  • Os dados são criptografados por padrão (AES-256 para dados armazenados, TLS para dados em trânsito).
  • Suporta chaves de criptografia gerenciadas pelo cliente (CMEK) e chaves de criptografia fornecidas pelo cliente (CSEK).
  • Criptografia em nível de coluna usando os algoritmos AES-GCM e AES-SIV, integrada ao Cloud Key Management Service (KMS).
• Métodos de autenticação:
  • Funções padrão do AWS IAM ou entidades do Azure Active Directory para acessar dados nas respectivas assinaturas.
  • Contas de serviço do Google Cloud e credenciais padrão do aplicativo (ADC) para autenticação da API do BigQuery.
  • OAuth 2.0 para acesso programático.
• Recomendações gerais: Implemente o princípio do menor privilégio, utilize segurança em nível de linha e de coluna, configure os controles de serviço da VPC e gerencie as chaves de criptografia de forma eficaz.

Análise da classificação geral de segurança

O BigQuery Omni aproveita a robusta estrutura de segurança do Google Cloud e do BigQuery, proporcionando um alto nível de proteção de dados. Seu principal diferencial reside na abordagem "computação para dados", na qual os dados brutos nunca saem do ambiente AWS ou Azure do cliente, mitigando significativamente os riscos de transferência de dados e os custos de saída. Controles de acesso refinados, incluindo segurança em nível de linha e coluna, juntamente com opções abrangentes de criptografia (padrão, CMEK, CSEK e em nível de coluna) e registros de auditoria, garantem forte governança de dados e conformidade. Os mecanismos de autenticação são padrão e seguros, integrando-se aos provedores de identidade em nuvem existentes. Em resumo, o BigQuery Omni oferece uma postura de segurança de nível empresarial para análises em várias nuvens.

Desempenho e indicadores de desempenho

• Resultados de benchmarks: Resultados de benchmarks públicos específicos para o BigQuery Omni não estão prontamente disponíveis, mas ele herda a reputação do BigQuery de análises escaláveis e rápidas.
• Métricas de desempenho no mundo real:
  • Elimina a transferência de dados entre nuvens, reduzindo a latência e os custos de saída.
  • As consultas são executadas na mesma região onde os dados residem, otimizando o desempenho.
  • Aproveita o desempenho em escala de petabytes do BigQuery para consultas complexas.
  • O armazenamento em cache de metadados melhora o desempenho das consultas.
  • As visualizações materializadas entre nuvens reduzem a transferência de dados, movendo apenas as alterações incrementais.
• Consumo de energia: Não é diretamente mensurável pelos usuários finais, pois trata-se de um serviço de nuvem gerenciado. O Google gerencia a eficiência energética de seus data centers.
• Pegada de carbono: Não é diretamente mensurável pelos usuários finais. O Google Cloud tem como objetivo operações neutras em carbono.
• Comparação com ativos semelhantes: Os concorrentes incluem AWS Redshift Spectrum, Azure Synapse Analytics e Snowflake. O diferencial do BigQuery Omni é sua capacidade de executar o mecanismo de consulta diretamente em outras nuvens, evitando a movimentação de dados.

Análise do Estado Geral de Desempenho

O desempenho do BigQuery Omni é impulsionado principalmente por sua arquitetura exclusiva, que separa o processamento do armazenamento e leva o mecanismo de computação (Dremel) para onde os dados residem na AWS ou no Azure. Isso elimina a necessidade de transferências de dados caras e demoradas entre nuvens, um dos principais gargalos de desempenho para análises multicloud tradicionais. O uso de clusters Anthos gerenciados pelo Google garante a execução otimizada e escalável de consultas. Recursos como cache de metadados e visualizações materializadas entre nuvens aprimoram ainda mais a velocidade e a eficiência das consultas, especialmente para dados acessados ou resumidos com frequência. Embora os números de benchmarks diretos não sejam amplamente divulgados, o design arquitetônico aponta para vantagens significativas de desempenho em cenários multicloud, minimizando a movimentação de dados e aproveitando a escalabilidade inerente do BigQuery.

Avaliações e comentários dos usuários

• Pontos fortes:
  • Suporte a múltiplas nuvens para AWS e Azure.
  • Análise de dados integrada sem necessidade de movimentação de dados, reduzindo custos e complexidade de saída.
  • Utiliza SQL padrão e a interface familiar do BigQuery.
  • Experiência unificada de análise em todas as nuvens.
  • A arquitetura sem servidor elimina a necessidade de gerenciamento de infraestrutura.
  • Recursos de segurança robustos, incluindo governança de dados e criptografia.
  • Capacidade de combinar dados de diferentes plataformas em nuvem.
• Pontos fracos:
  • Possíveis problemas de latência e dependência da conectividade de rede para a comunicação do plano de controle.
  • Limitações em certos recursos do BigQuery (por exemplo, a API de armazenamento do BigQuery não está disponível em regiões Omni, não são permitidas instruções DML nem UDFs em JavaScript).
  • Nem todas as edições do BigQuery são compatíveis com o trabalho com dados em regiões Omni (as edições Standard e Enterprise Plus não são compatíveis).
  • A configuração inicial requer uma configuração cuidadosa das funções e conexões do IAM tanto no Google Cloud quanto na nuvem externa.
• Casos de uso recomendados:
  • Analisar dados distribuídos por várias nuvens públicas (AWS, Azure, Google Cloud).
  • Eliminando silos de dados para obter insights unificados.
  • Análise de marketing combinando dados de diferentes fontes na nuvem.
  • Análise geoespacial em que os dados residem em diversas nuvens.
  • Organizações que buscam evitar a dependência de um único fornecedor e aproveitar os melhores serviços oferecidos por diferentes provedores.

Resumo

O Google BigQuery Omni é uma solução transformadora de análise multicloud, projetada para enfrentar os desafios da dispersão de dados e dos custos de saída em ambientes híbridos e multicloud. Ele estende o poderoso mecanismo de consulta sem servidor do BigQuery para dados residentes no Amazon Web Services (AWS) S3 e no Azure Blob Storage, permitindo que os usuários realizem análises sem precisar mover ou copiar fisicamente os dados para o Google Cloud.

Pontos fortes: O principal ponto forte do BigQuery Omni reside na sua capacidade de proporcionar uma experiência de análise unificada em várias nuvens, utilizando as APIs familiares de SQL e BigQuery. Ao executar o processamento diretamente onde os dados residem, reduz significativamente os custos de transferência de dados e a latência, oferecendo uma solução eficiente e econômica para análises em várias nuvens. Herda o robusto modelo de segurança do BigQuery, incluindo criptografia padrão, chaves gerenciadas pelo cliente, controles de acesso refinados e registros de auditoria, garantindo a governança e a conformidade dos dados. A arquitetura sem servidor simplifica as operações, uma vez que o Google gerencia toda a infraestrutura subjacente.

Pontos fracos: Embora poderoso, o BigQuery Omni apresenta algumas limitações. Certos recursos avançados do BigQuery, como a API de Armazenamento e instruções DML, não são totalmente compatíveis com as regiões Omni. Pode haver dependência da conectividade de rede para o plano de controle, o que pode introduzir latência. Além disso, algumas edições do BigQuery não são compatíveis com as regiões Omni. A configuração inicial exige uma configuração cuidadosa das funções do IAM e das conexões entre os provedores de nuvem.

Recomendações: O BigQuery Omni é altamente recomendado para empresas que operam em ambientes multicloud e precisam analisar grandes conjuntos de dados distribuídos entre Google Cloud, AWS e Azure. Ele é particularmente benéfico para casos de uso que exigem insights unificados de fontes de dados distintas, como análises de marketing, análises geoespaciais e a quebra de silos de dados. As organizações devem considerar cuidadosamente as limitações específicas dos recursos e garantir que suas estratégias de governança de dados estejam alinhadas com as capacidades do Omni, especialmente em relação à residência de dados e aos controles de acesso. É crucial otimizar os data lakes para o desempenho das consultas a fim de maximizar os benefícios do Omni.

As informações fornecidas são baseadas em dados disponíveis publicamente e podem variar dependendo das configurações específicas do dispositivo. Para obter informações atualizadas, consulte os recursos oficiais do fabricante.