Você já deve ter notado algo bastante interessante sobre os fornecedores do Next Generation Enterprise Data Warehouse (EDW) – todos, sem exceção, estão se esforçando muito para garantir que os dados sejam movidos para um mesmo lugar para fins analíticos, o que obviamente, significa colocar todos os dados de uma organização em um mesmo data store – o deles! Isso é muito preocupante pois, envolve dois níveis de System Lock-in:

• 1º De infraestrutura, ou seja, um único fornecedor de ambiente Cloud.
• 2º Do próprio fornecedor da plataforma de EDW, independentemente se a infraestrutura e o EDW são oferecidos sob a mesma marca.

O Vertica tem uma abordagem bastante diferente, anunciada recentemente, mas que vem sendo construída há anos – uma plataforma de “Unified Analytics Warehouse”.

Como pioneiros em Big Data Analytics, sabemos que pode parecer estranho não incluir a palavra “Data” no nome da nossa plataforma. Mas essa é uma escolha intencional, apesar do desejo quase incontrolável para usar o termo “data analytics” para otimização de SEO. O objetivo do Vertica é unificar análises; isso é o que importa! Com o Unified Analytics Warehouse você pode manter seus dados onde quer que estejam, sem excesso de ETL ou necessidade de migrar dados entre diferentes plataformas para depois analisá-los.

Uma versão única da verdade 2.0

Acreditamos que quando nossos clientes precisam analisar dados em diferentes plataformas, eles não se importam – e não deveriam se importar – onde esses dados estão localizados. O que querem é obter uma única versão da verdade. É isso que o Vertica oferece – o Unified Analytics Warehouse – que abrange dados de streaming, bacth, estruturados, semiestruturados e com integração com as principais ferramentas de Data Science. O objetivo do Vertica é oferecer suporte a vários tipos de dados compartilhados, seja HDFS, object storage, multi-cloud, on-premises ou ambiente híbrido, juntamente com a capacidade de cumprir SLAs por meio da ferramenta de visualização escolhida e ferramentas de IA.

É disso que se trata o Vertica Unified Analytics Warehouse. O Vertica UAW permite que parte dos dados possam ser armazenados internamente quando necessário ou fizer sentido para obter melhor performance, ou que parte dos dados fiquem armazenados externamente em formatos de código aberto como JSON, ORC e Parquet – minimizando assim a duplicação de dados. Acreditamos que os dados devem ser armazenados no formato mais eficiente, enquanto o Unified Analytics Warehouse funciona como uma fonte única de verdade analítica abrangendo necessidades e casos de uso.

O que é necessário para Unified Analytics Warehouse?

Primeiro, é necessário atender aos requisitos de dados, incluindo suporte para diferentes tipos de dados. Segundo, os dados precisam ser gerenciáveis – in batch / in motion / at rest – e ainda, combinados com as vantagens de uma tecnologia de compactação otimizada. Terceiro, a solução de Big Data Analytics requer governança, segurança e resiliência. Quarto, a plataforma precisa estar disponível 24 X 7 e sua infraestrutura – nuvem, rede, recursos locais etc. – é parte fundamental desta arquitetura – seus componentes não podem gerar restrições na capacidade de processamento ou de armazenamento. E em quinto lugar é preciso desempenho em escala anteriormente inimaginável, empregando tecnologia de Machine Learning em todo o conjunto de dados.

Além destes pontos destacados, ainda é preciso ter funções analíticas avançadas, incluindo recursos “full end-to-end machine learning”. E estes recursos precisam estar disponíveis não apenas dentro do Data Warehouse, mas também para dados em tabelas externas como HDFS ou S3 e disponíveis por meio de importação/exportação de modelos treinados por meio da integração com ferramentas como Tensor Flow, para realmente unificar as análises. Todos esses requisitos são os diferenciais do Vertica.

O EDW e o Data Lake convergem

Falo com analistas, leio relatórios e vejo previsões de líderes do setor o tempo todo e continuo a ver que os responsáveis pelos projetos de Big Data Analytics esperam por uma solução única para a divisão entre plataformas de EDW e de Data Lake. Mas, na verdade, tanto o Data Lake quanto o EDW são, juntos, a parte central do futuro. O que resolve esta divisão é uma abordagem de Unified Analytics Warehouse.

A resposta certa para qualquer forma de análise não tem nada a ver com colocar todos os dados em um só local. Isso não é do interesse de uma empresa, uma vez que o tempo e o trabalho necessários para mover e transformar as cargas de trabalho de dados são caros e agora, mais do que nunca, representam um grande risco para futuras escolhas. Acreditamos que o foco de uma empresa moderna precisa estar na análise unificada, que abrange várias opções de deployment, de dados e de locais, com capacidades avançadas de análise e funções de Machine Learning, tudo acessível no idioma de sua escolha. Isso é o que ajudará qualquer organização a adotar insights baseados em dados mais rapidamente e a tomar decisões com base nesses insights com confiança. Dada a importância de gerenciar grandes volumes de dados, bem como o desempenho, a precisão e a necessidade de unificar o analista e as comunidades de ciência de dados, acreditamos fortemente no Vertica Unified Analytics Warehouse.

Advanced Analytics, Analytics, Business Intelligence, Data Warehouse, Machine Learning.