Data Warehouse: tudo que você precisa saber e 5 passos de como construir
O papel do profissional de marketing hoje depende essencialmente da captura e análise de dados para executar estratégias com base em insights sobre clientes e permitir a otimização dos gastos com publicidade. Afinal, além de criativa, é necessário que a campanha seja relevante, segmentada e capaz de ser ajustada em tempo real, de acordo com o desempenho.
Mas para que isso seja possível, os departamentos de marketing enfrentam uma realidade desafiadora: dados dispersos nas mais diversas fontes e em formatos não consultáveis, além da ausência de ferramentas para analisar e compartilhar dados internamente.
Por isso, o data warehouse (DW) tornou-se uma tecnologia fundamental para se implementar, de fato, um marketing orientado a dados. Ele armazena todas as informações críticas para a tomada de decisões em uma organização e suporta a análise de grandes conjuntos, ou seja, big data!
O data warehouse, ou armazém de dados, abriga dados estruturados, como bases SQL (Structured Query Language, ou linguagem estruturada de consultas utilizada nos bancos de dados relacionais), prontos para serem usados em relatórios e análises.
Na Google Cloud Platform, corresponde ao Big Query, o data warehouse com análise do Google. O BigQuery oferece recursos de armazenamento e um mecanismo de consulta, além de poder processar dados de várias fontes, como Google Ads, Campaign Manager, Analytics 360 e dados próprios (CRM, ponto de venda, APIs e interface do usuário). Dessa forma, é possível carregar dados localmente ou do Cloud Storage. Os anunciantes acumulam diversos dados de campanhas no BigQuery, como dados de cliques, impressões, navegação e performance, que podem ser explorados com técnicas de estatística e machine learning para gerar insights importantes.
Como funciona um data warehouse?
O ETL (do inglês Extract Transform Load, ou Extrair Transformar Carregar) consiste no processo de limpar, filtrar, agregar o dado de maneira que ele possa ser útil e, então, inserido no data warehouse.
A figura acima ilustra como um data warehouse está estruturado. De modo geral, o fluxo das atividades nessa arquitetura parte da extração (Extract) dos dados nas fontes. Posteriormente, esses dados são abrigados por um período na “staging area” (local de armazenamento intermediário no processo ETL).
Lá são tratados com as regras e padrões preestabelecidos (Transform) para seguirem para a etapa de carga (Load), na qual os dados são carregados no data warehouse. Finalmente, essas informações podem ser consultadas por meio de ferramentas de análises (Online Analytical Processing – OLAP) ou ferramentas de mineração (Data Mining) para fornecer insights necessários para a gestão corporativa.
Por que adotar um data warehouse?
As organizações possuem dados de marketing fornecidos por diversas fontes, como aplicações próprias, softwares de marketing e analytics, como CRM e Google Analytics, planilhas, dentre outras. Geralmente, esses dados de origens e formatos diferentes estão isolados, o que não proporciona uma visão única do cliente. Além disso, as empresas esbarram na dificuldade de realizar análises e implementar ferramentas de ETL.
O data warehouse reúne dados em um local de armazenamento comum e permite que esses sejam transformados para consultas, análises, criação de listas e relatórios complexos e até para impulsionar iniciativas de machine learning. Dessa forma, se sua empresa precisa tomar decisões em tempo real com base em informações de alto valor, o data warehouse é, sem dúvidas, um ativo estratégico essencial para seus negócios.
Com os dados armazenados no DW, acessíveis por meio do código e de painéis, e em uma plataforma que permite manipulá-los, muitas decisões de marketing são viabilizadas. No Big Query, por exemplo, é possível realizar:
– análises descritivas sobre o impacto da frequência na conversão por usuário por campanha. Essas informações são úteis quando você cria campanhas de remarketing para adaptar a frequência a uma lista de usuários. Isso é possível graças ao acesso do BigQuery aos dados brutos do Campaign Manager;
– análise de diagnóstico para entender o impacto de um comportamento de campanha e site nas vendas. Para tanto, são utilizadas instruções SQL para criar junções de códigos em Big Data.
– análise preditiva em LTV (lifetime value) para determinados usuários. Prever o valor de grupos específicos de usuários permite criar campanhas de marketing para aumentar as vendas;
– análise prescritiva do sentimento do produto. Por meio da análise da evolução dos comentários e classificações de texto, é possível evitar a segmentação incorreta.
Como construir um data warehouse?
Para construir um data warehouse que seja eficiente, escalável e confiável é preciso:
1 – Mapeamento dos dados: é necessário identificar, antes de tudo, quais dados serão coletados. Veja acima as diversidade de fontes que fornecem dados.
2 – Construção da staging area: nessa área de transição dos dados do DW, eles são copiados e descarregados dos de sistemas de operação (Online Transaction Processing – OLTP) para receberem tratamento para futuras cargas em tabelas de Fatos e Dimensões;
3 – Construção das Dimensões e Fatos: são criadas as estruturas das dimensões que integram o DW; posteriormente, são construídas as estruturas dos Fatos;
4 – Definição do processo de carga: o processo de carga é o “cérebro” do data warehouse; graças a ele, os dados são carregados, atualizados, orquestrados e processados de forma automaticamente.
5 – Criação de metadados: nessa última etapa, é elaborada toda a documentação dos metadados, que contempla processo de construção e dicionário de dados, fundamentais para a gestão do conhecimento.
Quero começar a usar o data warehouse! Como fazer?
Como vimos, os times de business intelligence podem se beneficiar da agilidade, do desempenho e da facilidade propiciados por data warehouses, como o BigQuery, para gerar insights avançados com rapidez.
Para ajudar sua empresa a explorar todo o potencial dos armazéns de dados, a Predicta conta com profissionais especializados para apoiar a integração de dados de diversas fontes com intuito de extrair insights poderosos para seus negócios. Somos certificados pelo Google a gerenciar a Cloud Platform.
Vamos agendar uma reunião? Fale conosco pelo (11) 3463-5600 ou pelo e-mail falecom@predicta.net.
