DTW CAP01 2024 BP INTRODUCAO AO DATA WAREHOUSING

DW, duas letrinhas poderosas cuja combinação

faz muita diferença no mundo dos dados.

Aliás, é justamente esse armazém de dados

que empoderam as organizações
no seu processo de tomada de decisão.

Muitas empresas primeiro
tomam as suas decisões

para depois olhar para os dados
buscando ratificá-las.

Mas para ser data-driven de fato,
primeiro você olha para os dados

e então depois você faz uma tomada
de decisão muito mais assertiva.

Eu sou a Tassiana, sou gestora
na área de dados e analytics

em uma startup de Inteligência
Artificial, a Tribo IA,

sou também professora
e coordenadora de MBA aqui na FIAP.

E é justamente para falar sobre
tomada de decisão que eu estou aqui

com o meu querido Bruno Passos,

que já tem uma vasta
experiência nesse mercado.

E eu queria que você se apresentasse
para o nosso aluno

e contasse quando que a tomada de decisão
analítica entrou aí na sua carreira.

Eu trabalho com dados há mais de dez anos,

e é um grande prazer estar aqui
com a professora Tassiana.

Já foi minha professora.

Eu acho que eu entrei como
a maioria das pessoas

acabaram entrando no mundo de dados,

que é como um projeto de DW na empresa.

Grudei ali com os especialistas.

Fazia parte de um time de negócio
fazendo o upstream.

o entendimento, uma parte também muito
interessante de levantamento de requisitos,

e fui entrando numa parte mais técnica.

Hoje eu trabalho como squad líder
no Bradesco em inovação e Dados,

e estamos rompendo a barreira dos dados,
e vamos falar um pouco de DW.

Bacana, Bruno.

Essa combinação inovação e dados
é muito poderosa, né?

Como nós podemos...

Pensando aqui em criar um trilho

de entendimento para o nosso aluno,

como podemos definir
esses dados analíticos?

Dados analíticos são dados
que estão disponíveis

para serem explorados, analisados.

Eles vão responder questões de negócio,
questões estratégicas da empresa,

se bem explorados.

Tem toda uma arquitetura
e um contexto por trás disso tudo.

Mas o final dele é responder
questões da organização.

Bacana, bacana.

Em termos práticos, Bruno,
para o nosso aluno entender

que isso vai fazer a diferença
lá no contexto corporativo mesmo,

hoje, você ali na sua liderança,
gestão, na sua atuação com dados,

em que momento você precisa ir lá
e acionar a sua ferramenta,

a sua plataforma de análise de dados?

Hoje nós utilizamos o dado

para facilitar a vida do nosso time
comercial.

Então nós utilizamos esse dado analítico

de uma maneira
bem granular para fazer predições

e melhorar

realmente a vida do comercial,
fazendo com que ele visite

uma loja correta, que ele tenha um índice
de assertividade no dia a dia dele.

Então nós fazemos predições
e modelos estatísticos

para poder melhorar a vida do comercial.

Bruno
Nós temos hoje uma série de tecnologias,

ferramentas, enfim, mas me parece que o DW

é o coração de tudo isso, né?

Como é que funciona?

Vamos começar
a mostrar ali para o nosso aluno

quais seriam os caminhos.

Vou construir um doutor House.

Preciso ter uma equipe técnica
por trás disso.

Como é que eu organizo?

Me organizo num projeto desse tipo?

O DW ou ele é importante

sempre explorar?

Antes de você sair fazendo a construção,
para que ele vai servir?

Para que?

Que respostas
você precisa obter através dos dados?

E quais são as especificidades de cada
departamento e como você vai utilizar?

Claro,
você precisa de uma equipe de negócio

para auxiliar
toda essa estrutura do Data Warehouse.

Para você conseguir transformar os dados,
colocar regras de negócio,

você precisa de pessoas com um viés

um pouco mais técnico
para fazer a ingestão dessas informações.

E assim como as pessoas, sempre tem
aquelas pessoas que tem mais habilidade

do Unix de fazer, de prototipar,
de montar relatórios, dashboards.

Então é um caminho de construção

em relação ao profissional
que tem a oportunidade para todos.

Legal a gente falar,
né Bruno Para o nosso aluno, então, que DW

é um conceito
que apoia a tomada de decisão.

Em termos práticos,

quando a gente pensa num dado
tree house, o que ele tem ali dentro são

de dimensões, não mais do que isso.

E isso vai ser sempre super importante
dentro das empresas.

Mas aí tem toda a questão do ferramental,
do tempo, de construção,

do perfil profissional
e tudo mais para materializar isso.

Mas não é uma ferramenta, não dá para
usar, é simplesmente uma ferramenta.

E aí tem uma questão aqui de definição,
só pra não deixar o nosso aluno confuso,

ou quando ele se deparar com as buzzwords
e os termos e tudo mais.

Se eu coloco lá o high end de

no termo muda alguma coisa.

Apesar do nome ser praticamente igual
às definições também,

se você ler literalmente é igual,
mas é diferente.

Data Warehouse

Ele tem uma amplitude maior

porque ele é a concepção lá
desde o início.

Trazer os dados
lado transacional ou transacional

daqueles sistemas de origem do sistema
financeiro.

Se for um supermercado,
o sistema que passa lá do caixa

até engloba até o processo da confecção
de um dashboard, de um relatório.

Então vamos dizer que o

Data Warehouse sem o NG no final,
ele é um subconjunto.

Dentro desse processo
ele é ele e ele é um ambiente

dentro de um banco de dados onde armazena
essas informações de negócio.

Então é um subconjunto
de todo esse processo bacana

e com o AI em dia

é a isso ter interesse ter inteira
perfeito.

Se a gente não prestar atenção,
a gente confunde

e acha de repente que que um é sinônimo
do outro, se não falar, é energia

no final do ouvido do brasileiro,
passa batido na boa.

Se você fosse hoje, Bruno,
montar uma squad

para compor um DW,
Muitas organizações já tem o seu Dr.

House.

A gente vem fazendo o BI, mas nasceu ali
há boas décadas atrás.

Então, quando você pega, por exemplo,
o Bradesco, uma grande financeira,

necessariamente do dia, tem uma estrutura
de tomada de decisão, independente

Se estivermos falando ali de uma startup,
aí sim é uma empresa que está começando

a fazer os seus registros transacional
e compor a sua base analítica.

Então, vamos pensar num cenário mais novo.

Se você estivesse ali na liderança
de uma squad, quem é que você traria?

Qual é o perfil profissional para atuar
na criação mesmo de uma solução de TI?

Tem cri House?

Para mim sempre existe a necessidade
de você antes de conceber

e prototipar realmente toda a arquitetura

e entender com os responsáveis

uma gestão mais executiva, o que a empresa

e o que ela busca através dos dados

para a gente
definir que tipo de arquitetura,

se a gente vai partir para um DW
ou se a gente pode por uma,

ou se a empresa
ela vai fazer um investimento numa cloud.

E se a gente vai para um lead
que se está interessado em minerar dados.

Agora, se for realmente um data warehouse,

os profissionais,
com certeza muitas pessoas de negócio

e um profissional de gestão de dados,
o profissional de negócio.

Para fazer todo o upstream
há o levantamento de requisitos

e é importante ter um profissional
para fazer toda essa parte

e montar a ingestão dessa informação.

Aquelas três

letrinhas lá de extração,
transformação e a carga de tudo isso.

Então eu traria esses três tipos de perfis
uma pessoa relacionada ao negócio,

uma pessoa que trabalha
com gestão de dados

para fazer toda essa parte de arquitetura
das três letrinhas

que a gente pode passar depois por elas,
é alguém que tem habilidades de fazer

a confecção de um tipo de rede,
de construir relatórios, fazer estudos.

Bacana. Então não é housing.

A gente tem levantamento de requisitos

e isso para responder as dores de negócio.

A gente chama isso na modelagem, falando
técnicas de levantar os fatos.

O que se quer saber, não é isso.

E aí tem uma conexão muito grande
com o negócio.

Em paralelo a isso, de repente
um arquiteto, a gente tem uma série

hoje de arquiteturas lambe da capa,
tudo para tomada de decisão,

malhas de dados,
madeira, batedeira, produtos, enfim,

Ai talvez seja um papo
para um outro vídeo.

Mas sem dúvida
um arquiteto ali para para olhar.

Você falou só
recapitulando para o nosso aluno, né?

Você falou do ETL,
que é uma parte dolorida.

Bruno Porque tem,

é pesado,

dá trabalho, surge os dados,
mas é o trabalho sujo.

Eu tô brincando, não é o trabalho sujo,
às vezes tem.

Na verdade é uma profissão bem legal.

O engenheiro de dados ali
que vai fazer toda essa parte de gestão,

ele vai capturar essas informações
dos sistemas transacionais.

E aí,
com a ajuda dessas pessoas de negócio,

ele vai aplicar todas as regras ali
que foram definidas e vai fazer

o carregamento dessas informações
para dentro desse Data Warehouse.

Então ele faz, ele move a API,

o engenho desce desse processo

e aí tem uma dor de qualidade de dados.

Tem uma estatística
que diz que menos de 10%

hoje das bases de dados
são de fato consideradas qualificadas.

Então a gente tem essa esteira

com tantos profissionais.

É um super projeto e às vezes entra
sujeira e sai sujeira colorida.

Eu brinco com os alunos do outro lado
porque o dado de fato não entra

muito bem qualificado
e a gente nessa fase do ETL

tem muita dificuldade de fazer
o quality cleansing dos dados.

Qualidade de dados hoje já não é mais uma
dor técnica, é uma dor de negócio,

porque se eu não consigo resolver, eu não
respondo às minhas perguntas de negócio.

Então a brinco ali no começo
é trabalho sujo, porque

é trabalhoso, mas é estratégico.

Essa fase de combinar, agregar,
calcular os dados

é como seguir, levá los ali para um nível
que de fato

eles respondam as perguntas
com assertividade.

Você como gestor, sabe, né Bruno?

Se o meu DW não for bem preparado,
o gestor, ele começa a burlar

o sistema e aí ele baixa aquilo no Excel,

dá uma ajustada, vai no fim.

Como eu brinquei
aqui no início do nosso papo,

as empresas não são da hora do Ivan,

elas tomam as decisões
e depois elas até enviesa uns dados

que é para dizer eu tomei a decisão certa,
quando deveria ser o contrário.

Eu faço aquilo que o dado me direciona
a fazer.

Mas é tudo isso.

Eu estou aqui nessa fase do ETL

que parece tão técnico,
mas que tem essa questão de qualidade

que precisa ser pensada ali,
inclusive pela gestão de projeto total.

O Quality não vou falar que é o principal,

acho que é o principal principal
sensor é o principal sensor,

porque é igual você comentou

a informação, ela vem

com um nível de tratamento mínimo

e você pode organizar essas informações
e tratar um campo nulo.

De repente, transformar ali
as cinco variáveis de São Paulo,

São Paulo com e São Paulo com só o SP
e tratar essas informações.

Mas por muitas vezes
você não consegue identificar

se existe um padrão errado
de informação lá dentro.

Por exemplo,
eu posso dizer que numa coluna

deve vir uma descrição de 20 caracteres

e ali é uma é uma coluna para ver

o modelo de um veículo,
mas de repente vem o nome de uma cidade.

É muito difícil o Quality.

Ele identificar algumas coisas
que vêm da origem.

Você até consegue identificar, né?

Então é um trabalho
que realmente, na concepção,

não ali dado Abstraindo toda a parte ali

da montagem da arquitetura,

tem que se pensar
nessas questões de quality

para começar realmente a transformar isso
num dado de qualidade.

É muito difícil 100%

das informações estarem
qual a gente está usando.

Exemplo de banco
que tem mais de 90 sistemas transacionais

e nem tudo se conversa igual
eu comentei aqui,

há um sistema, ele coloca a cidade

de um jeito e um outro sistema de outro.

Você consegue fazer essas correções,
mas se existe um problema na

articulação dos dados,

um campo texto
aonde alguém pode errar alguma coisa

bastante sensível, é bem complicado.

Eu acho que é o maior ofensor
dentro de um DW.

Bom ponta, um super desafio, não?

E aí você falou depois da camada
de consumo, tem ali um analista de BI,

talvez seja esse o melhor nome
para construir.

Davis Você mencionou

é o Hex, porque tem um pouco de
como é que eu crio ali o meu storytelling,

como é que eu capto
as questões mais cognitivas, para onde

as pessoas olham, o que chama a atenção,
uso de cores e tudo mais.

Isso é superimportante
e digno de uma disciplina inteira, né?

E de repente também, Bruno

um pouco de analytics ali,
no sentido mais estatístico mesmo.

Cabe ali uma correlação estatística,
uma estatística

mais descritiva, até até preditiva.

Dá para começar a fazer
algumas combinações de equipe piás?

Sim, e dá para explorar realmente.

Além da análise descritiva,

você pode, dependendo ali

da granularidade de dados,
se você consegue realmente fazer

algum tipo de predição,
começar a trabalhar

um dashboard com uma análise diagnóstica,
criar correlação,

fazer algumas análises e estudos de churn,
por exemplo.

Legal e em cima do UX é muito importante
toda essa estrutura.

Ela tem que sair lá na frente em algo
que faça sentido para quem vai ler.

Então hoje o UX, a parte de Why

também está presente

nos profissionais
que trabalham com detalhes

para achar a melhor maneira
de divulgar essa informação

para melhorar
a leitura de quem vai consumir o dado.

E se você estivesse começando

a sua carreira agora,
querendo entrar no clubinho dos dados?

Não sei se é um clube fechado ou não.

É você que me diz

por onde que você começaria,

que a gente falou de arquiteto,
de engenheiro, de analista de web,

que são muitos caminhos,
mas eu imagino que tem aí

um caminho mais fácil de entrar,

porque talvez a arquitetura
não seja arquitetura.

É uma visão mais holística, já tem que ter
alguma bagagem de carreira, não.

A dica é para o nosso aluno começar.

Eu vou dar uma dica

prática
que na verdade a minha própria experiência

que foi trabalhando com com com dados
voltado para negócio.

Então aquele cara que faz o upstream,
então,

quando você senta do lado de um engenheiro

para você passar
todas aquelas regras e de ajudar

ele a criar uma arquitetura,
ele não cria sozinho.

Ele precisa da sua ajuda
para definir os melhores caminhos.

Você começa a ter visão desses

dois processos, um processo mais técnico

e um processo de negócio,
que é o que realmente falta no mercado.

Pessoas que tem o que não tem,
só um viés técnico,

que é excelente
quando uma pessoa executa a parte técnica,

mas se ela tem o feeling
de negócio, ela consegue

entrar em

caminhos e tomar decisões
bem interessantes.

Então eu começaria como eu
comecei com a parte de negócio

na construção de um data warehouse.

Boa dica, é um bom começo.

Aliás, a gente teve uma onda recente,
não é muito minha praia,

mas vou arriscar
falar aqui do dez full stack,

que é aquele profissional
back end front end de forma.

E eu tenho percebido,

não sei se você percebe
esse mesmo movimento no contexto de dados.

Agora a gente tem um Analytics Engineer

que me parece que essa fusão
desse profissional de análise de dados

que entende de Python
e que entende também de SQL,

mas que se vira bem no desenvolvimento
ali na se precisar, para além da análise

e da consulta interativa dos dados,
se precisar montar uma esteira,

fazer efetivamente a engenharia,
ele consegue.

Consegue estar nos dois momentos
na engenharia e na análise dos dados.

Talvez seja uma uma tendência
para o nosso aluno olhar também.

E na camada executiva,
a gente está falando ali no técnico,

olhando para o negócio.

Quais são as preocupações
na camada executiva E até as vezes,

quando a gente vai montar um teste,
a gente tem que

se perguntar se é mais tático,
se é mais executivo.

É importante porque o nível executivo

ele precisa ter algumas necessidades.

Diferente

de dashboards voltados para o operacional,
para o tático,

ele precisa de respostas num período curto

de tempo de execução

dessas informações e de indicadores
estratégicos, onde ele possa tomar

uma decisão rápida
sem precisar fazer grandes leituras.

A gente costuma falar que tem que ter
um storytelling, todo um contexto.

Tem que ter também para a camada
executiva,

mas uma coisa muito mais enxuta,

onde ele bata o olho
e ele consiga tomar uma ação. Sim.

Em contrapartida, de repente,

o período histórico deva ser maior,
mais resumido, mais um período histórico

maior que se a gente vai falando
de um planejamento mais estratégico,

eu percebo que no tático, no operacional,
eu estou olhando muito ali

para minha esteira, para o meu dia a dia
e pensar no amanhã de repente.

E eu não quero pensar muito isso,
não quero que tenha uma quebra de stock.

Então eu estou olhando
para as minhas compras da semana que vem.

E é isso.

Agora, quando eu estou falando da camada
executiva, de repente o meu planejamento

anual, eu estou norteando

os próximos anos ali da minha organização.

E aí eu tenho que, de repente olhar
para um período histórico um pouco maior.

Pode ser, pode ser o caso também
para a gente diferenciar

um pouco o estratégico do tático.

Gente, papo super bom.

A gente começou aqui conceituando
o mundo de Business Intelligence.

Bruno trouxe aspectos de negócio.

Aliás,
a dica do Bruno foi começar por negócio

e depois abarcar ali a parte técnica.

E agora para como tudo o que é bom
dura pouco.

Agora, para a gente fechar aqui
a nossa conversa, dicas, dicas

Tem alguma dica preciosa
de estudo de caminhos para o nosso aluno

que está entrando nesse
mundo da tomada de decisão?

Eu a minha percepção que hoje eu

não só as pessoas que já já trabalham
com isso, mas estão entrando na área,

começar a olhar a tipos de arquiteturas
e de propostas diferentes

de como disponibilizar
o dado igual para você.

Está cena falou de data,
mexe de e várias outras ferramentas

voltadas para cloud Like House.

Detalhei que para entender

realmente para que universo você

você quer ir, se é um universo também
de mineração de dados.

Se você tem um viés mais matemático,
estatístico

e gosta de explorar e minerar,
esse dado é um caminho também.

É um caminho
não tão recente, mais recente.

Em relação
a toda essa estruturação de dados.

A gente está falando de Data Warehouse
e hoje a concepção do Data Warehouse.

O que a gente está falando aqui

desses dados, das profissões e dos métodos
de como criar toda arquitetura.

Então é importante
quem está querendo entrar na área

e enxergar um cenário como um todo,
porque existem várias possibilidades,

não só além do Data Warehouse
e outras estruturas, mas estrutura

que você acaba fazendo um formato híbrido
com data warehouse.

E você pode entrar nesse

não num outro viés matemático estático
que trabalha essas informações

olhando para frente, criando predições,
criando prescrições.

Então é um mundo muito vasto,
muito vasto mesmo.

Então, quando foi estudar e olha no todo

em relação ao dado, para você enxergar
onde você se encaixa melhor.

Fantástico, Bruno Gente,
só esses últimos termos que ele usou,

ele falou de product lag, house,
arquiteturas híbridas

já daí horas
para não dizer anos de estudo.

Então dicas boas para vocês
se aprofundarem ainda mais aqui

no nosso conteúdo.

Portanto, dizer pessoal
que às vezes nós falamos.

DW Isso soa como algo antigo, porque,
de fato nós fazemos isso há muito tempo.

Agora, o ponto é o seguinte
as tecnologias, elas elas passam, mas

e às vezes eu até sinto a
tem muito cíclica de centraliza,

centraliza, vai de um, de um extremo
a outro, num contexto de agilidade.

Está tudo muito rápido.

A gente tem abarcado aí
muitas techs modernas.

Estão às vezes a estudar uma ferramenta.

Ano que vem já é outra.

Mas quando a gente fala de conceitos,

de tomada, de decisão, de planejamento,
isso é perene.

É contemporâneo ou não, Não passa.

Então, estudar, daí ter house no sentido
de pensar no negócio

e como eu trabalho
os meus pés para tomada de decisão,

é algo que te empodera
pra carreira e vale super a pena.

Você continuar investindo nesse assunto e.