-
DW, duas letrinhas poderosas cuja combinação
-
faz muita diferença no mundo dos dados.
-
Aliás, é justamente esse armazém de dados
-
que empoderam as organizações
no seu processo de tomada de decisão.
-
Muitas empresas primeiro
tomam as suas decisões
-
para depois olhar para os dados
buscando ratificá-las.
-
Mas para ser data-driven de fato,
primeiro você olha para os dados
-
e então depois você faz uma tomada
de decisão muito mais assertiva.
-
Eu sou a Tassiana, sou gestora
na área de dados e analytics
-
em uma startup de Inteligência
Artificial, a Tribo IA,
-
sou também professora
e coordenadora de MBA aqui na FIAP.
-
E é justamente para falar sobre
tomada de decisão que eu estou aqui
-
com o meu querido Bruno Passos,
-
que já tem uma vasta
experiência nesse mercado.
-
E eu queria que você se apresentasse
para o nosso aluno
-
e contasse quando que a tomada de decisão
analítica entrou aí na sua carreira.
-
Eu trabalho com dados há mais de dez anos,
-
e é um grande prazer estar aqui
com a professora Tassiana.
-
Já foi minha professora.
-
Eu acho que eu entrei como
a maioria das pessoas
-
acabaram entrando no mundo de dados,
-
que é como um projeto de DW na empresa e
-
grudei ali com os especialistas.
-
Fazia parte de um time de negócio
fazendo o upstream.
-
Eu, o entendimento
e uma parte interessante também
-
de levantamento de requisitos.
-
E foi entrando numa parte mais técnica.
-
Hoje eu trabalho como Squad líder
no Bradesco em inovação e Dados, e a gente
-
está rompendo a barreira dos dados
e vamos falar um pouco de DW.
-
Bacana, Bruno.
-
Essa combinação inovação e dados
é muito poderoso, né?
-
Como que a gente pode, pensando aqui
-
em criar um trilho de entendimento
para o nosso aluno?
-
Como que a gente pode definir esses dados
analíticos?
-
Dados analíticos
são dados que estão disponíveis
-
para serem explorados, analisados.
-
Eles vão responder questões de negócio,
questões estratégicas da empresa.
-
Se bem explorados,
tem toda uma arquitetura e um contexto
-
por trás disso tudo.
-
Mas o final dele é responder
questões da organização.
-
Bacana. Bacana.
-
Em termos práticos, Bruno,
para o nosso aluno entender que isso
-
vai fazer a diferença
lá no contexto corporativo mesmo hoje,
-
você ali na sua liderança, gestão,
na sua atuação, com dados
-
em que momento você precisa ir lá
e acionar a sua ferramenta,
-
a sua plataforma de análise de dados.
-
Hoje nós utilizamos o dado
-
para facilitar a vida do nosso time
comercial.
-
Então nós fazemos
utilizamos esse dado analítico
-
de uma maneira
bem granular para fazer predições
-
e melhorar
-
realmente a vida do comercial,
fazendo com que ele visite
-
uma loja correta, que ele tenha um índice
de assertividade no dia a dia dele.
-
Então nós fazemos predições
e modelos estatísticos
-
para poder melhorar a vida do comercial.
-
Bruno
Nós temos hoje uma série de tecnologias,
-
ferramentas, enfim, mas me parece que o DW
-
é o coração de tudo isso, né?
-
Como é que funciona?
-
Vamos começar
a mostrar ali para o nosso aluno
-
quais seriam os caminhos.
-
Vou construir um doutor House.
-
Preciso ter uma equipe técnica
por trás disso.
-
Como é que eu organizo?
-
Me organizo num projeto desse tipo?
-
O DW ou ele é importante
-
sempre explorar?
-
Antes de você sair fazendo a construção,
para que ele vai servir?
-
Para que?
-
Que respostas
você precisa obter através dos dados?
-
E quais são as especificidades de cada
departamento e como você vai utilizar?
-
Claro,
você precisa de uma equipe de negócio
-
para auxiliar
toda essa estrutura do Data Warehouse.
-
Para você conseguir transformar os dados,
colocar regras de negócio,
-
você precisa de pessoas com um viés
-
um pouco mais técnico
para fazer a ingestão dessas informações.
-
E assim como as pessoas, sempre tem
aquelas pessoas que tem mais habilidade
-
do Unix de fazer, de prototipar,
de montar relatórios, dashboards.
-
Então é um caminho de construção
-
em relação ao profissional
que tem a oportunidade para todos.
-
Legal a gente falar,
né Bruno Para o nosso aluno, então, que DW
-
é um conceito
que apoia a tomada de decisão.
-
Em termos práticos,
-
quando a gente pensa num dado
tree house, o que ele tem ali dentro são
-
de dimensões, não mais do que isso.
-
E isso vai ser sempre super importante
dentro das empresas.
-
Mas aí tem toda a questão do ferramental,
do tempo, de construção,
-
do perfil profissional
e tudo mais para materializar isso.
-
Mas não é uma ferramenta, não dá para
usar, é simplesmente uma ferramenta.
-
E aí tem uma questão aqui de definição,
só pra não deixar o nosso aluno confuso,
-
ou quando ele se deparar com as buzzwords
e os termos e tudo mais.
-
Se eu coloco lá o high end de
-
no termo muda alguma coisa.
-
Apesar do nome ser praticamente igual
às definições também,
-
se você ler literalmente é igual,
mas é diferente.
-
Data Warehouse
-
Ele tem uma amplitude maior
-
porque ele é a concepção lá
desde o início.
-
Trazer os dados
lado transacional ou transacional
-
daqueles sistemas de origem do sistema
financeiro.
-
Se for um supermercado,
o sistema que passa lá do caixa
-
até engloba até o processo da confecção
de um dashboard, de um relatório.
-
Então vamos dizer que o
-
Data Warehouse sem o NG no final,
ele é um subconjunto.
-
Dentro desse processo
ele é ele e ele é um ambiente
-
dentro de um banco de dados onde armazena
essas informações de negócio.
-
Então é um subconjunto
de todo esse processo bacana
-
e com o AI em dia
-
é a isso ter interesse ter inteira
perfeito.
-
Se a gente não prestar atenção,
a gente confunde
-
e acha de repente que que um é sinônimo
do outro, se não falar, é energia
-
no final do ouvido do brasileiro,
passa batido na boa.
-
Se você fosse hoje, Bruno,
montar uma squad
-
para compor um DW,
Muitas organizações já tem o seu Dr.
-
House.
-
A gente vem fazendo o BI, mas nasceu ali
há boas décadas atrás.
-
Então, quando você pega, por exemplo,
o Bradesco, uma grande financeira,
-
necessariamente do dia, tem uma estrutura
de tomada de decisão, independente
-
Se estivermos falando ali de uma startup,
aí sim é uma empresa que está começando
-
a fazer os seus registros transacional
e compor a sua base analítica.
-
Então, vamos pensar num cenário mais novo.
-
Se você estivesse ali na liderança
de uma squad, quem é que você traria?
-
Qual é o perfil profissional para atuar
na criação mesmo de uma solução de TI?
-
Tem cri House?
-
Para mim sempre existe a necessidade
de você antes de conceber
-
e prototipar realmente toda a arquitetura
-
e entender com os responsáveis
-
uma gestão mais executiva, o que a empresa
-
e o que ela busca através dos dados
-
para a gente
definir que tipo de arquitetura,
-
se a gente vai partir para um DW
ou se a gente pode por uma,
-
ou se a empresa
ela vai fazer um investimento numa cloud.
-
E se a gente vai para um lead
que se está interessado em minerar dados.
-
Agora, se for realmente um data warehouse,
-
os profissionais,
com certeza muitas pessoas de negócio
-
e um profissional de gestão de dados,
o profissional de negócio.
-
Para fazer todo o upstream
há o levantamento de requisitos
-
e é importante ter um profissional
para fazer toda essa parte
-
e montar a ingestão dessa informação.
-
Aquelas três
-
letrinhas lá de extração,
transformação e a carga de tudo isso.
-
Então eu traria esses três tipos de perfis
uma pessoa relacionada ao negócio,
-
uma pessoa que trabalha
com gestão de dados
-
para fazer toda essa parte de arquitetura
das três letrinhas
-
que a gente pode passar depois por elas,
é alguém que tem habilidades de fazer
-
a confecção de um tipo de rede,
de construir relatórios, fazer estudos.
-
Bacana. Então não é housing.
-
A gente tem levantamento de requisitos
-
e isso para responder as dores de negócio.
-
A gente chama isso na modelagem, falando
técnicas de levantar os fatos.
-
O que se quer saber, não é isso.
-
E aí tem uma conexão muito grande
com o negócio.
-
Em paralelo a isso, de repente
um arquiteto, a gente tem uma série
-
hoje de arquiteturas lambe da capa,
tudo para tomada de decisão,
-
malhas de dados,
madeira, batedeira, produtos, enfim,
-
Ai talvez seja um papo
para um outro vídeo.
-
Mas sem dúvida
um arquiteto ali para para olhar.
-
Você falou só
recapitulando para o nosso aluno, né?
-
Você falou do ETL,
que é uma parte dolorida.
-
Bruno Porque tem,
-
é pesado,
-
dá trabalho, surge os dados,
mas é o trabalho sujo.
-
Eu tô brincando, não é o trabalho sujo,
às vezes tem.
-
Na verdade é uma profissão bem legal.
-
O engenheiro de dados ali
que vai fazer toda essa parte de gestão,
-
ele vai capturar essas informações
dos sistemas transacionais.
-
E aí,
com a ajuda dessas pessoas de negócio,
-
ele vai aplicar todas as regras ali
que foram definidas e vai fazer
-
o carregamento dessas informações
para dentro desse Data Warehouse.
-
Então ele faz, ele move a API,
-
o engenho desce desse processo
-
e aí tem uma dor de qualidade de dados.
-
Tem uma estatística
que diz que menos de 10%
-
hoje das bases de dados
são de fato consideradas qualificadas.
-
Então a gente tem essa esteira
-
com tantos profissionais.
-
É um super projeto e às vezes entra
sujeira e sai sujeira colorida.
-
Eu brinco com os alunos do outro lado
porque o dado de fato não entra
-
muito bem qualificado
e a gente nessa fase do ETL
-
tem muita dificuldade de fazer
o quality cleansing dos dados.
-
Qualidade de dados hoje já não é mais uma
dor técnica, é uma dor de negócio,
-
porque se eu não consigo resolver, eu não
respondo às minhas perguntas de negócio.
-
Então a brinco ali no começo
é trabalho sujo, porque
-
é trabalhoso, mas é estratégico.
-
Essa fase de combinar, agregar,
calcular os dados
-
é como seguir, levá los ali para um nível
que de fato
-
eles respondam as perguntas
com assertividade.
-
Você como gestor, sabe, né Bruno?
-
Se o meu DW não for bem preparado,
o gestor, ele começa a burlar
-
o sistema e aí ele baixa aquilo no Excel,
-
dá uma ajustada, vai no fim.
-
Como eu brinquei
aqui no início do nosso papo,
-
as empresas não são da hora do Ivan,
-
elas tomam as decisões
e depois elas até enviesa uns dados
-
que é para dizer eu tomei a decisão certa,
quando deveria ser o contrário.
-
Eu faço aquilo que o dado me direciona
a fazer.
-
Mas é tudo isso.
-
Eu estou aqui nessa fase do ETL
-
que parece tão técnico,
mas que tem essa questão de qualidade
-
que precisa ser pensada ali,
inclusive pela gestão de projeto total.
-
O Quality não vou falar que é o principal,
-
acho que é o principal principal
sensor é o principal sensor,
-
porque é igual você comentou
-
a informação, ela vem
-
com um nível de tratamento mínimo
-
e você pode organizar essas informações
e tratar um campo nulo.
-
De repente, transformar ali
as cinco variáveis de São Paulo,
-
São Paulo com e São Paulo com só o SP
e tratar essas informações.
-
Mas por muitas vezes
você não consegue identificar
-
se existe um padrão errado
de informação lá dentro.
-
Por exemplo,
eu posso dizer que numa coluna
-
deve vir uma descrição de 20 caracteres
-
e ali é uma é uma coluna para ver
-
o modelo de um veículo,
mas de repente vem o nome de uma cidade.
-
É muito difícil o Quality.
-
Ele identificar algumas coisas
que vêm da origem.
-
Você até consegue identificar, né?
-
Então é um trabalho
que realmente, na concepção,
-
não ali dado Abstraindo toda a parte ali
-
da montagem da arquitetura,
-
tem que se pensar
nessas questões de quality
-
para começar realmente a transformar isso
num dado de qualidade.
-
É muito difícil 100%
-
das informações estarem
qual a gente está usando.
-
Exemplo de banco
que tem mais de 90 sistemas transacionais
-
e nem tudo se conversa igual
eu comentei aqui,
-
há um sistema, ele coloca a cidade
-
de um jeito e um outro sistema de outro.
-
Você consegue fazer essas correções,
mas se existe um problema na
-
articulação dos dados,
-
um campo texto
aonde alguém pode errar alguma coisa
-
bastante sensível, é bem complicado.
-
Eu acho que é o maior ofensor
dentro de um DW.
-
Bom ponta, um super desafio, não?
-
E aí você falou depois da camada
de consumo, tem ali um analista de BI,
-
talvez seja esse o melhor nome
para construir.
-
Davis Você mencionou
-
é o Hex, porque tem um pouco de
como é que eu crio ali o meu storytelling,
-
como é que eu capto
as questões mais cognitivas, para onde
-
as pessoas olham, o que chama a atenção,
uso de cores e tudo mais.
-
Isso é superimportante
e digno de uma disciplina inteira, né?
-
E de repente também, Bruno
-
um pouco de analytics ali,
no sentido mais estatístico mesmo.
-
Cabe ali uma correlação estatística,
uma estatística
-
mais descritiva, até até preditiva.
-
Dá para começar a fazer
algumas combinações de equipe piás?
-
Sim, e dá para explorar realmente.
-
Além da análise descritiva,
-
você pode, dependendo ali
-
da granularidade de dados,
se você consegue realmente fazer
-
algum tipo de predição,
começar a trabalhar
-
um dashboard com uma análise diagnóstica,
criar correlação,
-
fazer algumas análises e estudos de churn,
por exemplo.
-
Legal e em cima do UX é muito importante
toda essa estrutura.
-
Ela tem que sair lá na frente em algo
que faça sentido para quem vai ler.
-
Então hoje o UX, a parte de Why
-
também está presente
-
nos profissionais
que trabalham com detalhes
-
para achar a melhor maneira
de divulgar essa informação
-
para melhorar
a leitura de quem vai consumir o dado.
-
E se você estivesse começando
-
a sua carreira agora,
querendo entrar no clubinho dos dados?
-
Não sei se é um clube fechado ou não.
-
É você que me diz
-
por onde que você começaria,
-
que a gente falou de arquiteto,
de engenheiro, de analista de web,
-
que são muitos caminhos,
mas eu imagino que tem aí
-
um caminho mais fácil de entrar,
-
porque talvez a arquitetura
não seja arquitetura.
-
É uma visão mais holística, já tem que ter
alguma bagagem de carreira, não.
-
A dica é para o nosso aluno começar.
-
Eu vou dar uma dica
-
prática
que na verdade a minha própria experiência
-
que foi trabalhando com com com dados
voltado para negócio.
-
Então aquele cara que faz o upstream,
então,
-
quando você senta do lado de um engenheiro
-
para você passar
todas aquelas regras e de ajudar
-
ele a criar uma arquitetura,
ele não cria sozinho.
-
Ele precisa da sua ajuda
para definir os melhores caminhos.
-
Você começa a ter visão desses
-
dois processos, um processo mais técnico
-
e um processo de negócio,
que é o que realmente falta no mercado.
-
Pessoas que tem o que não tem,
só um viés técnico,
-
que é excelente
quando uma pessoa executa a parte técnica,
-
mas se ela tem o feeling
de negócio, ela consegue
-
entrar em
-
caminhos e tomar decisões
bem interessantes.
-
Então eu começaria como eu
comecei com a parte de negócio
-
na construção de um data warehouse.
-
Boa dica, é um bom começo.
-
Aliás, a gente teve uma onda recente,
não é muito minha praia,
-
mas vou arriscar
falar aqui do dez full stack,
-
que é aquele profissional
back end front end de forma.
-
E eu tenho percebido,
-
não sei se você percebe
esse mesmo movimento no contexto de dados.
-
Agora a gente tem um Analytics Engineer
-
que me parece que essa fusão
desse profissional de análise de dados
-
que entende de Python
e que entende também de SQL,
-
mas que se vira bem no desenvolvimento
ali na se precisar, para além da análise
-
e da consulta interativa dos dados,
se precisar montar uma esteira,
-
fazer efetivamente a engenharia,
ele consegue.
-
Consegue estar nos dois momentos
na engenharia e na análise dos dados.
-
Talvez seja uma uma tendência
para o nosso aluno olhar também.
-
E na camada executiva,
a gente está falando ali no técnico,
-
olhando para o negócio.
-
Quais são as preocupações
na camada executiva E até as vezes,
-
quando a gente vai montar um teste,
a gente tem que
-
se perguntar se é mais tático,
se é mais executivo.
-
É importante porque o nível executivo
-
ele precisa ter algumas necessidades.
-
Diferente
-
de dashboards voltados para o operacional,
para o tático,
-
ele precisa de respostas num período curto
-
de tempo de execução
-
dessas informações e de indicadores
estratégicos, onde ele possa tomar
-
uma decisão rápida
sem precisar fazer grandes leituras.
-
A gente costuma falar que tem que ter
um storytelling, todo um contexto.
-
Tem que ter também para a camada
executiva,
-
mas uma coisa muito mais enxuta,
-
onde ele bata o olho
e ele consiga tomar uma ação. Sim.
-
Em contrapartida, de repente,
-
o período histórico deva ser maior,
mais resumido, mais um período histórico
-
maior que se a gente vai falando
de um planejamento mais estratégico,
-
eu percebo que no tático, no operacional,
eu estou olhando muito ali
-
para minha esteira, para o meu dia a dia
e pensar no amanhã de repente.
-
E eu não quero pensar muito isso,
não quero que tenha uma quebra de stock.
-
Então eu estou olhando
para as minhas compras da semana que vem.
-
E é isso.
-
Agora, quando eu estou falando da camada
executiva, de repente o meu planejamento
-
anual, eu estou norteando
-
os próximos anos ali da minha organização.
-
E aí eu tenho que, de repente olhar
para um período histórico um pouco maior.
-
Pode ser, pode ser o caso também
para a gente diferenciar
-
um pouco o estratégico do tático.
-
Gente, papo super bom.
-
A gente começou aqui conceituando
o mundo de Business Intelligence.
-
Bruno trouxe aspectos de negócio.
-
Aliás,
a dica do Bruno foi começar por negócio
-
e depois abarcar ali a parte técnica.
-
E agora para como tudo o que é bom
dura pouco.
-
Agora, para a gente fechar aqui
a nossa conversa, dicas, dicas
-
Tem alguma dica preciosa
de estudo de caminhos para o nosso aluno
-
que está entrando nesse
mundo da tomada de decisão?
-
Eu a minha percepção que hoje eu
-
não só as pessoas que já já trabalham
com isso, mas estão entrando na área,
-
começar a olhar a tipos de arquiteturas
e de propostas diferentes
-
de como disponibilizar
o dado igual para você.
-
Está cena falou de data,
mexe de e várias outras ferramentas
-
voltadas para cloud Like House.
-
Detalhei que para entender
-
realmente para que universo você
-
você quer ir, se é um universo também
de mineração de dados.
-
Se você tem um viés mais matemático,
estatístico
-
e gosta de explorar e minerar,
esse dado é um caminho também.
-
É um caminho
não tão recente, mais recente.
-
Em relação
a toda essa estruturação de dados.
-
A gente está falando de Data Warehouse
e hoje a concepção do Data Warehouse.
-
O que a gente está falando aqui
-
desses dados, das profissões e dos métodos
de como criar toda arquitetura.
-
Então é importante
quem está querendo entrar na área
-
e enxergar um cenário como um todo,
porque existem várias possibilidades,
-
não só além do Data Warehouse
e outras estruturas, mas estrutura
-
que você acaba fazendo um formato híbrido
com data warehouse.
-
E você pode entrar nesse
-
não num outro viés matemático estático
que trabalha essas informações
-
olhando para frente, criando predições,
criando prescrições.
-
Então é um mundo muito vasto,
muito vasto mesmo.
-
Então, quando foi estudar e olha no todo
-
em relação ao dado, para você enxergar
onde você se encaixa melhor.
-
Fantástico, Bruno Gente,
só esses últimos termos que ele usou,
-
ele falou de product lag, house,
arquiteturas híbridas
-
já daí horas
para não dizer anos de estudo.
-
Então dicas boas para vocês
se aprofundarem ainda mais aqui
-
no nosso conteúdo.
-
Portanto, dizer pessoal
que às vezes nós falamos.
-
DW Isso soa como algo antigo, porque,
de fato nós fazemos isso há muito tempo.
-
Agora, o ponto é o seguinte
as tecnologias, elas elas passam, mas
-
e às vezes eu até sinto a
tem muito cíclica de centraliza,
-
centraliza, vai de um, de um extremo
a outro, num contexto de agilidade.
-
Está tudo muito rápido.
-
A gente tem abarcado aí
muitas techs modernas.
-
Estão às vezes a estudar uma ferramenta.
-
Ano que vem já é outra.
-
Mas quando a gente fala de conceitos,
-
de tomada, de decisão, de planejamento,
isso é perene.
-
É contemporâneo ou não, Não passa.
-
Então, estudar, daí ter house no sentido
de pensar no negócio
-
e como eu trabalho
os meus pés para tomada de decisão,
-
é algo que te empodera
pra carreira e vale super a pena.
-
Você continuar investindo nesse assunto e.