DW, duas letrinhas poderosas cuja combinação faz muita diferença no mundo dos dados. Aliás, é justamente esse armazém de dados que empoderam as organizações no seu processo de tomada de decisão. Muitas empresas primeiro tomam as suas decisões para depois olhar para os dados buscando ratificá-las. Mas para ser data-driven de fato, primeiro você olha para os dados e então depois você faz uma tomada de decisão muito mais assertiva. Eu sou a Tassiana, sou gestora na área de dados e analytics em uma startup de Inteligência Artificial, a Tribo IA, sou também professora e coordenadora de MBA aqui na FIAP. E é justamente para falar sobre tomada de decisão que eu estou aqui com o meu querido Bruno Passos, que já tem uma vasta experiência nesse mercado. E eu queria que você se apresentasse para o nosso aluno e contasse quando que a tomada de decisão analítica entrou aí na sua carreira. Eu trabalho com dados há mais de dez anos, e é um grande prazer estar aqui com a professora Tassiana. Já foi minha professora. Eu acho que eu entrei como a maioria das pessoas acabaram entrando no mundo de dados, que é como um projeto de DW na empresa. Grudei ali com os especialistas. Fazia parte de um time de negócio fazendo o upstream. o entendimento, uma parte também muito interessante de levantamento de requisitos, e fui entrando numa parte mais técnica. Hoje eu trabalho como squad líder no Bradesco em inovação e Dados, e estamos rompendo a barreira dos dados, e vamos falar um pouco de DW. Bacana, Bruno. Essa combinação inovação e dados é muito poderosa, né? Como nós podemos... Pensando aqui em criar um trilho de entendimento para o nosso aluno, como podemos definir esses dados analíticos? Dados analíticos são dados que estão disponíveis para serem explorados, analisados. Eles vão responder questões de negócio, questões estratégicas da empresa, se bem explorados. Tem toda uma arquitetura e um contexto por trás disso tudo. Mas o final dele é responder questões da organização. Bacana, bacana. Em termos práticos, Bruno, para o nosso aluno entender que isso vai fazer a diferença lá no contexto corporativo mesmo, hoje, você ali na sua liderança, gestão, na sua atuação com dados, em que momento você precisa ir lá e acionar a sua ferramenta, a sua plataforma de análise de dados? Hoje nós utilizamos o dado para facilitar a vida do nosso time comercial. Então nós utilizamos esse dado analítico de uma maneira bem granular para fazer predições e realmente melhorar a vida do comercial, fazendo com que ele visite uma loja correta, que ele tenha um índice de assertividade no dia a dia dele. Então nós fazemos predições, modelos estatísticos, para poder melhorar a vida do comercial. Bruno, nós temos hoje uma série de tecnologias, ferramentas, enfim, mas me parece que o DW é o coração de tudo isso, né? Como ele funciona? Vamos começar a mostrar ali para o nosso aluno quais seriam os caminhos. Vou construir um Data Warehousing, preciso ter uma equipe técnica por trás disso? Como eu me organizo num projeto desse tipo? O DW, é importante sempre explorar. Antes de você sair fazendo a construção, para que ele vai servir, que respostas você precisa obter através dos dados, quais são as especificidades de cada departamento, e como você vai utilizar. Claro que você precisa de uma equipe de negócio para auxiliar em toda essa estrutura do Data Warehousing. Para você conseguir transformar os dados, colocar regras de negócio, você precisa de pessoas com um viés um pouco mais técnico para fazer a ingestão dessas informações. E sempre tem aquelas pessoas que têm mais habilidade do UX, de prototipar, de montar relatórios, dashboards. Então é um caminho de construção em relação ao profissional que tem a oportunidade para todos Legal falarmos para o nosso aluno então, né, Bruno, que o DW é um conceito que apoia a tomada de decisão. Em termos práticos, quando pensamos um Data Warehousing, o que temos ali dentro são KPIs de dimensões, não mais que isso. E isso vai ser sempre superimportante dentro das empresas. Mas aí tem toda a questão do ferramental, do trilho de construção, do perfil profissional e tudo mais, para materializar isso. Mas não é uma ferramenta, né? Não dá para dizer que é simplesmente uma ferramenta. E aí tem uma questão aqui de definição, só para não deixar o nosso aluno confuso quando ele se deparar com as buzzwords, e os termos e tudo mais. Se eu coloco lá o "ing" no termo, muda alguma coisa? Apesar do nome ser praticamente igual às definições, e se você ler literalmente é igual, mas é diferente. O Data Warehousing tem uma amplitude maior porque é a concepção lá desde o início, trazer os dados lá do transacional, daqueles sistemas de origem, do sistema financeiro... Se for um supermercado, o sistema que passa lá do caixa engloba até o processo da confecção de um dashboard, de um relatório. Então vamos dizer que o Data Warehouse sem o ing no final é um subconjunto dentro desse processo. Ele é um ambiente dentro de um banco de dados onde armazena essas informações de negócio. Então é um subconjunto de todo esse processo. Bacana. E com o ing, é a esteira inteira, né? A esteira inteira. Perfeito. Se não prestarmos atenção, nós confundimos, né, e de repente acha que um é sinônimo do outro. Se não falar o ing no final, no ouvido do brasileiro passa batido. Boa! Se você fosse hoje, Bruno, montar uma squad para compor um DW... Muitas organizações já tem o seu Data Warehouse. Temos feito o BI... Nasceu há boas décadas atrás. Então, quando você pega, por exemplo, o Bradesco, uma grande financeira, necessariamente eles já têm uma estrutura de tomada de decisão. De repente, se estivermos falando ali de uma startup, aí sim é uma empresa que está começando a fazer os seus registros transacionais e a compor a sua base analítica. Então vamos pensar num cenário mais novo. Se você estivesse ali na liderança de uma squad, quem você traria? Qual é o perfil profissional para atuar, na criação mesmo, de uma solução de Data Warehouse? Para mim, sempre existe a necessidade de antes de você realmente conceber e prototipar toda a arquitetura, entender com os responsáveis, com a gestão mais executiva, o que a empresa busca através dos dados, para definirmos então que tipo de arquitetura. Se vamos partir para um DW, ou se a empresa vai fazer um investimento numa cloud, se vamos para um lake, se está interessado em minerar dados. Agora, se for realmente um Data Warehouse, com certeza muitas pessoas de negócio, um profissional de ingestão de dados, um profissional de negócio para fazer todo o upstream, o levantamento de requisitos, né? E é importante ter um profissional para fazer toda essa parte de montar a ingestão dessa informação, aquelas três letrinhas lá de extração, transformação, e a carga de tudo isso. Então eu traria esses três tipos de perfis: uma pessoa relacionada ao negócio, uma pessoa que trabalha com ingestão de dados, para fazer toda essa parte de arquitetura, das três letrinhas, que poderemos passar depois por elas, e alguém que tem habilidades de fazer a confecção de um dashboard, de construir relatórios, fazer estudos. Bacana. Então, no warehousing, nós temos levantamento de requisitos para responder as dores de negócio. Na modelagem, falando techniquêz, nós chamamos de levantar os fatos, o que se quer saber, não é isso? E aí tem uma conexão muito grande com o negócio. Em paralelo a isso, de repente um arquiteto... Hoje nós temos uma série de arquiteturas, Lambda, Kappa, tudo para tomada de decisão, malhas de dados, data mash, data product, enfim. Ai talvez seja um papo para um outro vídeo. Mas sem dúvida, um arquiteto ali para para olhar. Você falou do... Só recapitulando para o nosso aluno, né? Você falou do ETL, que é uma parte dolorida, né, Bruno? Porque tem... É... Limpeza, tratamento dos dados... Não é isso? É, é o trabalho sujo, né? Eu estou brincando, não é o trabalho sujo. Na verdade é uma profissão bem legal, um engenheiro de dados ali, que vai fazer toda essa parte de ingestão, ele vai capturar essas informações dos sistemas transacionais. E aí, com a ajuda dessas pessoas de negócio, ele vai aplicar todas as regras ali que foram definidas e vai fazer o carregamento dessas informações para dentro desse Data Warehouse. Então ele faz, ele move a API, o engenho desce desse processo e aí tem uma dor de qualidade de dados. Tem uma estatística que diz que menos de 10% hoje das bases de dados são de fato consideradas qualificadas. Então a gente tem essa esteira com tantos profissionais. É um super projeto e às vezes entra sujeira e sai sujeira colorida. Eu brinco com os alunos do outro lado porque o dado de fato não entra muito bem qualificado e a gente nessa fase do ETL tem muita dificuldade de fazer o quality cleansing dos dados. Qualidade de dados hoje já não é mais uma dor técnica, é uma dor de negócio, porque se eu não consigo resolver, eu não respondo às minhas perguntas de negócio. Então a brinco ali no começo é trabalho sujo, porque é trabalhoso, mas é estratégico. Essa fase de combinar, agregar, calcular os dados é como seguir, levá los ali para um nível que de fato eles respondam as perguntas com assertividade. Você como gestor, sabe, né Bruno? Se o meu DW não for bem preparado, o gestor, ele começa a burlar o sistema e aí ele baixa aquilo no Excel, dá uma ajustada, vai no fim. Como eu brinquei aqui no início do nosso papo, as empresas não são da hora do Ivan, elas tomam as decisões e depois elas até enviesa uns dados que é para dizer eu tomei a decisão certa, quando deveria ser o contrário. Eu faço aquilo que o dado me direciona a fazer. Mas é tudo isso. Eu estou aqui nessa fase do ETL que parece tão técnico, mas que tem essa questão de qualidade que precisa ser pensada ali, inclusive pela gestão de projeto total. O Quality não vou falar que é o principal, acho que é o principal principal sensor é o principal sensor, porque é igual você comentou a informação, ela vem com um nível de tratamento mínimo e você pode organizar essas informações e tratar um campo nulo. De repente, transformar ali as cinco variáveis de São Paulo, São Paulo com e São Paulo com só o SP e tratar essas informações. Mas por muitas vezes você não consegue identificar se existe um padrão errado de informação lá dentro. Por exemplo, eu posso dizer que numa coluna deve vir uma descrição de 20 caracteres e ali é uma é uma coluna para ver o modelo de um veículo, mas de repente vem o nome de uma cidade. É muito difícil o Quality. Ele identificar algumas coisas que vêm da origem. Você até consegue identificar, né? Então é um trabalho que realmente, na concepção, não ali dado Abstraindo toda a parte ali da montagem da arquitetura, tem que se pensar nessas questões de quality para começar realmente a transformar isso num dado de qualidade. É muito difícil 100% das informações estarem qual a gente está usando. Exemplo de banco que tem mais de 90 sistemas transacionais e nem tudo se conversa igual eu comentei aqui, há um sistema, ele coloca a cidade de um jeito e um outro sistema de outro. Você consegue fazer essas correções, mas se existe um problema na articulação dos dados, um campo texto aonde alguém pode errar alguma coisa bastante sensível, é bem complicado. Eu acho que é o maior ofensor dentro de um DW. Bom ponta, um super desafio, não? E aí você falou depois da camada de consumo, tem ali um analista de BI, talvez seja esse o melhor nome para construir. Davis Você mencionou é o Hex, porque tem um pouco de como é que eu crio ali o meu storytelling, como é que eu capto as questões mais cognitivas, para onde as pessoas olham, o que chama a atenção, uso de cores e tudo mais. Isso é superimportante e digno de uma disciplina inteira, né? E de repente também, Bruno um pouco de analytics ali, no sentido mais estatístico mesmo. Cabe ali uma correlação estatística, uma estatística mais descritiva, até até preditiva. Dá para começar a fazer algumas combinações de equipe piás? Sim, e dá para explorar realmente. Além da análise descritiva, você pode, dependendo ali da granularidade de dados, se você consegue realmente fazer algum tipo de predição, começar a trabalhar um dashboard com uma análise diagnóstica, criar correlação, fazer algumas análises e estudos de churn, por exemplo. Legal e em cima do UX é muito importante toda essa estrutura. Ela tem que sair lá na frente em algo que faça sentido para quem vai ler. Então hoje o UX, a parte de Why também está presente nos profissionais que trabalham com detalhes para achar a melhor maneira de divulgar essa informação para melhorar a leitura de quem vai consumir o dado. E se você estivesse começando a sua carreira agora, querendo entrar no clubinho dos dados? Não sei se é um clube fechado ou não. É você que me diz por onde que você começaria, que a gente falou de arquiteto, de engenheiro, de analista de web, que são muitos caminhos, mas eu imagino que tem aí um caminho mais fácil de entrar, porque talvez a arquitetura não seja arquitetura. É uma visão mais holística, já tem que ter alguma bagagem de carreira, não. A dica é para o nosso aluno começar. Eu vou dar uma dica prática que na verdade a minha própria experiência que foi trabalhando com com com dados voltado para negócio. Então aquele cara que faz o upstream, então, quando você senta do lado de um engenheiro para você passar todas aquelas regras e de ajudar ele a criar uma arquitetura, ele não cria sozinho. Ele precisa da sua ajuda para definir os melhores caminhos. Você começa a ter visão desses dois processos, um processo mais técnico e um processo de negócio, que é o que realmente falta no mercado. Pessoas que tem o que não tem, só um viés técnico, que é excelente quando uma pessoa executa a parte técnica, mas se ela tem o feeling de negócio, ela consegue entrar em caminhos e tomar decisões bem interessantes. Então eu começaria como eu comecei com a parte de negócio na construção de um data warehouse. Boa dica, é um bom começo. Aliás, a gente teve uma onda recente, não é muito minha praia, mas vou arriscar falar aqui do dez full stack, que é aquele profissional back end front end de forma. E eu tenho percebido, não sei se você percebe esse mesmo movimento no contexto de dados. Agora a gente tem um Analytics Engineer que me parece que essa fusão desse profissional de análise de dados que entende de Python e que entende também de SQL, mas que se vira bem no desenvolvimento ali na se precisar, para além da análise e da consulta interativa dos dados, se precisar montar uma esteira, fazer efetivamente a engenharia, ele consegue. Consegue estar nos dois momentos na engenharia e na análise dos dados. Talvez seja uma uma tendência para o nosso aluno olhar também. E na camada executiva, a gente está falando ali no técnico, olhando para o negócio. Quais são as preocupações na camada executiva E até as vezes, quando a gente vai montar um teste, a gente tem que se perguntar se é mais tático, se é mais executivo. É importante porque o nível executivo ele precisa ter algumas necessidades. Diferente de dashboards voltados para o operacional, para o tático, ele precisa de respostas num período curto de tempo de execução dessas informações e de indicadores estratégicos, onde ele possa tomar uma decisão rápida sem precisar fazer grandes leituras. A gente costuma falar que tem que ter um storytelling, todo um contexto. Tem que ter também para a camada executiva, mas uma coisa muito mais enxuta, onde ele bata o olho e ele consiga tomar uma ação. Sim. Em contrapartida, de repente, o período histórico deva ser maior, mais resumido, mais um período histórico maior que se a gente vai falando de um planejamento mais estratégico, eu percebo que no tático, no operacional, eu estou olhando muito ali para minha esteira, para o meu dia a dia e pensar no amanhã de repente. E eu não quero pensar muito isso, não quero que tenha uma quebra de stock. Então eu estou olhando para as minhas compras da semana que vem. E é isso. Agora, quando eu estou falando da camada executiva, de repente o meu planejamento anual, eu estou norteando os próximos anos ali da minha organização. E aí eu tenho que, de repente olhar para um período histórico um pouco maior. Pode ser, pode ser o caso também para a gente diferenciar um pouco o estratégico do tático. Gente, papo super bom. A gente começou aqui conceituando o mundo de Business Intelligence. Bruno trouxe aspectos de negócio. Aliás, a dica do Bruno foi começar por negócio e depois abarcar ali a parte técnica. E agora para como tudo o que é bom dura pouco. Agora, para a gente fechar aqui a nossa conversa, dicas, dicas Tem alguma dica preciosa de estudo de caminhos para o nosso aluno que está entrando nesse mundo da tomada de decisão? Eu a minha percepção que hoje eu não só as pessoas que já já trabalham com isso, mas estão entrando na área, começar a olhar a tipos de arquiteturas e de propostas diferentes de como disponibilizar o dado igual para você. Está cena falou de data, mexe de e várias outras ferramentas voltadas para cloud Like House. Detalhei que para entender realmente para que universo você você quer ir, se é um universo também de mineração de dados. Se você tem um viés mais matemático, estatístico e gosta de explorar e minerar, esse dado é um caminho também. É um caminho não tão recente, mais recente. Em relação a toda essa estruturação de dados. A gente está falando de Data Warehouse e hoje a concepção do Data Warehouse. O que a gente está falando aqui desses dados, das profissões e dos métodos de como criar toda arquitetura. Então é importante quem está querendo entrar na área e enxergar um cenário como um todo, porque existem várias possibilidades, não só além do Data Warehouse e outras estruturas, mas estrutura que você acaba fazendo um formato híbrido com data warehouse. E você pode entrar nesse não num outro viés matemático estático que trabalha essas informações olhando para frente, criando predições, criando prescrições. Então é um mundo muito vasto, muito vasto mesmo. Então, quando foi estudar e olha no todo em relação ao dado, para você enxergar onde você se encaixa melhor. Fantástico, Bruno Gente, só esses últimos termos que ele usou, ele falou de product lag, house, arquiteturas híbridas já daí horas para não dizer anos de estudo. Então dicas boas para vocês se aprofundarem ainda mais aqui no nosso conteúdo. Portanto, dizer pessoal que às vezes nós falamos. DW Isso soa como algo antigo, porque, de fato nós fazemos isso há muito tempo. Agora, o ponto é o seguinte as tecnologias, elas elas passam, mas e às vezes eu até sinto a tem muito cíclica de centraliza, centraliza, vai de um, de um extremo a outro, num contexto de agilidade. Está tudo muito rápido. A gente tem abarcado aí muitas techs modernas. Estão às vezes a estudar uma ferramenta. Ano que vem já é outra. Mas quando a gente fala de conceitos, de tomada, de decisão, de planejamento, isso é perene. É contemporâneo ou não, Não passa. Então, estudar, daí ter house no sentido de pensar no negócio e como eu trabalho os meus pés para tomada de decisão, é algo que te empodera pra carreira e vale super a pena. Você continuar investindo nesse assunto e.