-
Oi, eu sou Heloiza,
estagiária de Data "Science.
-
Olá, eu sou a Sara,
Cientista de Dados.
-
E nós somos da Data Storm.
-
Bom, no início de 2024,
a Minsait procurou a FIAP
-
para ajudar a entender como
a gente poderia utilizar IA e dados
-
para ajudar a prever a queda
de energia na cidade de São Paulo.
-
Bom, a gente sabe
que a cidade de São Paulo
-
sempre enfrentou
muitos problemas
-
em relação a falta
de energia elétrica.
-
Ano passado, em 2024, a gente teve
um recorde de apagão histórico,
-
3 milhões de pessoas foram
afetadas por esse apagão,
-
a gente teve um prejuízo
de mais de R$ 400 milhões
-
por conta desse apagão,
-
então a gente sabe que é um problema
frequente na nossa cidade,
-
e como a gente pode
utilizar IA e dados
-
para a gente ajudar a prever
-
e ser proativo em relação
a esse problema.
-
Bom, para resolver
esse desafio,
-
a gente tinha como
principal objetivo
-
trazer uma infraestrutura
centralizada de dados
-
que pudesse organizar
e padronizar dados climáticos,
-
de previsão de tempo,
-
de interrupção de energia elétrica
de toda a região de São Paulo,
-
uma arquitetura,
um pipeline de dados
-
que suportasse toda
essa infraestrutura
-
e, além disso, um modelo preditivo
que nos ajudasse a entender
-
quais seriam as próximas
regiões mais afetadas,
-
onde a gente deveria focar
e ter uma ação planejada
-
da equipe operacional da Minsait
mais efetiva e mais acurada.
-
E, para isso, a gente utilizou
diversas fontes de dados,
-
como dados públicos
da subprefeitura de São Paulo,
-
do GeoSampa, da Aneel, dados
privados, também, da Mateomatics
-
para a gente construir
e desenvolver essa solução.
-
Pensando nisso, nós criamos
uma arquitetura de dados
-
extremamente robusta
e completa.
-
Ela trabalha com dados em tempo
real e dados históricos,
-
então os dados históricos entram
na arquitetura através de batches
-
e os dados, em tempo real,
entram através de uma API
-
orquestrada pelo Airflow.
-
Na primeira camada,
-
a gente limpou bem por cima
esses dados, a camada raw,
-
então, tiramos só o que não
era extremaente necessário
-
para conseguir armazenar eles
dentro do Google Cloud Plataform
-
e, só então, conseguir trabalhar
efetivamente em cima deles.
-
Na segunda camada,
a camada trusted,
-
nós pegamos esses
dados já mais limpos
-
e refinamos eles, de fato,
para, então, integrá-los
-
e construir a última
camada de tratamento,
-
que é a camada refined, onde
nós criamos uma tabela gigante
-
com todos os dados
necessários já filtrados
-
e prontos para serem jogados
no nosso modelo de predição
-
e treinados no nosso modelo
de machine learning
-
e, então, conseguir trabalhar,
de fato, esses dados
-
para uma visualização
no Power BI.
-
O nosso modelo preditivo
passou por alguns testes,
-
e o último, que é o LightGBM, nós
decidimos que era o mais acurado.
-
Aqui, nós temos
uma matriz de confusão,
-
recall, acuracidade, precisão,
-
mas o mais interessante é falar
sobre a matriz de confusão,
-
onde temos testes de true
e false, verdadeiro ou falso,
-
onde eu digo se vai
faltar e falta energia,
-
onde eu digo se não vai
faltar e falta energia,
-
se vai faltar e não falta
-
e se não vai faltar e realmente
não falta energia.
-
Olhando os quadrantes, o azulzinho
e o roxinho mais escuro,
-
nós vemos os dois
números principais,
-
onde eu digo, no azul,
que não vai faltar e falta,
-
é um número alto, mas pensando
no negócio desse problema,
-
nos compensa mais
deslocar uma equipe
-
quando eu falo que não
vai faltar e falta
-
do que deslocar uma equipe quando
eu falo que vai faltar e não falta.
-
E um dos focos
da nossa solução
-
é a minimização
de recursos operacionais,
-
então, por isso, nós escolhemos
um modelo que tem um erro menor
-
quando diz que vai locomover
a equipe e ele erra.
-
Então, é por isso
o modelo LightGBM.
-
Bom, e para analisar todos
esses resultados da IA,
-
para a gente entender
-
onde as equipes operacionais
da minha insight poderiam atuar,
-
a gente desenvolveu
um dashboard
-
onde a gente mostra todo
o histórico que a gente tem
-
tanto de dados climatológicos
-
quanto de dados de interrupção
de energia elétrica,
-
e com os dados da previsão,
em tempo real,
-
da falha e da interrupção
de energia elétrica.
-
Então, no nosso dashboard, hoje,
a gente consegue ver, por exemplo,
-
qual é a média de previsão
de interrupção de energia elétrica
-
para São Paulo
nos próximos 7 dias,
-
a gente consegue ver
isso por datas também,
-
então se tem um dia em que a equipe
tem que planejar recursos a mais,
-
a gente consegue analisar
isso por subprefeitura,
-
em um mapa de calor
-
onde a gente consegue ver
as regiões mais críticas,
-
então onde a IA está dizendo,
com base nos dados climatológicos
-
e de interrupção
de energia elétrica,
-
onde a equipe operacional
deveria atuar mais forte.
-
Então, a gente consegue
também ver a média histórica
-
para entender o comportamento
histórico de cada subprefeitura
-
e entender, e ajudar,
e analisar esses pontos.
-
Um ponto forte da nossa
solução é essa tabelinha aqui,
-
onde nós ponderamos qual local
deve ser socorrido primeiro,
-
assim por dizer.
-
Então, aqui, nós trazemos diversos
dados demográficos de hospitais,
-
escolas, creches,
comunidades etc.
-
E, aqui, nós ponderamos
-
porque não necessariamente
onde mais chove
-
é onde mais
vai ser afetado.
-
Então, a gente conseguiu
trazer todos esses dados
-
aqui para dentro também e, assim,
indicar onde as equipes de resgate,
-
onde as operações devem ir e tomar
uma atitude, assim por dizer.
-
E, aqui, a gente traz
a visão do nosso MVP,
-
até onde a gente
desenvolveu,
-
e da proposta da nossa
solução final,
-
onde a gente poderia chegar
com possíveis investimentos.
-
Então, hoje, a gente tem
uma API que faz a previsão,
-
com o o nosso modelo de AI,
de até 7 dias de previsão
-
para todas as subprefeituras
de São Paulo
-
e, com um possível
investimento,
-
a gente conseguiria chegar
em até 15 dias e ampliar isso
-
para gerar um melhor planejamento,
inclusive operacional para a equipe,
-
então, saber em qual período
vão ter que deslocar recursos,
-
para qual região.
-
Então, isso seria possível
na nossa solução final também.
-
Além disso, a gente também
teria a possibilidade
-
de, hoje, a gente traz a nível
de subprefeitura esses dados,
-
então, com um possível
investimento,
-
a gente também poderia ter
uma granularidade maior
-
e trazer tantos dados históricos
a nível de subprefeitura,
-
de interrupção
de rede elétrica,
-
mas também os dados de climatologia
em uma granularidade maior
-
e trazer uma previsão
mais acurada
-
para a região mais
acurada de São Paulo,
-
trazendo, assim, até
uma eficiência operacional
-
para a equipe que está
atendendo as regiões
-
que estão com falta
de energia elétrica.
-
E, além disso, a gente ainda
teria como oportunidade
-
trazer para a nossa
solução final
-
retroalimentar os dados
operacionais da Minsait
-
para que a gente possa ter
uma solução ainda mais eficaz.
-
Então, entender as equipes, trazer
os dados de feedback das equipes,
-
onde as equipes
estão atuando
-
e a gente deveria
começar a atua mais,
-
o tempo de deslocamento
dessas equipes
-
para a gente ter um planejamento
ainda mais acurado e eficaz
-
para a Minsait.
-
Essa foi a nossa solução final para
o challenge desenvolvido em 2024,
-
gostaríamos de deixar,
aqui, um agradecimento
-
a todo o time Data Storm
e desejamos uma boa sorte.