GBA CAP01 2025 VA06 DESAFIOS ETICOS E TECNICOS

Vamos para o seguinte problema, o modelo de IA, e para qualquer fim,

fim médico, fim policial, gerou um dado incorreto.

Você como parte do time de governança de IA, precisa explicar o que

aconteceu dentro do modelo, para poder gerar aquele tipo de

informação incorreta.

Só que a gente começa a entrar num seguinte problema, modelos de IA

tem aquilo que chamamos de caixa preta, e como que a gente vai

conseguir analisar, interpretar, explicar aquilo, sendo que por

muitas vezes é inacessível.

Vamos entender melhor como que figura a governança de IA dentro das

famosas caixas pretas dos modelos de IA.

Mas para quem caiu de paraquedas, que nunca desenvolveu um modelo de

IA, que nunca teve contato com um modelo de IA, o que é caixa

preta?

Bom, dentro do nosso modelo, do modelo de IA, sobretudo o modelo de

Deep Learning, você tem ali as suas camadas, seus neurônios, eles vão

gerar seu resultado.

Mas a caixa preta é como que ele gerar aquele resultado, de que

forma, qual que foram os pesos, as medidas.

Por mais que o modelo tenha sua arquitetura bem definida, tenha seu

desenho pronto, muitos modelos têm a sua caixa preta, e por muitas

vezes é difícil explicar.

Então, por exemplo, eu já trabalhei com modelos que eles têm pelo

menos três camadas e cada camada ele vai aumentando em oito o volume

de neurônios.

Como que você consegue explicar o resultado com isso?

E esse é um problema muito gerado em redes neurais.

Essa caixa preta.

E a terminologia, ela é similar à terminologia utilizada na aviação,

porque a caixa preta do avião era inacessível, assim como a caixa

preta ali da inteligência artificial, que ela é bastante inacessível.

E aí você deve estar se perguntando, bom, a caixa preta, ela deve

gerar riscos na governança.

Sim, ela gera risco na governança.

Como que você consegue explicar esse modelo?

Como esse modelo, ele consegue ser aderente à legislação vigente, ou

a práticas corretas de governança e ética.

Esse tipo de problema, gerado por modelos que contém a caixa preta, é

um desafio muito grande e é, inclusive, um foco de discurso dentro

das legislações que estão sendo discutidas de AI Big Data.

Por exemplo, a legislação voltada para a IA dentro da Europa, ela

trabalha muito a transparência que o modelo deve ter em cima da sua

geração de informação.

Então é uma coisa que já vem sendo debatida.

Mas além da caixa preta, a gente também tem um termo bastante comum

dentro da inteligência artificial, que é o viés histórico.

Problemas que estão na nossa sociedade que afetam o nosso modelo.

E aqui na industria a gente traz o seguinte, o que é esse viés

histórico?

O viés histórico, ele parte quando os dados utilizados para treinar

aquela IA refletem desigualdades, preconceitos ou distorções sociais

que já existiam, que não existem mais.

E a gente colocou alguns exemplos práticos.

Por exemplo, o menor número de mulheres em cargos de liderança

ocasiona que a IA vai repetir seu padrão para poder gerar a amostra,

a análise.

Além disso, pessoas com menor acesso a crédito, minorias, a IA vai

também penalizar essa pessoa quando ela tentar conseguir algum

crédito no mercado.

E a consequência é que a IA vai amplificar esse tipo de problema.

Antes de a gente começar a trabalhar com a IA gerativa ou estatística

multivariada, a gente já tinha as nossas previsões, por exemplo,

realizar um FORTEST, a gente pode até fazer uma comparação meio que

boba, por exemplo, ao seguinte fator.

Vamos supor que você tenha ali uma linha do tempo que ela tem dados

de janeiro até junho.

Ok?

E você vai prever o próximo mês baseado, por exemplo, nos cinco meses

anteriores.

E aí você vai arrastando essa previsão, ela vai fazer uma média para

prever os próximos meses.

Concorda que vai chegar uma altura do campeonato que se você não

travar ou não tratar, por exemplo, essa previsão, os dados utilizados

para poder prever o futuro vão ser os resultados das últimas médias

geradas?

Quando a gente fala que a IA pode amplificar problemas sociais se ela

parte de viéses históricos, é isso.

Você vai utilizar um dado que não se adequa à realidade de hoje para

poder gerar modelos que podem gerar decisões, podem gerar tomadas de

decisões.

E aí vai gerar um ciclo vicioso.

E fora o viés histórico, nós temos também o paradoxo da

explicabilidade, que inclusive afeta muito a caixa preta.

Então, a gente tem modelos que são mais simples e modelos mais

complexos.

Então, modelos que forem mais complexos, entendem-se como os modelos

de Deep Learning.

E hoje entra o paradoxo da explicabilidade.

Modelos mais simples, como árvores de decisão, eles geram resultados

mais simples, porque a sua configuração, a sua arquitetura é mais

simplificada, porém, eles são muito mais fáceis de explicar.

Enquanto modelos mais complexos, como modelos de redes neurais, eles

respondem a problemas mais complexos.

Então, por exemplo, uma análise que ela tenha uma alta variância de

dados de entrada e saída, ele vai conseguir atender muito bem, porém,

ali a gente tem o nosso problema de explicabilidade, ali a gente tem

a caixa preta.

Então, vamos comparar os dois modelos.

Modelos mais simples, eles vão ter alta explicabilidade, enquanto

modelos mais complexos, uma baixa explicabilidade.

Modelos mais simples, então, são mais fáceis de auditar.

Então, o comitê de ética em AI Big Data consegue, então, regir melhor

aqui.

Modelos mais complexos, tem uma dificuldade maior de explicar, por

conta da sua caixa preta.

Só que aí a gente começa a entrar no problema dos modelos mais

simples.

Modelos mais simples, tem uma performance menor para tarefas mais

complexas, então esse tem uma limitação ali.

E aí, exige que eu use modelos complexos, como o Deep Learning, para

problemas que exigem uma alta performance por terem um grande volume

de dados.

Então, ali é o nosso paradoxo.

Como que eu consigo resolver um problema extremamente complexo, que

tem um alto volume de dados, e ao mesmo tempo conseguir explicar o

que ele fez para resolver aquele problema?

E por conta disso, a gente entra muito no panorama de

regulamentações.

Como que hoje está, por exemplo, o Brasil em relação a outros países,

por exemplo, no que tange de regulamentar a IA.

E aí a gente pode pensar também em regulamentar como que a gente pode

trabalhar e explicar essa caixa preta.

O AI Act, da União Europeia, ele vai classificar as aplicações de IA

por risco, nível de risco.

Desde o inaceitável, passando por alto, risco, médio e baixo.

Então, ali tem riscos que o modelo de IA pode tomar e modelos de

IA que legalmente já tem que ser evitado, não pode dar sequência.

Então, a regulamentação europeia vai ter regras mais rígidas para IAs

de alto risco.

Quando a gente começa a olhar no panorama do cenário nacional

brasileiro, a gente não tem uma regulamentação vigente de IA.

A gente tem um marco legal para IA, que está em discussão, mas a

gente já tem a LGPD.

Então, vamos analisar a LGPD.

A LGPD, ela se baseia em proteção de dados pessoais.

Ela busca entender e garantir direitos como explicação de decisões

automatizadas e entra também com consentimento e bases legais para

uso de dados.

Então, por mais que a LGPD, ela não atua especificamente sobre IA,

ela é abrangente, ela já tem alguns fatores que a IA é impactada,

como a explicabilidade do modelo e como a o consentimento do uso da

informação.

Falando do marco legal, que está em discussão, o que nós temos aqui?

O marco legal, ele vai definir as diretrizes para o desenvolvimento

ético e responsável do modelo de IA e, a partir disso, vai entrar a

discussão sobre as categorias de risco e os deveres de transparência.

O nosso marco legal de IA, ele está um pouco baseado na

regulamentação europeia, ele tem ali as suas fontes.

Dentro do nosso conteúdo, vocês vão observar que a gente tem também

outras regulamentações de IA ao redor do mundo, então tem a

regulamentação chinesa, tem a regulamentação americana, cada um tem

um objetivo diferente.

O objetivo da regulamentação de IA europeia e, consequentemente, como

o caminho que está tomando a regulamentação de IA brasileira, é muito

na transparência e explicabilidade dos dados, sempre pensando no

usuário final, que é o usuário que vai consumir os dados, vai

consumir o modelo e também vai prover, vai repassar os seus dados

para o modelo trabalhar.

E como reflexão, vamos pensar no seguinte, a empresa que você

trabalha, ela já está preparada para explicar como o modelo já está

funcionando ou ela apenas está desenvolvendo e gerando o modelo de

acordo com a necessidade, sem entrar, por exemplo, em compromissos

éticos ou, eventualmente, se tiver alguma auditoria, não vai

conseguir saber lidar, por exemplo, com quem explicar como aquele

modelo gerou aquela informação.