GBA CAP01 2025 VA06 DESAFIOS ETICOS E TECNICOS

Vamos para o seguinte problema:
o modelo de IA, para qualquer fim,

fim médico, fim policial,
gerou um dado incorreto,

você, como parte do time
de governança de IA,

precisa explicar o que aconteceu
dentro do modelo

para poder gerar aquele
tipo de informação incorreta.

Só que a gente começa
a entrar no seguinte problema:

modelos de IA tem aquilo
que chamamos de caixa preta,

e como a gente vai
conseguir analisar,

interpretar, explicar aquilo, sendo
que muitas vezes é inacessível?

Vamos entender melhor
como figura a governança de IA

dentro das famosas caixas
pretas dos modelos de IA.

Mas para quem
caiu de paraquedas,

que nunca desenvolveu
modelos de IA,

que nunca teve contato
com modelos de IA,

o que é caixa preta?

Bom, dentro do nosso modelo de IA,
sobretudo o modelo de Deep Learning,

você tem as suas camadas,
seus neurônios,

e eles vão gerar
seu resultado.

Mas a caixa preta é como eles
geraram aquele resultado,

de que forma, qual foram
os pesos, as medidas.

Por mais que o modelo tenha
sua arquitetura bem definida,

tenha seu desenho pronto, muitos
modelos têm a sua caixa preta,

e muitas vezes
é difícil explicar.

Então, por exemplo, eu já
trabalhei com modelos

que têm pelo menos três
camadas e, a cada camada,

ele vai aumentando em oito
o volume de neurônios.

Como você consegue explicar
o resultado com isso?

E esse é um problema muito gerado
em redes neurais, essa caixa preta.

E a terminologia é similar
à terminologia utilizada na aviação,

porque a caixa preta
do avião é inacessível,

assim como a caixa preta
da inteligência artificial,

que é bastante inacessível.

E aí, você deve estar
se perguntando:

"bom, a caixa preta deve
gerar riscos na governança".

Sim, ela gera riscos
na governança.

Como você consegue
explicar esse modelo?

Como esse modelo consegue ser
aderente à legislação vigente

ou a práticas corretas
de governança e ética?

Esse tipo de problema gerado por
modelos que contém caixa preta

é um desafio muito grande e é,
inclusive, um foco de discurso

dentro das legislações que estão
sendo discutidas de IA e Big Data.

Por exemplo, a legislação voltada
para IA dentro da Europa

trabalha muito a transparência
que um modelo deve ter

em cima da sua
geração de informação.

Então, é uma coisa que já
vem sendo debatida.

Mas, além da caixa preta, a gente
também tem um termo bastante comum

dentro da inteligência artificial,
que é o viés histórico,

problemas que estão na nossa
sociedade que afetam o nosso modelo.

E, aqui na ilustração,
a gente traz o seguinte:

o que é esse viés histórico?

O viés histórico parte
quando os dados utilizados

para treinar aquela IA refletem
desigualdades, preconceitos

ou distorções sociais que já
existiam, que não existem mais.

E a gente colocou alguns
exemplos práticos,

por exemplo, o menor número
de mulheres em cargos de liderança

ocasiona que a IA vai
repetir esse padrão

para poder gerar
a amostra, a análise.

Além disso, pessoas com menor
acesso a crédito, minorias,

a IA vai também
penalizar essas pessoas

quando elas tentarem conseguir
algum crédito no mercado.

E a consequência é que a IA vai
amplificar esse tipo de problema.

Antes de a gente começar
a trabalhar com a IA gerativa

ou estatística multivariada, a gente
já tinha as nossas previsões,

por exemplo,
realizar um forecast,

a gente pode até fazer
uma comparação meio boba,

por exemplo, ao seguinte fator:
vamos supor que você tenha ali

uma linha do tempo que tem
dados de janeiro até junho, ok?

E você vai prever o próximo
mês baseado, por exemplo,

nos cinco meses anteriores, e aí,
você vai arrastando essa previsão,

ela vai fazer uma média
para prever os próximos meses.

Concorda que vai chegar
uma altura do campeonato

que se você não travar ou não
tratar, por exemplo, essa previsão,

os dados utilizados
para poder prever o futuro

vão ser os resultados
das últimas médias geradas?

Quando a gente fala que a IA
pode amplificar problemas sociais

se ela parte de vieses
históricos, é isso.

Você vai utilizar um dado que não
se adequa à realidade de hoje

para poder gerar modelos
que podem gerar decisões,

podem gerar tomadas de decisões,
e aí, vai gerar um ciclo vicioso.

E, fora o viés histórico, nós temos
também o paradoxo da explicabilidade,

que inclusive afeta
muito a caixa preta.

Então, a gente tem modelos
que são mais simples

e modelos mais complexos.

Então, modelos que forem
mais complexos

entende-se como os modelos
de Deep Learning.

E, hoje, entra o paradoxo
da explicabilidade.

Modelos mais simples,
como árvores de decisão,

geram resultados mais simples,
porque a sua configuração,

a sua arquitetura é
mais simplificada,

porém, eles são muito
mais fáceis de explicar.

Enquanto modelos mais complexos,
como modelos de redes neurais,

respondem a problemas
mais complexos.

Então, por exemplo, uma análise
que tem uma alta variância

de dados de entrada e saída, ele
vai conseguir atender muito bem,

porém, ali a gente tem o nosso
problema de explicabilidade,

ali a gente tem caixa preta.

Então, vamos comparar
os dois modelos.

Modelos mais simples
vão ter alta explicabilidade

enquanto modelos mais complexos
terão uma baixa explicabilidade.

Modelos mais simples, então,
são mais fáceis de auditar.

Então, o comitê de ética
em IA e Big Data

consegue, então,
reger melhor aqui.

Modelos mais complexos têm
uma dificuldade maior de explicar

por conta da sua
caixa preta.

Só que, aí, a gente começa a entrar
no problema dos modelos mais simples.

Modelos mais simples têm
uma performance menor

para tarefas mais complexas,
então eles têm uma limitação ali.

E aí, exige que eu use modelos
complexos, como o Deep Learning,

para problemas que exigem
uma alta performance

por terem um grande
volume de dados.

Então, ali é o nosso paradoxo.

Como eu consigo resolver
um problema extremamente complexo,

que tem um alto volume
de dados e, ao mesmo tempo,

conseguir explicar o que ele fez
para resolver aquele problema?

E, por conta disso,
a gente entra muito

no panorama de regulamentações.

Como, hoje, está, por exemplo,
o Brasil em relação a outros países

no que tange
regulamentar a IA?

E aí, a gente pode pensar
também em regulamentar

como a gente pode trabalhar
e explicar essa caixa preta.

O AI Act, da União Europeia, vai
classificar as aplicações de IA

por risco, nível de risco,
desde o inaceitável,

passando por alto
risco, médio e baixo.

Então, ali tem riscos
que o modelo de IA pode tomar

e modelos de IA que, legalmente,
já têm que ser evitados,

não pode dar sequência.

Então, a regulamentação europeia

vai ter regras mais rígidas
para IAs de alto risco.

Quando a gente começa
a olhar o panorama

do cenário nacional brasileiro,

a gente não tem
uma regulamentação vigente de IA,

a gente tem um marco legal
para IA, que está em discussão,

mas a gente já tem a LGPD,
então vamos analisar a LGPD.

A LGPD se baseia em proteção
de dados pessoais,

ela busca entender
e garantir direitos

como explicação
de decisões automatizadas

e entra também com consentimento
e bases legais para uso de dados.

Então, por mais que a LGPD não
atue especificamente sobre IA,

seja abrangente, ela já tem alguns
fatores que impactam na IA,

como a explicabilidade
do modelo

e como o consentimento
do uso da informação.

Falando do marco legal,
que está em discussão,

o que nós temos aqui?

O marco legal vai
definir as diretrizes

para o desenvolvimento ético
e responsável do modelo de IA

e, a partir disso, vai
entrar a discussão

sobre as categorias de risco
e os deveres de transparência.

O nosso marco legal de IA
está um pouco baseado

na regulamentação europeia,
ele tem, ali, as suas fontes.

Dentro do nosso conteúdo, vocês vão
observar que a gente tem também

outras regulamentações
de IA ao redor do mundo,

tem a regulamentação chinesa,
tem a regulamentação americana,

cada uma tem
um objetivo diferente.

O objetivo da regulamentação de IA
europeia e, consequentemente,

o caminho que está tomando
a regulamentação de IA brasileira,

é muito na transparência
e explicabilidade dos dados,

sempre pensando
no usuário final,

que é o usuário que vai consumir
os dados, consumir o modelo

e também vai prover,

vai repassar os seus dados
para o modelo trabalhar.

E como reflexão, vamos
pensar no seguinte:

a empresa que você trabalha
já está preparada para explicar

como o modelo já
está funcionando?

Ou ela apenas está
desenvolvendo

e gerando o modelo de acordo
com a necessidade, sem entrar,

por exemplo, em compromissos
éticos ou, eventualmente,

se tiver alguma auditoria, não vai
conseguir saber lidar, por exemplo,

com explicar como aquele
modelo gerou aquela informação?