-
Vamos para o seguinte problema:
o modelo de IA, para qualquer fim,
-
fim médico, fim policial,
gerou um dado incorreto,
-
você como parte do time
de governança de IA,
-
precisa explicar o que aconteceu
dentro do modelo
-
para poder gerar aquele
tipo de informação incorreta.
-
Só que a gente começa
a entrar no seguinte problema:
-
modelos de IA tem aquilo
que chamamos de caixa preta,
-
e como a gente vai
conseguir analisar,
-
interpretar, explicar aquilo, sendo
que muitas vezes é inacessível?
-
Vamos entender melhor
como figura a governança de IA
-
dentro das famosas caixas
pretas dos modelos de IA.
-
Mas para quem
caiu de paraquedas,
-
que nunca desenvolveu
um modelo de IA,
-
que nunca teve contato
com um modelo de IA,
-
o que é caixa preta?
-
Bom, dentro do nosso modelo de IA,
sobretudo o modelo de Deep Learning,
-
você tem as suas camadas,
seus neurônios,
-
e eles vão gerar
seu resultado.
-
Mas a caixa preta é como eles
geraram aquele resultado,
-
de que forma, qual foram
os pesos, as medidas.
-
Por mais que o modelo tenha
sua arquitetura bem definida,
-
tenha seu desenho pronto, muitos
modelos têm a sua caixa preta,
-
e muitas vezes
é difícil explicar.
-
Então, por exemplo, eu já
trabalhei com modelos
-
que têm pelo menos três
camadas e, a cada camada,
-
ele vai aumentando em oito
o volume de neurônios.
-
Como você consegue explicar
o resultado com isso?
-
E esse é um problema muito gerado
em redes neurais, essa caixa preta.
-
E a terminologia é similar
à terminologia utilizada na aviação,
-
porque a caixa preta
do avião é inacessível,
-
assim como a caixa preta
da inteligência artificial,
-
que é bastante inacessível.
-
E aí, você deve estar
se perguntando:
-
"bom, a caixa preta deve
gerar riscos na governança".
-
Sim, ela gera riscos
na governança.
-
Como você consegue
explicar esse modelo?
-
Como esse modelo consegue ser
aderente à legislação vigente
-
ou a práticas corretas
de governança e ética?
-
Esse tipo de problema gerado por
modelos que contém caixa preta
-
é um desafio muito grande e é,
inclusive, um foco de discurso
-
dentro das legislações que estão
sendo discutidas de AI e Big Data.
-
Por exemplo, a legislação voltada
para a IA dentro da Europa
-
trabalha muito a transparência
que um modelo deve ter
-
em cima da sua
geração de informação.
-
Então, é uma coisa que já
vem sendo debatida.
-
Mas, além da caixa preta, a gente
também tem um termo bastante comum
-
dentro da inteligência artificial,
que é o viés histórico,
-
problemas que estão na nossa
sociedade que afetam o nosso modelo.
-
E, aqui na ilustração,
a gente traz o seguinte:
-
o que é esse viés histórico?
-
O viés histórico parte
quando os dados utilizados
-
para treinar aquela IA refletem
desigualdades, preconceitos
-
ou distorções sociais que já
existiam, que não existem mais.
-
E a gente colocou alguns
exemplos práticos,
-
por exemplo, o menor número
de mulheres em cargos de liderança
-
ocasiona que a IA vai
repetir seu padrão
-
para poder gerar
a amostra, a análise.
-
Além disso, pessoas com menor
acesso a crédito, minorias,
-
a IA vai também
penalizar essa pessoa
-
quando ela tentar conseguir
algum crédito no mercado.
-
E a consequência é que a IA vai
amplificar esse tipo de problema.
-
Antes de a gente começar
a trabalhar com a IA gerativa
-
ou estatística multivariada, a gente
já tinha as nossas previsões,
-
por exemplo, realizar um ______,
-
a gente pode até fazer
uma comparação meio boba,
-
por exemplo, ao seguinte fator:
vamos supor que você tenha ali
-
uma linha do tempo que tem
dados de janeiro até junho, ok?
-
E você vai prever o próximo
mês baseado, por exemplo,
-
nos cinco meses anteriores, e aí,
você vai arrastando essa previsão,
-
ela vai fazer uma média
para prever os próximos meses.
-
Concorda que vai chegar
uma altura do campeonato
-
que se você não travar ou não
tratar, por exemplo, essa previsão,
-
os dados utilizados
para poder prever o futuro
-
vão ser os resultados
das últimas médias geradas?
-
Quando a gente fala que a IA
pode amplificar problemas sociais
-
se ela parte de viéses
históricos, é isso.
-
Você vai utilizar um dado que não
se adequa à realidade de hoje
-
para poder gerar modelos
que podem gerar decisões,
-
podem gerar tomadas de decisões,
e aí, vai gerar um ciclo vicioso.
-
E, fora o viés histórico, nós temos
também o paradoxo da explicabilidade,
-
que inclusive afeta
muito a caixa preta.
-
Então, a gente tem modelos
que são mais simples
-
e modelos mais complexos.
-
Então, modelos que forem
mais complexos
-
entende-se como os modelos
de Deep Learning.
-
E, hoje, entra o paradoxo
da explicabilidade.
-
Modelos mais simples,
como árvores de decisão,
-
geram resultados mais simples,
porque a sua configuração,
-
a sua arquitetura é
mais simplificada,
-
porém, eles são muito
mais fáceis de explicar.
-
Enquanto modelos mais complexos,
como modelos de redes neurais,
-
respondem a problemas
mais complexos.
-
Então, por exemplo, uma análise
que tem uma alta variância
-
de dados de entrada e saída, ele
vai conseguir atender muito bem,
-
porém, ali a gente tem o nosso
problema de explicabilidade,
-
ali a gente tem caixa preta.
-
Então, vamos comparar
os dois modelos.
-
Modelos mais simples
vão ter alta explicabilidade
-
enquanto modelos mais complexos
terão uma baixa explicabilidade.
-
Modelos mais simples, então,
são mais fáceis de auditar.
-
Então, o comitê de ética
em IA e Big Data
-
consegue, então,
regir melhor aqui.
-
Modelos mais complexos têm
uma dificuldade maior de explicar
-
por conta da sua
caixa preta.
-
Só que, aí, a gente começa a entrar
no problema dos modelos mais simples.
-
Modelos mais simples têm
uma performance menor
-
para tarefas mais complexas,
então eles têm uma limitação ali.
-
E aí, exige que eu use modelos
complexos, como o Deep Learning,
-
para problemas que exigem
uma alta performance
-
por terem um grande
volume de dados.
-
Então, ali é o nosso paradoxo.
-
Como eu consigo resolver
um problema extremamente complexo,
-
que tem um alto volume
de dados e, ao mesmo tempo,
-
conseguir explicar o que ele fez
para resolver aquele problema?
-
E, por conta disso,
a gente entra muito
-
no panorama de regulamentações.
-
Como, hoje, está, por exemplo,
o Brasil em relação a outros países
-
no que tange regulamentar a IA?
-
E aí, a gente pode pensar
também em regulamentar
-
como a gente pode trabalhar
e explicar essa caixa preta.
-
O AI Act, da União Europeia, vai
classificar as aplicações de IA
-
por risco, nível de risco,
desde o inaceitável,
-
passando por alto
risco, médio e baixo.
-
Então, ali tem riscos
que o modelo de IA pode tomar
-
e modelos de IA que, legalmente,
já têm que ser evitados,
-
não pode dar sequência.
-
Então, a regulamentação europeia
-
vai ter regras mais rígidas
para IAs de alto risco.
-
Quando a gente começa
a olhar o panorama
-
do cenário nacional brasileiro,
-
a gente não tem
uma regulamentação vigente de IA,
-
a gente tem um marco legal
para IA, que está em discussão,
-
mas a gente já tem a LGPD,
então vamos analisar a LGPD.
-
A LGPD, ela se baseia em proteção de dados pessoais.
-
Ela busca entender e garantir direitos como explicação de decisões
-
automatizadas e entra também com consentimento e bases legais para
-
uso de dados.
-
Então, por mais que a LGPD, ela não atua especificamente sobre IA,
-
ela é abrangente, ela já tem alguns fatores que a IA é impactada,
-
como a explicabilidade do modelo e como a o consentimento do uso da
-
informação.
-
Falando do marco legal, que está em discussão, o que nós temos aqui?
-
O marco legal, ele vai definir as diretrizes para o desenvolvimento
-
ético e responsável do modelo de IA e, a partir disso, vai entrar a
-
discussão sobre as categorias de risco e os deveres de transparência.
-
O nosso marco legal de IA, ele está um pouco baseado na
-
regulamentação europeia, ele tem ali as suas fontes.
-
Dentro do nosso conteúdo, vocês vão observar que a gente tem também
-
outras regulamentações de IA ao redor do mundo, então tem a
-
regulamentação chinesa, tem a regulamentação americana, cada um tem
-
um objetivo diferente.
-
O objetivo da regulamentação de IA europeia e, consequentemente, como
-
o caminho que está tomando a regulamentação de IA brasileira, é muito
-
na transparência e explicabilidade dos dados, sempre pensando no
-
usuário final, que é o usuário que vai consumir os dados, vai
-
consumir o modelo e também vai prover, vai repassar os seus dados
-
para o modelo trabalhar.
-
E como reflexão, vamos pensar no seguinte, a empresa que você
-
trabalha, ela já está preparada para explicar como o modelo já está
-
funcionando ou ela apenas está desenvolvendo e gerando o modelo de
-
acordo com a necessidade, sem entrar, por exemplo, em compromissos
-
éticos ou, eventualmente, se tiver alguma auditoria, não vai
-
conseguir saber lidar, por exemplo, com quem explicar como aquele
-
modelo gerou aquela informação.
