-
Vamos para o seguinte problema:
o modelo de IA, para qualquer fim,
-
fim médico, fim policial,
gerou um dado incorreto,
-
você como parte do time
de governança de IA,
-
precisa explicar o que aconteceu
dentro do modelo
-
para poder gerar aquele
tipo de informação incorreta.
-
Só que a gente começa
a entrar no seguinte problema:
-
modelos de IA tem aquilo
que chamamos de caixa preta,
-
e como a gente vai
conseguir analisar,
-
interpretar, explicar aquilo, sendo
que muitas vezes é inacessível?
-
Vamos entender melhor
como figura a governança de IA
-
dentro das famosas caixas
pretas dos modelos de IA.
-
Mas para quem
caiu de paraquedas,
-
que nunca desenvolveu
um modelo de IA,
-
que nunca teve contato
com um modelo de IA,
-
o que é caixa preta?
-
Bom, dentro do nosso modelo de IA,
sobretudo o modelo de Deep Learning,
-
você tem as suas camadas,
seus neurônios,
-
e eles vão gerar
seu resultado.
-
Mas a caixa preta é como eles
geraram aquele resultado,
-
de que forma, qual foram
os pesos, as medidas.
-
Por mais que o modelo tenha
sua arquitetura bem definida,
-
tenha seu desenho pronto, muitos
modelos têm a sua caixa preta,
-
e muitas vezes
é difícil explicar.
-
Então, por exemplo, eu já
trabalhei com modelos
-
que têm pelo menos três
camadas e, a cada camada,
-
ele vai aumentando em oito
o volume de neurônios.
-
Como você consegue explicar
o resultado com isso?
-
E esse é um problema muito gerado
em redes neurais, essa caixa preta.
-
E a terminologia é similar
à terminologia utilizada na aviação,
-
porque a caixa preta
do avião é inacessível,
-
assim como a caixa preta
da inteligência artificial,
-
que é bastante inacessível.
-
E aí, você deve estar
se perguntando:
-
"bom, a caixa preta deve
gerar riscos na governança".
-
Sim, ela gera riscos
na governança.
-
Como você consegue
explicar esse modelo?
-
Como esse modelo consegue ser
aderente à legislação vigente
-
ou a práticas corretas
de governança e ética?
-
Esse tipo de problema gerado por
modelos que contém caixa preta
-
é um desafio muito grande e é,
inclusive, um foco de discurso
-
dentro das legislações que estão
sendo discutidas de AI e Big Data.
-
Por exemplo, a legislação voltada
para a IA dentro da Europa
-
trabalha muito a transparência
que um modelo deve ter
-
em cima da sua
geração de informação.
-
Então, é uma coisa que já
vem sendo debatida.
-
Mas, além da caixa preta, a gente
também tem um termo bastante comum
-
dentro da inteligência artificial,
que é o viés histórico,
-
problemas que estão na nossa
sociedade que afetam o nosso modelo.
-
E, aqui na ilustração,
a gente traz o seguinte:
-
o que é esse viés histórico?
-
O viés histórico parte
quando os dados utilizados
-
para treinar aquela IA refletem
desigualdades, preconceitos
-
ou distorções sociais que já
existiam, que não existem mais.
-
E a gente colocou alguns exemplos práticos.
-
Por exemplo, o menor número de mulheres em cargos de liderança
-
ocasiona que a IA vai repetir seu padrão para poder gerar a amostra,
-
a análise.
-
Além disso, pessoas com menor acesso a crédito, minorias, a IA vai
-
também penalizar essa pessoa quando ela tentar conseguir algum
-
crédito no mercado.
-
E a consequência é que a IA vai amplificar esse tipo de problema.
-
Antes de a gente começar a trabalhar com a IA gerativa ou estatística
-
multivariada, a gente já tinha as nossas previsões, por exemplo,
-
realizar um FORTEST, a gente pode até fazer uma comparação meio que
-
boba, por exemplo, ao seguinte fator.
-
Vamos supor que você tenha ali uma linha do tempo que ela tem dados
-
de janeiro até junho.
-
Ok?
-
E você vai prever o próximo mês baseado, por exemplo, nos cinco meses
-
anteriores.
-
E aí você vai arrastando essa previsão, ela vai fazer uma média para
-
prever os próximos meses.
-
Concorda que vai chegar uma altura do campeonato que se você não
-
travar ou não tratar, por exemplo, essa previsão, os dados utilizados
-
para poder prever o futuro vão ser os resultados das últimas médias
-
geradas?
-
Quando a gente fala que a IA pode amplificar problemas sociais se ela
-
parte de viéses históricos, é isso.
-
Você vai utilizar um dado que não se adequa à realidade de hoje para
-
poder gerar modelos que podem gerar decisões, podem gerar tomadas de
-
decisões.
-
E aí vai gerar um ciclo vicioso.
-
E fora o viés histórico, nós temos também o paradoxo da
-
explicabilidade, que inclusive afeta muito a caixa preta.
-
Então, a gente tem modelos que são mais simples e modelos mais
-
complexos.
-
Então, modelos que forem mais complexos, entendem-se como os modelos
-
de Deep Learning.
-
E hoje entra o paradoxo da explicabilidade.
-
Modelos mais simples, como árvores de decisão, eles geram resultados
-
mais simples, porque a sua configuração, a sua arquitetura é mais
-
simplificada, porém, eles são muito mais fáceis de explicar.
-
Enquanto modelos mais complexos, como modelos de redes neurais, eles
-
respondem a problemas mais complexos.
-
Então, por exemplo, uma análise que ela tenha uma alta variância de
-
dados de entrada e saída, ele vai conseguir atender muito bem, porém,
-
ali a gente tem o nosso problema de explicabilidade, ali a gente tem
-
a caixa preta.
-
Então, vamos comparar os dois modelos.
-
Modelos mais simples, eles vão ter alta explicabilidade, enquanto
-
modelos mais complexos, uma baixa explicabilidade.
-
Modelos mais simples, então, são mais fáceis de auditar.
-
Então, o comitê de ética em AI Big Data consegue, então, regir melhor
-
aqui.
-
Modelos mais complexos, tem uma dificuldade maior de explicar, por
-
conta da sua caixa preta.
-
Só que aí a gente começa a entrar no problema dos modelos mais
-
simples.
-
Modelos mais simples, tem uma performance menor para tarefas mais
-
complexas, então esse tem uma limitação ali.
-
E aí, exige que eu use modelos complexos, como o Deep Learning, para
-
problemas que exigem uma alta performance por terem um grande volume
-
de dados.
-
Então, ali é o nosso paradoxo.
-
Como que eu consigo resolver um problema extremamente complexo, que
-
tem um alto volume de dados, e ao mesmo tempo conseguir explicar o
-
que ele fez para resolver aquele problema?
-
E por conta disso, a gente entra muito no panorama de
-
regulamentações.
-
Como que hoje está, por exemplo, o Brasil em relação a outros países,
-
por exemplo, no que tange de regulamentar a IA.
-
E aí a gente pode pensar também em regulamentar como que a gente pode
-
trabalhar e explicar essa caixa preta.
-
O AI Act, da União Europeia, ele vai classificar as aplicações de IA
-
por risco, nível de risco.
-
Desde o inaceitável, passando por alto, risco, médio e baixo.
-
Então, ali tem riscos que o modelo de IA pode tomar e modelos de
-
IA que legalmente já tem que ser evitado, não pode dar sequência.
-
Então, a regulamentação europeia vai ter regras mais rígidas para IAs
-
de alto risco.
-
Quando a gente começa a olhar no panorama do cenário nacional
-
brasileiro, a gente não tem uma regulamentação vigente de IA.
-
A gente tem um marco legal para IA, que está em discussão, mas a
-
gente já tem a LGPD.
-
Então, vamos analisar a LGPD.
-
A LGPD, ela se baseia em proteção de dados pessoais.
-
Ela busca entender e garantir direitos como explicação de decisões
-
automatizadas e entra também com consentimento e bases legais para
-
uso de dados.
-
Então, por mais que a LGPD, ela não atua especificamente sobre IA,
-
ela é abrangente, ela já tem alguns fatores que a IA é impactada,
-
como a explicabilidade do modelo e como a o consentimento do uso da
-
informação.
-
Falando do marco legal, que está em discussão, o que nós temos aqui?
-
O marco legal, ele vai definir as diretrizes para o desenvolvimento
-
ético e responsável do modelo de IA e, a partir disso, vai entrar a
-
discussão sobre as categorias de risco e os deveres de transparência.
-
O nosso marco legal de IA, ele está um pouco baseado na
-
regulamentação europeia, ele tem ali as suas fontes.
-
Dentro do nosso conteúdo, vocês vão observar que a gente tem também
-
outras regulamentações de IA ao redor do mundo, então tem a
-
regulamentação chinesa, tem a regulamentação americana, cada um tem
-
um objetivo diferente.
-
O objetivo da regulamentação de IA europeia e, consequentemente, como
-
o caminho que está tomando a regulamentação de IA brasileira, é muito
-
na transparência e explicabilidade dos dados, sempre pensando no
-
usuário final, que é o usuário que vai consumir os dados, vai
-
consumir o modelo e também vai prover, vai repassar os seus dados
-
para o modelo trabalhar.
-
E como reflexão, vamos pensar no seguinte, a empresa que você
-
trabalha, ela já está preparada para explicar como o modelo já está
-
funcionando ou ela apenas está desenvolvendo e gerando o modelo de
-
acordo com a necessidade, sem entrar, por exemplo, em compromissos
-
éticos ou, eventualmente, se tiver alguma auditoria, não vai
-
conseguir saber lidar, por exemplo, com quem explicar como aquele
-
modelo gerou aquela informação.
