-
Vamos para o seguinte problema:
o modelo de IA, para qualquer fim,
-
fim médico, fim policial,
gerou um dado incorreto,
-
você como parte do time
de governança de IA,
-
precisa explicar o que aconteceu
dentro do modelo
-
para poder gerar aquele
tipo de informação incorreta.
-
Só que a gente começa
a entrar no seguinte problema:
-
modelos de IA tem aquilo
que chamamos de caixa preta,
-
e como a gente vai
conseguir analisar,
-
interpretar, explicar aquilo, sendo
que muitas vezes é inacessível?
-
Vamos entender melhor
como figura a governança de IA
-
dentro das famosas caixas
pretas dos modelos de IA.
-
Mas para quem
caiu de paraquedas,
-
que nunca desenvolveu
um modelo de IA,
-
que nunca teve contato
com um modelo de IA,
-
o que é caixa preta?
-
Bom, dentro do nosso modelo de IA,
sobretudo o modelo de Deep Learning,
-
você tem as suas camadas,
seus neurônios,
-
e eles vão gerar
seu resultado.
-
Mas a caixa preta é como eles
geraram aquele resultado,
-
de que forma, qual foram
os pesos, as medidas.
-
Por mais que o modelo tenha
sua arquitetura bem definida,
-
tenha seu desenho pronto, muitos
modelos têm a sua caixa preta,
-
e muitas vezes
é difícil explicar.
-
Então, por exemplo, eu já
trabalhei com modelos
-
que têm pelo menos três
camadas e, a cada camada,
-
ele vai aumentando em oito
o volume de neurônios.
-
Como você consegue explicar
o resultado com isso?
-
E esse é um problema muito gerado
em redes neurais, essa caixa preta.
-
E a terminologia é similar
à terminologia utilizada na aviação,
-
porque a caixa preta
do avião é inacessível,
-
assim como a caixa preta
da inteligência artificial,
-
que é bastante inacessível.
-
E aí, você deve estar
se perguntando:
-
"bom, a caixa preta deve
gerar riscos na governança".
-
Sim, ela gera riscos
na governança.
-
Como você consegue
explicar esse modelo?
-
Como esse modelo consegue ser
aderente à legislação vigente
-
ou a práticas corretas
de governança e ética?
-
Esse tipo de problema gerado por
modelos que contém caixa preta
-
é um desafio muito grande e é,
inclusive, um foco de discurso
-
dentro das legislações que estão
sendo discutidas de AI e Big Data.
-
Por exemplo, a legislação voltada
para a IA dentro da Europa
-
trabalha muito a transparência
que um modelo deve ter
-
em cima da sua
geração de informação.
-
Então, é uma coisa que já
vem sendo debatida.
-
Mas, além da caixa preta, a gente
também tem um termo bastante comum
-
dentro da inteligência artificial,
que é o viés histórico,
-
problemas que estão na nossa
sociedade que afetam o nosso modelo.
-
E, aqui na ilustração,
a gente traz o seguinte:
-
o que é esse viés histórico?
-
O viés histórico parte
quando os dados utilizados
-
para treinar aquela IA refletem
desigualdades, preconceitos
-
ou distorções sociais que já
existiam, que não existem mais.
-
E a gente colocou alguns
exemplos práticos,
-
por exemplo, o menor número
de mulheres em cargos de liderança
-
ocasiona que a IA vai
repetir seu padrão
-
para poder gerar
a amostra, a análise.
-
Além disso, pessoas com menor
acesso a crédito, minorias,
-
a IA vai também
penalizar essa pessoa
-
quando ela tentar conseguir
algum crédito no mercado.
-
E a consequência é que a IA vai
amplificar esse tipo de problema.
-
Antes de a gente começar
a trabalhar com a IA gerativa
-
ou estatística multivariada, a gente
já tinha as nossas previsões,
-
por exemplo, realizar um ______,
-
a gente pode até fazer
uma comparação meio boba,
-
por exemplo, ao seguinte fator:
vamos supor que você tenha ali
-
uma linha do tempo que tem
dados de janeiro até junho, ok?
-
E você vai prever o próximo
mês baseado, por exemplo,
-
nos cinco meses anteriores, e aí,
você vai arrastando essa previsão,
-
ela vai fazer uma média
para prever os próximos meses.
-
Concorda que vai chegar
uma altura do campeonato
-
que se você não travar ou não
tratar, por exemplo, essa previsão,
-
os dados utilizados
para poder prever o futuro
-
vão ser os resultados
das últimas médias geradas?
-
Quando a gente fala que a IA
pode amplificar problemas sociais
-
se ela parte de viéses
históricos, é isso.
-
Você vai utilizar um dado que não
se adequa à realidade de hoje
-
para poder gerar modelos
que podem gerar decisões,
-
podem gerar tomadas de decisões,
e aí, vai gerar um ciclo vicioso.
-
E, fora o viés histórico, nós temos
também o paradoxo da explicabilidade,
-
que inclusive afeta
muito a caixa preta.
-
Então, a gente tem modelos
que são mais simples
-
e modelos mais complexos.
-
Então, modelos que forem
mais complexos
-
entende-se como os modelos
de Deep Learning.
-
E, hoje, entra o paradoxo
da explicabilidade.
-
Modelos mais simples,
como árvores de decisão,
-
geram resultados mais simples,
porque a sua configuração,
-
a sua arquitetura é
mais simplificada,
-
porém, eles são muito
mais fáceis de explicar.
-
Enquanto modelos mais complexos,
como modelos de redes neurais,
-
respondem a problemas
mais complexos.
-
Então, por exemplo, uma análise
que tem uma alta variância
-
de dados de entrada e saída, ele
vai conseguir atender muito bem,
-
porém, ali a gente tem o nosso
problema de explicabilidade,
-
ali a gente tem caixa preta.
-
Então, vamos comparar
os dois modelos.
-
Modelos mais simples, eles vão ter alta explicabilidade, enquanto
-
modelos mais complexos, uma baixa explicabilidade.
-
Modelos mais simples, então, são mais fáceis de auditar.
-
Então, o comitê de ética em AI Big Data consegue, então, regir melhor
-
aqui.
-
Modelos mais complexos, tem uma dificuldade maior de explicar, por
-
conta da sua caixa preta.
-
Só que aí a gente começa a entrar no problema dos modelos mais
-
simples.
-
Modelos mais simples, tem uma performance menor para tarefas mais
-
complexas, então esse tem uma limitação ali.
-
E aí, exige que eu use modelos complexos, como o Deep Learning, para
-
problemas que exigem uma alta performance por terem um grande volume
-
de dados.
-
Então, ali é o nosso paradoxo.
-
Como que eu consigo resolver um problema extremamente complexo, que
-
tem um alto volume de dados, e ao mesmo tempo conseguir explicar o
-
que ele fez para resolver aquele problema?
-
E por conta disso, a gente entra muito no panorama de
-
regulamentações.
-
Como que hoje está, por exemplo, o Brasil em relação a outros países,
-
por exemplo, no que tange de regulamentar a IA.
-
E aí a gente pode pensar também em regulamentar como que a gente pode
-
trabalhar e explicar essa caixa preta.
-
O AI Act, da União Europeia, ele vai classificar as aplicações de IA
-
por risco, nível de risco.
-
Desde o inaceitável, passando por alto, risco, médio e baixo.
-
Então, ali tem riscos que o modelo de IA pode tomar e modelos de
-
IA que legalmente já tem que ser evitado, não pode dar sequência.
-
Então, a regulamentação europeia vai ter regras mais rígidas para IAs
-
de alto risco.
-
Quando a gente começa a olhar no panorama do cenário nacional
-
brasileiro, a gente não tem uma regulamentação vigente de IA.
-
A gente tem um marco legal para IA, que está em discussão, mas a
-
gente já tem a LGPD.
-
Então, vamos analisar a LGPD.
-
A LGPD, ela se baseia em proteção de dados pessoais.
-
Ela busca entender e garantir direitos como explicação de decisões
-
automatizadas e entra também com consentimento e bases legais para
-
uso de dados.
-
Então, por mais que a LGPD, ela não atua especificamente sobre IA,
-
ela é abrangente, ela já tem alguns fatores que a IA é impactada,
-
como a explicabilidade do modelo e como a o consentimento do uso da
-
informação.
-
Falando do marco legal, que está em discussão, o que nós temos aqui?
-
O marco legal, ele vai definir as diretrizes para o desenvolvimento
-
ético e responsável do modelo de IA e, a partir disso, vai entrar a
-
discussão sobre as categorias de risco e os deveres de transparência.
-
O nosso marco legal de IA, ele está um pouco baseado na
-
regulamentação europeia, ele tem ali as suas fontes.
-
Dentro do nosso conteúdo, vocês vão observar que a gente tem também
-
outras regulamentações de IA ao redor do mundo, então tem a
-
regulamentação chinesa, tem a regulamentação americana, cada um tem
-
um objetivo diferente.
-
O objetivo da regulamentação de IA europeia e, consequentemente, como
-
o caminho que está tomando a regulamentação de IA brasileira, é muito
-
na transparência e explicabilidade dos dados, sempre pensando no
-
usuário final, que é o usuário que vai consumir os dados, vai
-
consumir o modelo e também vai prover, vai repassar os seus dados
-
para o modelo trabalhar.
-
E como reflexão, vamos pensar no seguinte, a empresa que você
-
trabalha, ela já está preparada para explicar como o modelo já está
-
funcionando ou ela apenas está desenvolvendo e gerando o modelo de
-
acordo com a necessidade, sem entrar, por exemplo, em compromissos
-
éticos ou, eventualmente, se tiver alguma auditoria, não vai
-
conseguir saber lidar, por exemplo, com quem explicar como aquele
-
modelo gerou aquela informação.
