Sabe-se que a inteligência artificial tem um problema de preconceito racial, constatado tanto em programas de reconhecimento facial, quanto naqueles identificam vozes.
No entanto, acredita-se que esse viés pode ser ainda mais grave quando se trata de serviços bancários e financeiros. Isso porque os dados usados para treinar às inteligências artificiais não são suficientemente tratados.
Segundo a multinacional Deloitte, os sistemas de IA são tão bons quanto os dados que recebem. Ou seja, informações incompletas e pouco representativas e o viés da equipe de treinamento podem limitar a objetividade do sistema.
De acordo com Nabil Manji, chefe de cripto e Web3 da Worldpay by FIS, é preciso considerar duas variáveis quando avaliamos se um produto de IA é bom.
“Uma são os dados aos quais ela tem acesso e a segunda é quão bom o grande modelo de linguagem é. É por isso que em relação aos dados, você vê empresas como o Reddit e outras que saíram publicamente e disseram que não vão permitir que as empresas raspem os dados delas, você terá que pagar elas por isso”, disse Manji.
Um exemplo de como os sistemas de inteligência artificial podem reproduzir preconceitos é na avaliação de empréstimos. Segundo Angle Bush, fundadora da organização “Black Women in Artificial Intelligence”, há risco de o sistema replicar vieses presentes nos dados usados para treinar os algoritmos.
“Isso pode resultar em negações automáticas de empréstimos para indivíduos de comunidades marginalizadas, reforçando as disparidades raciais ou de gênero”, explicou Bush.
Apesar da gravidade do problema, Kim Smouter, diretor do grupo European Network Against Racism, destaca que pode ser incrivelmente difícil comprovar que houve uma discriminação pela IA. Isto é, a análise do sistema é objetiva, mas é fundamentada em dados enviesados.
Por exemplo, a Apple e Goldman Sachs foram acusados de dar às mulheres limites mais baixos no Apple Card. Porém, essas alegações foram rejeitadas pelo Departamento de Serviços Financeiros do Estado de Nova York depois que o regulador não encontrou evidências de discriminação com base no sexo.
Via CNBC.