Qualia

O Sistema Nacional de Informação e Registro Único de Beneficiários do Estado (SINIRUBE) integra bancos de dados sociais de múltiplas instituições, num total de 34 instituições públicas e 42 programas de assistência social na Costa Rica.

Essa importante plataforma tecnológica é um sistema que identifica de forma rápida e oportuna as pessoas beneficiárias de todos os programas sociais com critérios homogêneos, evita a duplicação e garante que o dinheiro público nessa área seja alocado para a população que realmente precisa dele, com o objetivo de melhorar o desempenho do setor social e contribuir para a redução da pobreza no país. Entretanto, a integridade dos dados coletados é comprometida pela inconsistência das metodologias usadas para coletar as informações e pela falta de mecanismos automatizados para detectar erros na captura de dados na fonte.

Mais de 555.000 pessoas, correspondentes a 313.000 lares em 10 regiões do país, fizeram parte dos programas de proteção e promoção social do Instituto Misto de Ajuda Social (IMAS) em 2021, com um investimento total de ₡188 bilhões. Estima-se que entre 30% e 50% dos dados capturados pelo sistema teriam algum tipo de erro, portanto, sua utilização nos data lakes para a tomada de decisões corromperia os esforços.

Problema a ser resolvido

A luta contra a pobreza e a desigualdade depende, em grande parte, da implementação de políticas sociais precisas, eficientes, equitativas e transparentes. Para atingir esse objetivo, as instituições sociais realizam processos de projeto, planejamento e avaliação que exigem dados precisos e confiáveis.

Como consequência, fica clara a importância de se verificar a qualidade dos dados relacionados ao desenvolvimento social, especialmente considerando que, no caso dos registros sociais, sua consolidação implica a coleta e o processamento de milhões de dados por milhares de pessoas, de modo que a presença de erros e imprecisões é recorrente. Além disso, os dados dos registros sociais são utilizados em inúmeros estudos, ações e decisões de políticas públicas, como a mensuração da pobreza, a determinação de valores orçamentários para combatê-la e o direcionamento de recursos, para citar apenas alguns exemplos.

Assim, garantir que os dados sociais representem corretamente aquilo para o qual foram projetados torna-se ainda mais importante. Daí a importância de se ter um sistema de análise da qualidade dos dados que identifique, documente e informe erros e anomalias nos registros sociais para corrigi-los e evitá-los. De tal forma que, do mesmo ponto de partida das políticas sociais, contribua para melhorar a qualidade de vida das populações mais pobres e vulneráveis.

Populações afetadas pelo problema

1. Populações em situação de vulnerabilidade cujos processos de assistência social podem ser frustrados em decorrência das dificuldades processuais e técnicas dos sistemas do SINIRUBE. A título de exemplo, uma pessoa realmente necessitada poderia ser rejeitada pelo processo por qualquer um dos seguintes cenários:
   • Não há um código único para as moradias. Não é possível atribuir várias famílias a uma única moradia. Se duas ou mais famílias compartilharem a mesma residência, o registro delas poderá ser repetido.
   • Pessoas repetidas. Pessoas estrangeiras e indocumentadas podem aparecer várias vezes no registro com diferentes números de identificação: pessoa indocumentada, com visto de residência e com autorização de residência..
   • Famílias não identificadas. Pode haver casos não identificados de famílias em que parte de seus membros muda de residência após o preenchimento do formulário de inclusão social (FIS).
2. As equipes de trabalho do SINIRUBE e das instituições relacionadas que veem seus esforços atrasados ou paralisados por terem de recorrer a métodos manuais de validação de dados, criando gargalos nos processos e, ao mesmo tempo, não garantindo a validação precisa dos dados.

Resposta atual a esse problema, considerando as instituições relacionadas

A resposta ao problema varia de entidade para entidade e pode-se concluir que o método mais comum seria a validação manual em uma amostra representativa do universo de dados.

No exemplo do “Bono Proteger”, vale a pena mencionar o caso prático de análise de qualidade de dados que o Ministério do Trabalho e Seguridade Social (MTSS) implementou para a identificação, suspensão e recuperação de credenciamentos que não correspondem ao Bono Proteger. Cada vez que os pagamentos do Bono Proteger são gerados, filtros de revisão são aplicados aos bancos de dados (planilhas) para validar a conformidade com os requisitos estabelecidos para ser um beneficiário do programa. Essa revisão é feita de forma aleatória e manual para identificar as pessoas que não atendem aos requisitos estabelecidos ou que mudaram de status e não precisam mais continuar recebendo o auxílio. Em seguida, é iniciada uma investigação administrativa, que inclui a possibilidade de uma audiência para que os indivíduos possam exercer seu direito de defesa e fornecer as provas que considerarem adequadas. Se a investigação determinar que a pessoa cumpriu os requisitos, ela poderá receber os próximos pagamentos; caso contrário, será iniciado o procedimento para a recuperação dos credenciamentos.

Nesse processo, assim como em muitos outros semelhantes, a quantidade de esforço, recursos e tempo necessários para identificar problemas de qualidade de dados supera o ganho.

Proposta para resolver esse problema usando IA

O QualIA é um programa que identifica e analisa dados atípicos ou com alta probabilidade de erro em registros sociais e questionários, facilitando e otimizando mecanismos para melhorar a qualidade dos dados, desenvolvido pela empresa ProsperIA. O projeto incluiu o desenvolvimento de modelos probabilísticos e preditivos para melhorar a qualidade dos dados em formulários de solicitação de assistência social, que estão sendo validados por meio de um estudo de amostragem aleatória de bancos de dados anônimos do SINIRUBE.

A solução fornecerá um ou mais algoritmos que permitirão três funções e capacidades de análise diferentes. Essas funções serão implementadas por meio de uma interface de programação de aplicações (API na sigla em inglês), que o SINIRUBE poderá consumir usando seus próprios servidores ou por meio da infraestrutura web que a ProsperIA construirá em torno da API e fornecerá por 6 meses.

Quais considerações de segurança, leis nacionais ou normas precisam ser levadas em conta ao usar cada fonte de informação?

A Lei nº 8968 sobre a Proteção das Pessoas com relação ao Tratamento de seus Dados Pessoais está em vigor e estipula na Seção III os padrões e expectativas de segurança e confidencialidade do tratamento dos dados, portanto, a SINIRUBE observa as estipulações da lei e este piloto opera dentro de uma estrutura de adesão aos regulamentos.

As agências e/ou instituições que colaboram no desenvolvimento do protótipo e do piloto do QualIA assinaram um acordo de cooperação entre elas que permite a troca de dados anonimizados.

Avanços/resultados até março de 2022

1. Foi realizado um resumo do estado da arte das metodologias para a análise da qualidade dos dados e sua aplicabilidade ao caso SINIRUBE. Essas informações foram socializadas com a liderança da instituição, bem como com a hierarquia do Instituto Misto de Ajuda Social (IMAS).
2. Foram desenvolvidos modelos probabilísticos e preditivos para melhorar a qualidade dos dados nos formulários de solicitação de assistência social.
3. A partir do ponto anterior, a API de análise da qualidade dos dados do SINIRUBE foi projetada e testada, com as seguintes funcionalidades:
   • Identificação de registros implausíveis.
   • Identificação de valores implausíveis em nível de variável.
   • Imputação e recomendação de valores prováveis.

Metas para 2022-II

1. Apresentação do progresso e demonstração para a nova liderança das instituições.
2. Obter aprovação e desenvolver o RCT Piloto em uma instituição do Estado para refinar os modelos e entregar a governança da API ao SINIRUBE.
3. Implementar o plano de contingência para a validação dos modelos, com a esperança de contar com dados de duas instituições do Estado.
4. Após a conclusão do teste piloto, a API implementada é entregue ao SINIRUBE como um serviço web de infraestrutura escalável.

Principais desafios na implementação

1. Mudança de governo e autoridades, risco de priorização da solução e pilotos identificados. Da mesma forma, mudança da pessoa que lidera o projeto do SINIRUBE.
2. Restrição de recursos disponíveis no SINIRUBE para o desenvolvimento do piloto em campo.
3. O SINIRUBE tem urgência em encerrar o projeto e apresentar os resultados.

Principais desafios de IA identificados

1. A disponibilidade e a abertura das instituições para colaborar com recursos e dados são limitadas, portanto, os modelos podem ser desenvolvidos de forma enviesada, pois estão sujeitos a culturas herméticas no gerenciamento de dados e projetos de IA.
2. Caso seja necessário ativar o plano de contingência para o piloto de campo, é preciso avaliar a lacuna entre os modelos criados a partir dos dados da ENAHO e os dados do RIS Digital. Isso pode atrasar o desenvolvimento do piloto e comprometer os resultados, uma vez que ele potencialmente não se basearia na mesma arquitetura de dados.