Qualia

El Sistema Nacional de Información y Registro Único de Beneficiarios del Estado (SINIRUBE) integra bases de datos sociales a lo largo de múltiples instituciones, en total 34 instituciones públicas y 42 programas de ayuda social en Costa Rica.

Esta importante plataforma tecnológica es un sistema que identifica de forma rápida y oportuna a las personas beneficiarias de todos los programas sociales con criterios homogéneos, evita las duplicidades y garantizará que los dineros públicos en esta materia, sean destinados a la población que realmente los necesitan, tiene como fin mejorar el ejercicio del sector social y contribuir con la reducción de la pobreza en el país. Sin embargo, la integridad de los datos recolectados se ve comprometida por la inconsistencia de las metodologías para levantar la información y la falta de mecanismos automatizados para la detección de errores en la captura de datos desde la fuente.

Más de 555 mil personas, correspondientes a 313 mil hogares en 10 regiones de todo el país, han sido parte de los programas de protección y promoción social del Instituto Mixto de Ayuda Social (IMAS) en 2021, con una inversión total de ₡188 mil millones. Se estima que entre un 30%-50% de los datos capturados a través del sistema presentarían algún tipo de error, por lo que su utilización en los Lagos de Datos para la toma de decisiones corrompería los esfuerzos.

Problema que se busca resolver

El combate a la pobreza y la desigualdad depende en gran medida de la implementación de políticas sociales precisas, eficientes, equitativas y transparentes. Para alcanzar este objetivo, las instituciones sociales realizan procesos de diseño, planeación y evaluación que requieren de datos certeros y confiables.

Como consecuencia, queda clara la importancia que tiene la verificación de la calidad de datos relativos al desarrollo social , sobre todo considerando que, en el caso de los registros sociales su consolidación implica la recolección y procesamiento de millones de datos, por parte de miles de personas, por lo que la presencia de errores e imprecisiones es recurrente. Además, los datos de los registros sociales son utilizados en un sinfín de estudios, acciones y decisiones en materia de política pública como la medición de la pobreza, la determinación de montos presupuestales para su combate, la focalización de recursos, por sólo mencionar algunos ejemplos.

Así, garantizar que los datos sociales representen correctamente aquello para lo que fueron diseñados cobra aún más relevancia. De ahí la importancia de contar con un sistema de análisis de calidad de datos que identifique, documente y reporte los equívocos y anomalías en los registros sociales para subsanarlos y evitarlos. De tal manera que desde el mismo punto de partida de las políticas sociales se contribuya a mejorar la calidad de vida de las poblaciones más pobres y vulnerables.

Poblaciones que se ven afectadas por el problema

1. Poblaciones en vulnerabilidad cuyos procesos de asistencia social pueden verse frustrados a raíz de las dificultades de proceso y técnicas de los sistemas SINIRUBE. A modo de ejemplo, una persona en verdadera necesidad podría ser rechazada por el proceso por cualquiera de los siguientes escenarios:
   • No hay un código único para las viviendas. No es posible asignar varios hogares a una sola vivienda. Si dos ó más hogares comparten una misma vivienda, su registro puede repetirse.
   • Personas repetidas. Personas extranjeras e indocumentadas pueden aparecer varias veces en el registro con diferentes números de identificación: de persona indocumentada, con permiso de residencia y de residente.
   • Hogares no identificados. Puede haber casos no identificados de hogares en los que parte de sus miembros cambian de residencia de manera posterior al levantamiento de la ficha de inclusión social (FIS).
2. Equipos de trabajo en SINIRUBE e instituciones relacionadas que ven sus esfuerzos retrasados o paralizados al tener que recurrir a métodos de validación manual de los datos, generando cuellos de botella en los procesos mientras que tampoco garantizaría una certera validación de los datos..

Respuesta actual a este problema, considerando a las instituciones relacionadas

La respuesta al problema varía dependiendo de cada entidad y se podría concluir que el método más común sería la validación manual sobre una muestra representativa del universo de datos.

En el caso ejemplo de Bono Proteger, cabe mencionar el caso práctico de análisis de calidad de datos que el Ministerio de Trabajo y Seguridad Social (MTSS) ha implementado para la identificación, suspensión y recuperación de acreditaciones que no corresponden en materia del Bono Proteger. Cada vez que se generan pagos del Bono, se aplican filtros de revisión a las bases de datos (planillas) para validar el cumplimiento de requisitos establecidos para ser beneficiario del programa. Esta revisión se hace de manera aleatoria y manual con el objetivo de identificar a aquellas personas que no cumplen con los requisitos establecidos o que cambiaron de estatus y ya no requieren seguir recibiendo el bono. Posteriormente se inicia una investigación administrativa que contempla la posibilidad de audiencia para que las personas puedan ejercer su derecho de defensa y aportar las pruebas que consideren oportunas. Si la investigación determina que la persona cumplía con los requisitos puede recibir los siguientes pagos, en caso contrario se inicia el procedimiento de recuperación de acreditaciones.

En este proceso así como en muchos similares, la cantidad de esfuerzo, recursos y tiempo que se requiere para identificar problemas de calidad de datos es superior a la ganancia del mismo.

Propuesta para solucionar dicho problema usando IA

QualIA es un programa que identifica y analiza datos atípicos o con alta probabilidad de error en registros sociales y cuestionarios, facilitando y optimizando mecanismos para mejorar la calidad de los datos, desarrollada por la empresa ProsperIA. El proyecto incluyó el desarrollo de modelos probabilísticos y predictivos para mejorar la calidad de datos en formularios de solicitud de asistencia social, los cuáles están siendo validados a través de un estudio con muestreo aleatorio de bases de datos anonimizadas de SINIRUBE.

La solución brindará uno o varios algoritmos que permitirán tener tres diferentes funciones y capacidades de análisis. Estas funciones serán desplegadas por medio de una interfaz de programación de aplicaciones ( API , por sus siglas en inglés), que SINIRUBE podrá consumir utilizando sus propios servidores o por medio de la infraestructura web que Prosperia construirá alrededor de la API y que proveerá durante 6 meses.

¿Qué consideraciones de seguridad, leyes nacionales o estándares se tienen que tener en cuenta para utilizar cada fuente de información?

La Ley #8968 de Protección de la Persona Frente al Tratamiento de sus Datos Personales se encuentra vigente y estipula en la Sección III los estándares y expectativas de seguridad y confidencialidad del tratamiento de los datos, de esta manera SINIRUBE observa lo estipulado por la ley y este piloto opera en un marco de adherencia a la normativa.

Las agencias y/o instituciones que colaboran en el desarrollo del prototipo y piloto de QualIA, han firmado un convenio de cooperación entre ellas que permite el intercambio de datos anonimizados.

Avances/resultados a marzo 2022

Con el apoyo del Tec de Monterrey se realizó un diagnóstico de la situación actual en el proceso de atención a mujeres víctima de violencia en Jalisco, en la Secretaría de la Igualdad Sustantiva entre Mujeres y Hombres de Jalisco, para analizar de qué manera la inteligencia artificial podría apoyar a la institución en sus procesos de atención.

1. Se realizó el resumen de estado del arte de metodologías para análisis de calidad de datos y su aplicabilidad al caso SINIRUBE. Esta información fue socializada con el liderazgo de la institución así como con jerarcas del Instituto Mixto de Ayuda Social (IMAS).
2. Se desarrollaron los modelos probabilísticos y predictivos para mejorar la calidad de datos en formularios de solicitud de asistencia social.
3. A partir de el punto anterior, se diseñó y probó el API de análisis de calidad de datos SINIRUBE, con las siguientes funcionalidades:
   • Identificación de registros inverosímiles
   • Identificación de valores inverosímiles a nivel variables
   • Imputación y recomendación de valores probables

Metas para 2022-II

1. Presentación de avance y demo a nuevo liderazgo de las instituciones.
2. Lograr aprobar y desarrollar el Piloto en RCT en alguna institución del Estado para refinar los modelos y hacer entrega de la gobernanza del API a SINIRUBE.
3. Implementar el plan de contingencia para la validación de los modelos ojalá con datos de dos instituciones del Estado.
4. Una vez que se realiza la prueba piloto, se hace entrega de la API implementada a SINIRUBE como servicio web de infraestructura escalable.

Principales retos en la implementación

1. Cambio de gobierno y autoridades, riesgo de priorización de la solución y los pilotos identificados. Igualmente, cambio de la persona que lidera el proyecto desde SINIRUBE.
2. Restricción de recursos disponibles en SINIRUBE para el desarrollo del piloto de campo.
3. SINIRUBE tiene urgencia en cerrar el proyecto y presentar resultados.

Principales retos de la IA identificados:

1. La disponibilidad y apertura de instituciones para colaborar con recursos y datos es limitada, por lo que los modelos podrían desarrollarse de manera sesgada al estar sujetos a culturas herméticas en el manejo de datos y proyectos de IA.
2. En caso de tener que activar el plan de contingencia para el piloto de campo, se requiere una evaluación de la brecha entre los modelos contruidos a partir de datos ENAHO vs. datos RIS Digital. Esto puede retrasar el desarrollo del piloto y comprometer los resultados ya que potencialmente no estaría tomando de base la misma arquitectura de datos.