Si trabajas en un sector regulado, seguro que has oído hablar de la «calidad del dato» como un requisito más. Pero hay una confusión extendida: creer que calidad significa que no haya valores nulos o que los formatos sean correctos. Eso es solo la superficie.
En entornos exigentes, la calidad del dato tiene dimensiones que van mucho más allá de la limpieza sintáctica: exactitud, completitud, consistencia, validez, integridad referencial, oportunidad y, sobre todo, trazabilidad de la calidad.
Por qué las métricas tradicionales no sirven
Los proyectos de IA suelen medir calidad con indicadores simples: porcentaje de valores ausentes, número de duplicados, cumplimiento de formato (fechas, emails). En una fábrica de tornillos, eso puede valer. En un banco, no.
Imagina un dataset para un modelo de concesión de hipotecas. El campo «ingresos anuales» puede estar relleno con un número, con formato correcto, sin nulos. Pero si ese número no se corresponde con la realidad documentada en la nómina escaneada, el dato es técnicamente correcto pero materialmente falso. El modelo aprenderá de esa falsedad.
La calidad real exige cruzar el dato con su fuente original o con reglas de negocio validadas. Eso es más caro, pero es la única forma de que el dataset sea defendible.
Las seis dimensiones que importan en entornos exigentes
- Exactitud: el dato representa correctamente la realidad del documento fuente (no basta con que no dé error de formato).
- Completitud: todos los campos necesarios para la finalidad del modelo están presentes, y los ausentes están justificados.
- Consistencia: el mismo concepto (ej. «tipo de cliente») se representa igual en todos los registros y a lo largo del tiempo.
- Validez: los valores cumplen reglas de negocio documentadas (ej. un importe no puede ser negativo).
- Integridad referencial: las relaciones entre documentos o entre tablas se conservan (ej. cada transacción tiene un cliente existente).
- Oportunidad: los datos reflejan el estado actual o el estado histórico correcto según la necesidad del modelo.
En la práctica, para un dataset documental de IA, esto significa que no puedes confiar solo en validaciones automáticas. Necesitas muestreos manuales, auditorías internas y reglas de negocio documentadas.
El caso concreto de los documentos escaneados
Uno de los puntos más frágiles es la calidad de los datos extraídos mediante OCR de documentos escaneados. Un error de reconocimiento (una «rn» leída como «m») puede cambiar completamente el significado de una cláusula o de un importe.
En entornos exigentes, la curación de datos debe incluir un control de calidad específico para OCR: verificación por muestreo, comparación con originales, y registro de la tasa de error por tipo de documento. Si la tasa supera un umbral (por ejemplo, 1% de error crítico por campo), el lote entero debe ser reprocesado o revisado manualmente.
He visto proyectos enteros de IA para análisis de contratos fallar porque nadie midió la calidad del OCR. Los abogados revisaban los resultados y decían «esto no tiene sentido», pero no podían señalar dónde empezaba el error.
Cómo implementar un sistema de calidad del dato que funcione
- Define umbrales de calidad por campo y por tipo de documento (no es lo mismo el NIF que una dirección).
- Automatiza la validación sintáctica (formatos, rangos, nulos) pero no la desvincules de la validación semántica.
- Establece un proceso de «ground truth»: un subconjunto de documentos verificados manualmente que sirva como referencia para medir la exactitud del dataset completo.
- Documenta cada desviación de calidad y su impacto en el modelo. Si un campo tiene una tasa de error del 5%, el equipo debe decidir si lo excluye o si corrige las fuentes.
- La calidad se revisa antes del entrenamiento, pero también se monitoriza después, porque los documentos se actualizan o se añaden nuevas fuentes.
Conclusión
En sectores regulados, la calidad del dato no es una casilla más. Es el requisito que, si falla, invalida todo el proyecto. No te conformes con datasets «limpios» superficialmente. Exige datasets exactos, consistentes y validados contra la realidad documental. Tu modelo y tu departamento de cumplimiento te lo agradecerán.