Aplicación de la Especificación UNE 0081:2023 para la evaluación de calidad de datos

La nueva especificación  UNE 0081 Evaluación de Calidad de Datos , centrada en los datos como producto (conjuntos de datos o bases de datos), complementa la especificación  UNE 0079 Gestión de la calidad del dato , que (analizada por Datos.gob previamente en  este artículo ), se focaliza en los procesos de gestión de la calidad del dato. Ambas normas, la 0079 y la 0081 se complementan y abordan de forma holística la calidad de los datos:

• La norma UNE 0079 refiere los procesos, las actividades que deber realizar la organización para garantizar los niveles adecuados de calidad de sus datos para satisfacer la estrategia que la organización se han marcado.

• Por otra parte, la UNE 0081 define un modelo de calidad del dato, basado en las normas  ISO/IEC 25012  e  ISO/IEC 25024 , en el que se detallan las características de calidad que pueden tener los datos, así como algunas métricas aplicables. También define el proceso que se debe seguir para evaluar la calidad de un conjunto de datos concreto, tomando como base la norma  ISO/IEC 25040 . Finalmente, la especificación acaba detallando cómo interpretar los resultados obtenidos de la evaluación, mostrando ejemplos concretos de aplicación.

¿Cómo puede una organización hacer uso de esta especificación para evaluar el nivel de calidad de sus datos?

Para dar respuesta a esta pregunta, vamos a contar el ejemplo del Ayuntamiento de Vistabella, previamente  utilizado en artículos anteriores . El ayuntamiento tiene una serie de conjuntos de datos, cuya calidad quiere evaluar, para poder mejorarlos y dar un mejor servicio a la ciudadanía. La institución es consciente de que trabaja con muchos tipos de datos (transaccionales, maestros, de referencia, etc.), por lo tanto, lo primero que realiza es una primera identificación de los conjuntos de datos que aportan valor y para los cuales, no disponer de niveles adecuados de calidad, puede repercutir en el día a día. Algunos criterios a la seguir a la hora de seleccionar estos conjuntos pueden ser: datos que aportan un valor al ciudadano, datos resultantes de un proceso de integración o visión maestra del dato, datos críticos por ser utilizados en varios procesos/procedimientos, etc.

El siguiente paso será determinar en qué punto(s) del ciclo de vida de los procesos operativos del ayuntamiento se realizarán estos controles de calidad del dato.

Es en este punto donde la especificación UNE 0081 entra en juego. La evaluación se hace en función de las "reglas de negocio" que definen los requerimientos, requisitos de datos o validaciones que deben cumplir los datos para que aporten valor a la organización. A continuación, se muestran algunos ejemplos:

• Los DNI de los ciudadanos tendrán que cumplir con la sintaxis específica para ello (8 números y una letra).
• Toda fecha existente en el sistema tendrá que seguir la notación DD-MM-AAAA.
• No se admitirán registros de documentación con fecha posterior a la actual.
• Se deberá tener traza de quién y cuándo ha realizado un cambio en un conjunto de datos.

Para poder identificar de forma sistemática y exhaustiva las reglas de negocio que tengan que cumplir los datos en cada etapa de su ciclo de vida, el ayuntamiento hace uso de una metodología  basada en BR4DQ .

A continuación, desde el ayuntamiento, se revisan todas las características de calidad de datos incluidas dentro de la especificación, se priorizan, y se determina un primer conjunto de ellas que se querrán tener en cuenta para la evaluación. Para ello, y en esta primera etapa, el ayuntamiento decide quedarse exclusivamente con las 5 características inherentes de  ISO 25012  definidas dentro de la especificación. Estas son: exactitud, completitud, consistencia, credibilidad y actualidad.

Del mismo modo, para cada una de estas primeras características que se ha acordado abordar, se identifican posibles propiedades. Para ello, finalmente, desde el ayuntamiento se decide trabajar con el siguiente modelo de calidad que incluye las siguientes características y propiedades:

Hasta este punto, el ayuntamiento tiene identificado el conjunto de datos a evaluar, así como las reglas de negocio que le aplican, y en qué aspectos de la calidad se va a centrar (modelo de calidad de datos). A continuación, es necesario llevar a cabo la medición de calidad de datos a través de la validación de las reglas de negocio. Para ello se obtienen valores para las distintas métricas, los cuales se computan siguiendo una aproximación de abajo hacia arriba hasta determinar el nivel de calidad de datos del repositorio

Definición del proceso de evaluación

Para realizar la evaluación de una forma adecuada, se decide hacer uso del proceso de evaluación de calidad basado en ISO 25024, indicado dentro de la especificación UNE 0081 (véase a continuación).

Aplicación del proceso de evaluación

A continuación, se resumen los aspectos más destacables llevados a cabo por el Ayuntamiento durante la etapa 4 del proceso de evaluación:

1. Validación del grado de cumplimiento de cada regla de negocio por propiedad: Disponiendo de todas las reglas de negocio clasificadas por propiedad, se valida el grado de cumplimiento de cada una de ellas, obteniendo así una serie de valores para cada una de las métricas. Esto se ejecuta sobre cada uno de los conjuntos de datos a evaluar.

A modo de ejemplo, para la propiedad de exactitud sintáctica se obtienen dos métricas:

1. Número de registros que cumplen las reglas de negocio de exactitud sintáctica: 826.254
2. Número de registros que deben cumplir las reglas de negocio de exactitud sintáctica: 850.639

1. Cuantificación del valor de la propiedad: A partir de estas métricas, se cuantifica y determina el valor de la propiedad haciendo uso de la función de medición especificada en la especificación UNE 0081. Para el caso concreto de la exactitud sintáctica se determina que una densidad de registros del 97,1% cumplen todas las reglas de exactitud sintáctica.
2. Cálculo del valor de la característica: Para ello, se hace uso de los resultados de cada una de las métricas de calidad de datos asociadas a una propiedad. Para calcularlo, y tal como se especifica en la especificación UNE 0081, se decide seguir una suma ponderada en la que cada propiedad tiene el mismo peso. Para el caso de la Exactitud, se dispone de los valores de Exactitud sintáctica: 97,1, Exactitud semántica: 95, y Rango de exactitud: 92,9. Computando estas 3 puntuaciones, se obtuvo un valor de 95 sobre 100 para esta característica.
3. Paso del valor cuantitativo al cualitativo: Para finalizar y poder proporcionar un resultado final de calidad, se decide hacer uso de otra suma ponderada; en este caso, todas las dimensiones tienen el mismo peso. Partiendo de los resultados agregados anteriormente de las características mencionadas: Exactitud: 95, Completitud: 87, Consistencia: 90, Credibilidad: 88, Actualidad: 93, se determina un nivel de calidad de 90 sobre 100 para el repositorio. Por último, es necesario pasar de este valor cuantitativo de 0 a 100 a un valor cualitativo. En este ejemplo concreto, haciendo, uso de la función de niveles de calidad basada en porcentajes, se concluye que el nivel de calidad del repositorio, para la propiedad analizada, es 4, o “Muy Buena”.

Visualización de resultados

Por último, y una vez realizada la evaluación de todas las características, desde el ayuntamiento se construyen una serie de cuadros de mandos de control de calidad de datos con distinto nivel de agregación (característica, propiedad, conjunto de datos y tabla/vista) partiendo de los resultados de la evaluación, de manera que rápidamente se puede consultar el nivel de calidad. Para ello, a modo de ejemplo se muestran los resultados con distinto nivel de agregación.

Como se puede ver a lo largo de todo el ejemplo de aplicación, existe una relación directa entre la aplicación de esta especificación UNE 0081, con determinadas partes de la  especificación 0078 , concretamente con el proceso de gestión de requisitos de datos, y con la  especificación UNE 0079 , al menos con los procesos de planificación y control de calidad de datos. Fruto de la evaluación se establecerán recomendaciones de mejora de calidad (acciones correctivas), que incidirán directamente en los procesos del dato establecidos, todo ello de acuerdo con el circulo de mejora continua PDCA de Deming.

Una vez finalizado el ejemplo, y como valor añadido, hay que destacar que es posible certificar el nivel de calidad de datos de los repositorios organizacionales. Para ello, será necesario contar con una entidad de certificación que provea este servicio de calidad de datos, así como con un laboratorio acreditado según la norma ISO 17025 con potestad para la emisión de informes de evaluación de calidad de datos.

Fuente original de la noticia