Aplicación da Especificación UNE 0081:2023 para a avaliación de calidade de datos

A nova especificación  UNE 0081 Avaliación de Calidade de Datos , centrada nos datos como produto (conxuntos de datos ou bases de datos), complementa a especificación  UNE 0079 Xestión da calidade do dato , que (analizada por Datos.gob previamente en  este artigo ), se focaliza nos procesos de xestión da calidade do dato. Ambas normas, a 0079 e a 0081 compleméntanse e abordan de forma holística a calidade dos datos:

• A norma UNE 0079 refire os procesos, as actividades que deber realizar a organización para garantir os niveis adecuados de calidade dos seus datos para satisfacer a estratexia que a organización se marcaron.

• Por outra banda, ÚNEA  0081 define un modelo de calidade do dato, baseado nas normas  ISO/IEC 25012  e  ISO/IEC 25024 , no que se detallan as características de calidade que poden ter os datos, así como algunhas métricas aplicables. Tamén define o proceso que se debe seguir para avaliar a calidade dun conxunto de datos concreto, tomando como base a norma  ISO/IEC 25040 . Finalmente, a especificación acaba detallando como interpretar os resultados obtidos da avaliación, mostrando exemplos concretos de aplicación.

Como pode unha organización facer uso desta especificación para avaliar o nivel de calidade dos seus datos?

Para dar resposta a esta pregunta, imos contar o exemplo do Concello de Vistabella, previamente  utilizado en artigos anteriores . O concello ten unha serie de conxuntos de datos, cuxa calidade quere avaliar, para poder melloralos e dar un mellor servizo á cidadanía. A institución é consciente de que traballa con moitos tipos de datos (transaccionais, mestres, de referencia, etc.), por tanto, o primeiro que realiza é unha primeira identificación dos conxuntos de datos que achegan valor e para os cales, non dispor de niveis adecuados de calidade, pode repercutir no día a día. Algúns criterios á seguir á hora de seleccionar estes conxuntos poden ser: datos que achegan un valor ao cidadán, datos resultantes dun proceso de integración ou visión mestra do dato, datos críticos por ser utilizados en varios procesos/procedementos, etc.

O seguinte paso será determinar en que punto(s) do ciclo de vida dos procesos operativos do concello realizaranse estes controis de calidade do dato.

É neste punto onde a especificación UNE 0081 entra en xogo. A avaliación faise en función das "regras de negocio" que definen os requirimentos, requisitos de datos ou validacións que deben cumprir os datos para que acheguen valor á organización. A seguir, móstranse algúns exemplos:

• O DNI dos cidadáns terán que cumprir coa sintaxe específica para iso (8 números e unha letra).
• Toda data existente no sistema terá que seguir a notación DD-MM-AAAA.
• Non se admitirán rexistros de documentación con data posterior á actual.
• Deberase ter traza de quen e cando realizou un cambio nun conxunto de datos.

Para poder identificar de forma sistemática e exhaustiva as regras de negocio que teñan que cumprir os datos en cada etapa do seu ciclo de vida, o concello fai uso dunha metodoloxía  baseada en BR4DQ .

A seguir, desde o concello, revísanse todas as características de calidade de datos incluídas dentro da especificación, priorízanse, e determínase un primeiro conxunto delas que se quererán ter en conta para a avaliación. Para iso, e nesta primeira etapa, o concello decide quedar exclusivamente coas 5 características inherentes de  ISO 25012  definidas dentro da especificación. Estas son: exactitude, completitud, consistencia, credibilidade e actualidade.

Do mesmo xeito, para cada unha destas primeiras características que se acordou abordar, identifícanse posibles propiedades. Para iso, finalmente, desde o concello decídese traballar co seguinte modelo de calidade que inclúe as seguintes características e propiedades:

Ata este punto, o concello ten identificado o conxunto de datos a avaliar, así como as regras de negocio que lle aplican, e en que aspectos da calidade vaise a centrar (modelo de calidade de datos). A seguir, é necesario levar a cabo a medición de calidade de datos a través da validación das regras de negocio. Para iso obtéñense valores para as distintas métricas, os cales se computan seguindo unha aproximación de abaixo cara arriba ata determinar o nivel de calidade de datos do repositorio

Definición do proceso de avaliación

Para realizar a avaliación dunha forma adecuada, decídese facer uso de o proceso de avaliación de calidade baseado niso 25024, indicado dentro da especificación UNE 0081 (véxase a seguir).

Aplicación do proceso de avaliación

A seguir, resúmense os aspectos máis destacables levados a cabo polo Concello durante a etapa 4 do proceso de avaliación:

1. Validación do grao de cumprimento de cada regra de negocio por propiedade: Disponiendo de todas as regras de negocio clasificadas por propiedade, validar o grao de cumprimento de cada unha delas, obtendo así unha serie de valores para cada unha das métricas. Isto execútase sobre cada un dos conxuntos de datos a avaliar.

A modo de ejemplo, para la propiedad de exactitud sintáctica se obtienen dos métricas:

1. Número de rexistros que cumpren as regras de negocio de exactitude sintáctica: 826.254
2. Número de rexistros que deben cumprir as regras de negocio de exactitude sintáctica: 850.639

1. Cuantificación do valor da propiedade: A partir de estas métricas, cuantifícase e determina o valor da propiedade facendo uso da función de medición especificada na especificación UNE 0081. Para o caso concreto da exactitude sintáctica determínase que unha densidade de rexistros do 97,1% cumpren todas as regras de exactitude sintáctica.
2. Cálculo do valor da característica: Para iso, faise uso dos resultados de cada unha das métricas de calidade de datos asociadas a unha propiedade. Para calculalo, e tal como especifícase na especificación UNE 0081, decídese seguir unha suma ponderada na que cada propiedade ten o mesmo peso. Para o caso da Exactitud, disponse dos valores de Exactitud sintáctica: 97,1, Exactitude semántica: 95, e Rango de exactitude: 92,9. Computando estas 3 puntuacións, obtívose un valor de 95 sobre 100 para esta característica.
3. Paso do valor cuantitativo ao cualitativo: Para finalizar e poder proporcionar un resultado final de calidade, decídese facer uso doutra suma ponderada; neste caso, todas as dimensións teñen o mesmo peso. Partindo dos resultados agregados anteriormente das características mencionadas: Exactitude: 95, Completitud: 87, Consistencia: 90, Credibilidade: 88, Actualidade: 93, determínase un nivel de calidade de 90 sobre 100 para o repositorio. Por último, é necesario pasar deste valor cuantitativo de 0 a 100 a un valor cualitativo. Neste exemplo concreto, facendo, uso de a función de niveis de calidade baseada en porcentaxes, conclúese que o nivel de calidade do repositorio, para a propiedade analizada, é 4, ou “Moi Boa”.

Visualización de resultados

Por último, e unha vez realizada a avaliación de todas as características, desde o concello constrúense unha serie de cadros de mandos de control de calidade de datos con distinto nivel de agregación (característica, propiedade, conxunto de datos e táboa/vista) partindo dos resultados da avaliación, de maneira que rapidamente pódese consultar o nivel de calidade. Para iso, a modo de exemplo móstranse os resultados con distinto nivel de agregación.

Como se pode ver ao longo de todo o exemplo de aplicación, existe unha relación directa entre a aplicación desta especificación UNE 0081, con determinadas partes de a  especificación 0078 , concretamente con o proceso de xestión de requisitos de datos, e con a  especificación UNE 0079 , polo menos cos procesos de planificación e control de calidade de datos. Fruto da avaliación estableceranse recomendacións de mellora de calidade (accións correctivas), que incidirán directamente nos procesos do dato establecidos, todo iso de acordo con o circulo de mellora continua PDCA de Deming.

Unha vez finalizado o exemplo, e como valor engadido, hai que destacar que é posible certificar o nivel de calidade de datos dos repositorios organizacionales. Para iso, será necesario contar cunha entidade de certificación que provea este servizo de calidade de datos, así como cun laboratorio acreditado segundo a norma ISO 17025 con potestade para a emisión de informes de avaliación de calidade de datos.

Fonte orixinal da noticia