Aplicació de l'Especificació UNIX 0081:2023 per a l'avaluació de qualitat de dades

La nova especificació  UNIX 0081 Avaluació de Qualitat de Dades , centrada en les dades com a producte (conjunts de dades o bases de dades), complementa l'especificació  UNIX 0079 Gestió de la qualitat de la dada , que (analitzada per Dades.gob prèviament en  este article ), es focalitza en els processos de gestió de la qualitat de la dada. Ambas normes, la 0079 i la 0081 es complementen i aborden de forma holística la qualitat de les dades:

• La norma UNIX 0079 referix els processos, les activitats que haver de realitzar l'organització per a garantir els nivells adequats de qualitat de les seues dades per a satisfer l'estratègia que l'organització s'han marcat.

• Por otra parte, la UNE 0081 define un modelo de calidad del dato, basado en las normas  ISO/IEC 25012  i  ISO/IEC 25024 , en el qual es detallen les característiques de qualitat que poden tindre les dades, així com algunes mètriques aplicables. També definix el procés que s'ha de seguir per a avaluar la qualitat d'un conjunt de dades concret, prenent com a base la norma  ISO/IEC 25040 . Finalment, l'especificació acaba detallant com interpretar els resultats obtinguts de l'avaluació, mostrant exemples concrets d'aplicació.

Com pugues una organització fer ús d'esta especificació per a avaluar el nivell de qualitat de les seues dades?

Para donar resposta a esta pregunta, anem a explicar l'exemple de l'Ajuntament de Vistabella, prèviament  utilitzat en articles anteriors . L'ajuntament té una sèrie de conjunts de dades, la qualitat de les quals vol avaluar, per a poder millorar-los i donar un millor servici a la ciutadania. La institució és conscient que treballa amb molts tipus de dades (transaccionals, mestres, de referència, etc.), per tant, el primer que realitza és una primera identificació dels conjunts de dades que aporten valor i per als quals, no disposar de nivells adequats de qualitat, pot repercutir en el dia a dia. Alguns criteris a la seguir a l'hora de seleccionar estos conjunts poden ser: dades que aporten un valor al ciutadà, dades resultants d'un procés d'integració o visió mestra de la dada, dades crítiques per ser utilitzats en diversos processos/procediments, etc.

El siguiente paso será determinar en qué punto(s) del ciclo de vida de los procesos operativos del ayuntamiento se realizarán estos controles de calidad del dato.

Es en este punto donde la especificación UNE 0081 entra en juego. La evaluación se hace en función de las "reglas de negocio" que definen los requerimientos, requisitos de datos o validaciones que deben cumplir los datos para que aporten valor a la organización. A continuación, se muestran algunos ejemplos:

• Els DNI dels ciutadans hauran de complir amb la sintaxi específica per a açò (8 nombres i una lletra).
• Tota data existent en el sistema haurà de seguir la notació DD-MM-AAAA.
• No se admitirán registros de documentación con fecha posterior a la actual.
• S'haurà de tindre traça de qui i quan ha realitzat un canvi en un conjunt de dades.

Para poder identificar de forma sistemática y exhaustiva las reglas de negocio que tengan que cumplir los datos en cada etapa de su ciclo de vida, el ayuntamiento hace uso de una metodología  basada en BR4DQ .

A continuación, desde el ayuntamiento, se revisan todas las características de calidad de datos incluidas dentro de la especificación, se priorizan, y se determina un primer conjunto de ellas que se querrán tener en cuenta para la evaluación. Para ello, y en esta primera etapa, el ayuntamiento decide quedarse exclusivamente con las 5 características inherentes de  ISO 25012  definides dins de l'especificació. Estes són: exactitud, completesa, consistència, credibilitat i actualitat.

De la mateixa manera, per a cadascuna d'estes primeres característiques que s'ha acordat abordar, s'identifiquen possibles propietats. Per a açò, finalment, des de l'ajuntament es decidix treballar amb el següent model de qualitat que inclou les següents característiques i propietats:

Fins a este punt, l'ajuntament té identificat el conjunt de dades a avaluar, així com les regles de negoci que li apliquen, i en quins aspectes de la qualitat es va a centrar (model de qualitat de dades). A continuació, és necessari dur a terme el mesurament de qualitat de dades a través de la validació de les regles de negoci. Per a açò s'obtenen valors per a les diferents mètriques, els quals es computen seguint una aproximació d'a baix cap amunt fins a determinar el nivell de qualitat de dades del repositori

Definició del procés d'avaluació

Per a realitzar l'avaluació d'una forma adequada, es decidix fer ús de el procés d'avaluació de qualitat basat en ISO 25024, indicat dins de l'especificació UNIX 0081 (vegeu a continuació).

Aplicació del procés d'avaluació

A continuació, es resumixen els aspectes més destacables duts a terme per l'Ajuntament durant la etapa 4 del procés d'avaluació:

1. Validació del grau de compliment de cada regla de negoci per propietat: Disponiendo de totes les regles de negoci classificades per propietat, es valida el grau de compliment de cadascuna d'elles, obtenint així una sèrie de valors per a cadascuna de les mètriques. Açò s'executa sobre cadascun dels conjunts de dades a avaluar.

A manera d'exemple, per a la propietat d'exactitud sintàctica s'obtenen dos mètriques:

1. Nombre de registres que complixen les regles de negoci d'exactitud sintàctica: 826.254
2. Nombre de registres que han de complir les regles de negoci d'exactitud sintàctica: 850.639

1. Quantificació del valor de la propietat: A partir de estes mètriques, es quantifica i determina el valor de la propietat fent ús de la funció de mesurament especificat en l'especificació UNIX 0081. Per al cas concret de l'exactitud sintàctica es determina que una densitat de registres del 97,1% complixen totes les regles d'exactitud sintàctica.
2. Cálculo del valor de la característica: Per a açò, es fa ús dels resultats de cadascuna de les mètriques de qualitat de dades associades a una propietat. Per a calcular-ho, i tal com s'especifica en l'especificació UNIX 0081, es decidix seguir una suma ponderada en la qual cada propietat té el mateix pes. Per al cas de l'Exactitud, es disposa dels valors d'Exactitud sintàctica: 97,1, Exactitud semàntica: 95, i Rango d'exactitud: 92,9. Computant estes 3 puntuacions, es va obtindre un valor de 95 sobre 100 per a esta característica.
3. Pas del valor quantitatiu al qualitatiu: Per a finalitzar i poder proporcionar un resultat final de qualitat, es decidix fer ús d'una altra suma ponderada; en este cas, totes les dimensions tenen el mateix pes. Partint dels resultats agregats anteriorment de les característiques esmentades: Exactitud: 95, Completesa: 87, Consistència: 90, Credibilitat: 88, Actualitat: 93, es determina un nivell de qualitat de 90 sobre 100 per al repositori. Finalment, és necessari passar d'este valor quantitatiu de 0 a 100 a un valor qualitatiu. En este exemple concret, fent, ús de la funció de nivells de qualitat basada en percentatges, es conclou que el nivell de qualitat del repositori, per a la propietat analitzada, és 4, o “Molt Bona”.

Visualització de resultats

Finalment, i una vegada realitzada l'avaluació de totes les característiques, des de l'ajuntament es construïxen una sèrie de quadres de comandaments de control de qualitat de dades amb diferent nivell d'agregació (característica, propietat, conjunt de dades i taula/vestisca) partint dels resultats de l'avaluació, de manera que ràpidament es pot consultar el nivell de qualitat. Per a açò, a manera d'exemple es mostren els resultats amb diferent nivell d'agregació.

Com es pot veure al llarg de tot l'exemple d'aplicació, existix una relació directa entre l'aplicació d'esta especificació UNIX 0081, amb determinades parts de la  especificació 0078 , concretament amb el procés de gestió de requisits de dades, i amb la  especificació UNIX 0079 , almenys amb els processos de planificació i control de qualitat de dades. Fruto de l'avaluació s'establiran recomanacions de millora de qualitat (accions correctives), que incidiran directament en els processos de la dada establits, tot açò d'acord amb el circule de millora contínua PDCA de Deming.

Una vegada finalitzat l'exemple, i com a valor afegit, cal destacar que és possible certificar el nivell de qualitat de dades dels repositoris organisacionals. Per a açò, serà necessari comptar amb una entitat de certificació que proveïsca este servici de qualitat de dades, així com amb un laboratori acreditat segons la norma ISO 17025 amb potestat per a l'emissió d'informes d'avaluació de qualitat de dades.

Font original de la notícia