Hoxe en día, a calidade dos datos desempeña un papel fundamental no mundo actual, onde a información é un activo valioso. Asegurar que os datos sexan precisos, completos e confiables volveuse esencial para o éxito das organizacións e garante o éxito da toma de decisións informadas.
A calidade dos datos ten un impacto directo non só no intercambio e uso a nivel interno de cada organización, senón tamén na compartición de datos entre diferentes entidades, sendo unha variable clave no éxito da novo paradigma dos espazos de datos. Cando os datos son de alta calidade, créase unha contorna propicia para o intercambio de información precisa e consistente, o cal permite ás organizacións colaborar de maneira máis efectiva, fomentando a innovación e o desenvolvemento conxunto de solucións.
Unha boa calidade de datos facilita a reutilización da información en diferentes contextos, xerando valor máis aló do sistema que os crea. Os datos de alta calidade son máis fiables e accesibles, e poden ser utilizados por múltiples sistemas e aplicacións, o que aumenta o seu valor e utilidade. Ao reducir considerablemente a necesidade de realizar correccións e axustes constantes, afórrase tempo e recursos, permitindo unha maior eficiencia na implementación de proxectos e a creación de novos produtos e servizos.
A calidade dos datos tamén xoga un papel fundamental no avance da intelixencia artificial e a aprendizaxe automática. Os modelos de IA baséanse en grandes volumes de datos para obter resultados precisos e confiables. Se os datos utilizados están contaminados ou son de baixa calidade, os resultados dos algoritmos de IA serán pouco confiables ou mesmo erróneos. Por tanto, garantir a calidade dos datos é esencial para lograr o máximo rendemento das aplicacións de IA, reducir ou eliminar rumbos e aproveitar o seu potencial ao máximo.
Co obxectivo de ofrecer un proceso baseado en estándares internacionais que poida axudar ás organizacións a utilizar un modelo de calidade e a definir características e métricas de calidade adecuadas, a Oficina do Dato patrocinou, promovido e participado na xeración da especificación UNE 0081 Avaliación da calidade do dato que complementa a especificación xa existente UNE 0079 Xestión da calidade do dato, centrada máis na definición de procesos de xestión da calidade do dato que na calidade do dato como tal.
Especificación UNE – Guía de Avaliación da calidade do dato
A especificación UNE 0081, familia de estándares internacionais ISO/IEC 25000, permite coñecer e avaliar a calidade dos datos de toda organización, permitindo establecer un plan futuro para a súa mellora, e podéndose mesmo chegar a certificar a súa calidade formalmente. Os destinatarios de está especificación, aplicable a calquera tipo de organización independentemente do seu tamaño ou dedicación, serán os responsables de calidade de datos, así como os consultores e auditores que necesiten levar a cabo unha avaliación dos conxuntos de datos dentro das súas funcións.
A especificación primeiro expón o modelo de calidade do dato, onde detállanse as características de calidade que poden ter os datos, así como algunhas métricas aplicables, para unha vez definido este marco de traballo, pasar a definir o proceso que se debe seguir para avaliar a calidade dun conxunto de datos. Finalmente, a especificación acaba detallando como interpretar os resultados obtidos da avaliación mostrando algún exemplo concreto de aplicación.
Modelo de calidade do dato
A guía propón unha serie de características de calidade seguindo os presentes na norma ISO/IEC 25012, clasificándoas entre aquelas inherentes ao dato, dependentes do sistema onde se aloxa o dato ou dependentes de ambas as circunstancias. Xustifícase a elección destas características dado que abarcan os presentes noutros marcos de referencia tales como DAMA, FAIR, EHDS, IA Act e RGPD.
Con base nas características definidas, a guía apóiase na norma ISO/IEC 25024 para propor un conxunto de métricas que sirvan para medir as propiedades das características, entendendo estas propiedades como “subcaracteristicas” das características.
Así, a modo de exemplo, seguindo o esquema de dependencias, para a característica concreta de “consistencia do formato de datos” móstranse as súas propiedades e métricas, detallándose unha delas.
Proceso para avaliar a calidade dun conxunto de datos
Para realizar a avaliación en si da calidade dos datos, a guía propón seguir a norma ISO/IEC 25040, que establece un modelo de avaliación que ten en conta tanto os requisitos e restricións definidas pola organización, como os recursos necesarios tanto materiais como persoais. Con estes requisititos, establécese un plan de avaliación a través dunhas métricas e criterios de decisión concretos en función dos requisitos de negocio, que permita realizar a correcta medición das propiedades e características e interpretar os seus resultados.
A seguir, móstrase un esquema cos pasos a realizar no proceso, así como as súas principais actividades:
Resultados da avaliación de calidade
O resultado da avaliación dependerá directamente dos requisitos marcados pola organización e os criterios de cumprimento. As propiedades das características adoitan avaliarse de 0 a 100 a partir dos valores obtidos nas métricas definidas para cada un deles, e as características á súa vez avalíanse por agregación das anteriores tamén de 0 a 100 ou mediante a conversión a un valor discreto de 1 a 5 (1 calidade deficiente, 5 calidade excelente) en función das regras de cálculo e ponderación que se estableceron. Do mesmo xeito que da medición das propiedades obtense a das súas características, o mesmo pasa con estas características, que mediante a súa suma ponderada con base nas regras que se definiron (podendo establecer máis peso a unhas características que a outras), póidase obter un resultado final da calidade dos datos. Por exemplo, se queremos calcular a calidade dos datos con base nunha suma ponderada das súas características intrínsecas, onde polo tipo de negocio, interese darlle maior peso á exactitude, entón poderíase definir unha fórmula como a seguinte:
Calidade de datos = 0.4*Exactitude + 0.15*Completitud + 0.15*Consistencia + 0.15*Credibilidade + 0.15*Actualidade
Supoñamos que de forma similar calculáronse cada unha das características da calidade en base a suma ponderada das súas propiedades, resultando os seguintes valores: Exactitude=50%, Completitud=45%, Consistencia=35%, Credibilidade=100% e Actualidade=50%. Desta forma a calidade de datos resultaría:
Calidade de datos = 0.4*50% + 0.15*45% + 0.15*35% + 0.15*100% + 0.15*50% = 54.5%
Se supomos que se estableceron na organización uns requisitos como os que se mostran na seguinte táboa:
Poderíase concluír que a organización en xeral conta cunha cualificación do dato de “3= Calidade Boa”.
En resumo, a avaliación e mellora da calidade do conxunto de datos poderá ser todo o exhaustiva e rigorosa que sexa necesaria, e débese levar a cabo de maneira iterativa e constante de forma que os datos vaian incrementando a súa calidade de forma continua, de forma que se asegure unha calidade do dato mínima ou mesmo se poida certificar. Esta calidade mínima do dato pode referirse a mellorar os conxuntos de datos internos a unha organización, é dicir, os que a organización xestiona e explota para o funcionamento dos seus procesos de negocio; ou ben pode utilizarse para favorecer a compartición de conxuntos de datos mediante a novo paradigma dos espazos de datos xerando novas oportunidades de mercado. Neste último caso, cando unha organización queira integrar os seus datos nun espazo de datos para a súa futura intermediación, é conveniente realizar unha avaliación de calidade, etiquetando o conxunto de datos adecuadamente en referencia á súa calidade (quizais mediante a súa metadatado). Un dato de calidade contrastada ten unha utilidade e un valor distinto daquel que carece dela, situando ao primeiro nun lugar preferente dentro do mercado competitivo.
O contido desta guía, así como do resto de especificacións UNE mencionadas, pode descargarse de forma libre desde o portal de AENOR a través das ligazóns que figuran a seguir:
ESPECIFICACION UNE 0081:2023 | Normas AENOR
https://tenda.aenor.com/norma-une-especificacion-une-0080-2023-n0071383
https://tenda.aenor.com/norma-une-especificacion-une-0079-2023-n0071118
https://tenda.aenor.com/norma-une-especificacion-une-0078-2023-n0071117
https://tenda.aenor.com/norma-une-especificacion-une-0077-2023-n0071116
A descarga é gratuíta. O desconto aplícase ao final bonificando ao 100% o prezo que se mostra ao final do proceso de compra.
Fonte orixinal da noticia
- Información e datos do sector público
- Goberno aberto, Informes e Estudos
