"Notícia disponible únicament amb finalitats històriques i d'hemeroteca. La informació i enllaços mostrats es corresponen amb els quals estaven operatius a la data de la seua publicació. No es garantix que continuen actius actualment".
La Comissió Europea està ajudant a abordar el desafiament de la reutilització de dades del sector públic (RISP) a nivell europeu amb un servici anomenat infraestructura de prova de big data
(BDTI) . La BDTI oferix a les administracions públiques un conjunt de ferramentes de codi obert convencionals per a l'emmagatzematge, processament i anàlisi de dades, allotjades en el núvol i de forma gratuïta. Se oferix als funcionaris de tots els nivells de govern a Europa perquè puguen executar de forma autònoma projectes pilot que demostren el valor que les dades poden aportar a la formulació de polítiques o l'administració. La societat civil, l'acadèmia i fins i tot el sector privat poden unir-se als projectes pilot, sempre que un organisme de l'administració pública estiga en el centre del cas d'ús.
Esta història de dades aprofundix en el servici BDTI i les seues capacitats. Després de presentar el servici i les seues característiques, un cas d'ús mostrarà la implementació pràctica i les capacitats de la plataforma. El cas d'ús demostra l'aplicació d'una varietat de ferramentes de codi obert, reutilitzant múltiples conjunts de dades obertes, complementats amb diversos conjunts de dades fictícies. Com la plataforma es basa en ferramentes de codi obert, esta història de dades oferix informació valuosa per a qualsevol persona interessada en la reutilització de programari i dades.
La Infraestructura de Proves de Big Data de la UE: què és i com funciona
La Infraestructura de Proves de Big Data de la UE , BDTI, es va crear en 2019, com a part de el Programa Europa Digital , que té com a objectiu accelerar la recuperació econòmica d'Europa i donar forma a la transformació digital de la societat i l'economia d'Europa, augmentant la fàcil disponibilitat, qualitat i usabilitat de les dades públiques. informació del sector en compliment dels requisits de la directiva europea de dades obertes .
El propòsit de la BDTI és fomentar la reutilització de les dades del sector públic i permetre un sector públic informat per les dades en els Estats membres de la UE. En proporcionar un entorn de prova d'anàlisi gratuïta amb ferramentes de codi obert, la BDTI permet a les administracions públiques crear prototips de solucions abans d'implementar-les a l'entorn de producció en les seues pròpies instal·lacions.
Les aplicacions BDTI s'oferixen com un servici en el núvol, la qual cosa permet als usuaris experimentar amb dades en un projecte pilot. Una vez que finalitza el projecte, els usuaris poden portar-se el codi font i les dades per a continuar el treball utilitzant el núvol de la seua elecció o altres recursos. La plataforma consta de ferramentes de codi obert i la infraestructura de núvol necessari, que inclou màquines virtuals, clústers d'anàlisis, instal·lacions d'emmagatzematge i instal·lacions de xarxa. Para obtindre més informació sobre les ferramentes disponibles, pot consultar la pàgina d'oferta de servicis .
Casos d'ús i casos d'èxit
Per a demostrar com funciona la plataforma i com usar-la, presenta diverses històries d'èxit de la vida real . La figura 1 proporciona una llista d'estes històries d'èxit. Per exemple, Eurostat i els seus socis van utilitzar el BDTI per a experimentar amb dades en el desenvolupament d'estadístiques oficials. En este projecte pilot, es van utilitzar dades obertes d'anuncis d'ocupació en línia per a proporcionar informació oportuna sobre els mercats laborals europeus.
Altres històries d'èxit de la vida real són la mineria de textos per part dels servicis de Salut de la ciutat de València, la optimització de la contractació pública per part de l'Agència Noruega de Digitalització , els esforços d'intercanvi de dades per part de l'European Blood Alliance i el treball per a facilitar la comprensió de l'impacte de Covid-19. sobre la ciutat de Florència .
A més, el lloc web de BDTI proporciona múltiples casos d'ús que muestran las capacidades de la plataforma, basados en datos abiertos. Por ejemplo, el cas d'ús d'anàlisi de cerca es basa en el conjunt de dades obertes de CORDIS , y el caso de uso de análisis de código bajo funciona con EMHIRES (serie temporal de generación de RES de alta resolución derivada de meteorología europea para escenarios presentes y futuros) - conjunto de datos abierto sobre generación de energía solar.
En las siguientes secciones de esta historia de datos, presentamos el caso de uso ficticio de 'gasto público', que fue desarrollado con fines de demostración por el equipo de BDTI para mostrar cómo se pueden aplicar las capacidades y herramientas del servicio para generar información valiosa a partir de los datos. El proyecto está disponible como código abierto en GitLab , el repositorio de código fuente abierto y la plataforma de desarrollo de software colaborativo .
El cas d'ús del 'gasto públic'
El cas d'ús de 'gasto públic' desenvolupat per l'equip BDTI consta de tres etapes típiques d'un projecte de ciència de dades: (1) ingesta de dades; (2) visualització i anàlisi; i (3) presa de decisions (Figura 2). El subjecte del cas d'ús fictici és el municipi de Dublín. El cas d'ús de demostració es basa en dades obertes sempre que siga possible, complementats amb dades fictícies. Los dades de gasto públic de Dublín s'obtenen de data.smartdublin.ie . Les dades de trànsit històrics es recuperen de data.gov.ie , i el pronòstic del temps es recupera de open-meteo.com . Por el contrario, los datos de gasto público utilizados en este caso de demostración como punto de referencia son ficticios y se refieren a dos ciudades de referencia ficticias, la ciudad A y la ciudad B. Las notas metodológicas de esta historia de datos brindan detalles sobre cómo acceder a la documentación completa sobre los conjuntos de datos utilizados.
En los pasos 1 y 2 de este caso de uso de demostración, las herramientas de BDTI se utilizan para ingerir y visualizar datos de gasto público. El paso 3 utiliza el aprendizaje automático para crear una solución con el objetivo de reducir el gasto en alumbrado público. Los siguientes párrafos proporcionan más explicaciones de cada etapa.
Ingestió de dades
El primer pas del cas d'ús de demostració és la ingestió de dades de gasto públic. El desafiament específic que ha d'abordar-se es relaciona amb les factures d'energia, que solament estan disponibles en format PDF en el nostre escenari. Estes factures en PDF no llegibles per màquina han de transformar-se en dades que puguen processar-se fàcilment més avant.
Per a resoldre este desafiament, es construïx una solució utilitzant una ferramenta disponible en el BDTI. Esta ferramenta és un programari de codi obert que té una interfície visual intuïtiva i no requerix codificació, incloses les funcions de reconeixement òptic de caràcters. El reconeixement òptic de caràcters és una tecnologia que interpreta documents llegibles per humans i els transforma en dades llegibles per màquines.
La tabla de salida se puede reutilizar para seguir procesando y analizando los datos. BDTI ofrece una solución para almacenar los datos de salida en preparación para el siguiente paso en un sistema de base de dades relacional.
Visualització i anàlisi
Después de completar la ingestión de datos, el siguiente paso es visualizar y analizar los datos de gasto público. Para ello, utilizamos la herramienta de código abierto sobre exploración y visualización de datos disponible en la BDTI.
El resultado es un tablero que visualiza los datos reales de gasto público de Dublín, presentando la proporción de gasto para cada categoría en relación con el gasto total. Aunque esta información es interesante en sí misma, no ayuda a entender si el gasto es alto o bajo.
Per a brindar més context a les dades de gasto del govern de Dublín, vam crear una comparació del gasto de Dublín amb dos ciutats similars, però fictícies (ciutat de referència A i ciutat de referència B). Esta comparació revela que Dublín destina una part relativament important del seu pressupost a l'enllumenat públic. Este tipus d'avaluació comparativa no ens dirà directament on Dublin gasta massa o massa poc, però pot donar-nos pistes sobre què investigar més a fons.
Presa de decisions
El tercer i últim pas del cas d'ús té com a objectiu construir una solució per a la presa de decisions basada en dades sobre l'enllumenat públic en relació amb els nivells de trànsit esperats. Utilizamos tres ferramentes de codi obert disponibles en BDTI per a construir esta solució. Gràcies a esta combinació de ferramentes, podem construir una solució que ajude als funcionaris a aconseguir estalvis en l'enllumenat públic.
Para llegar a una solución, primero entrenamos un modelo de aprendizaje automático que predice el tráfico para la próxima semana. La herramienta utilizada para ello se puede aplicar a la ciencia de datos, el modelado estadístico y más. El modelo de aprendizaje automático que creamos utiliza datos meteorológicos y de tráfico, lo que requiere el procesamiento de grandes volúmenes de datos. El BDTI está diseñado para procesar grandes datos, por lo que lo ayudará a procesar conjuntos de datos muy grandes como estos.
Después de entrenar y ejecutar el modelo de aprendizaje automático, los datos de salida se almacenan para crear un tablero. El tablero permite a los usuarios analizar los ahorros que resultan de apagar el alumbrado público cuando menos se necesita luz. Para determinar cuándo y dónde se necesita menos iluminación, usamos los niveles de tráfico pronosticados como un indicador de la actividad en una calle. Cuanto menor sea la actividad en una calle, menor será la necesidad de iluminación.
Font original de la notícia
- Intel·ligència Artificial i Blockchain
- Informació i dades del sector públic
