La Comissió Europea està ajudant a abordar el desafiament de la reutilització de dades del sector públic (RISP) a nivell europeu amb un servei anomenat infraestructura de prova de big data
(BDTI) . La BDTI ofereix a les administracions públiques un conjunt d'eines de codi obert convencionals per a l'emmagatzematge, processament i anàlisi de dades, allotjades en el núvol i de forma gratuïta. S'ofereix als funcionaris de tots els nivells de govern a Europa perquè puguin executar de forma autònoma projectes pilot que demostrin el valor que les dades poden aportar a la formulació de polítiques o l'administració. La societat civil, l'acadèmia i fins i tot el sector privat poden unir-se als projectes pilot, sempre que un organisme de l'administració pública estigui al centre del cas d'ús.
Aquesta història de dades aprofundeix en el servei BDTI i les seves capacitats. Després de presentar el servei i les seves característiques, un cas d'ús mostrarà la implementació pràctica i les capacitats de la plataforma. El cas d'ús demostra l'aplicació d'una varietat d'eines de codi obert, reutilitzant múltiples conjunts de dades obertes, complementats amb diversos conjunts de dades fictícies. Com la plataforma es basa en eines de codi obert, aquesta història de dades ofereix informació valuosa per a qualsevol persona interessada en la reutilització de programari i dades.
La Infraestructura de Proves de Big Data de la UE: què és i com funciona
La Infraestructura de Proves de Big Data de la UE , BDTI, es va crear en 2019, com a part de el Programa Europa Digital , que té com a objectiu accelerar la recuperació econòmica d'Europa i donar forma a la transformació digital de la societat i l'economia d'Europa, augmentant la fàcil disponibilitat, qualitat i usabilitat de les dades públiques. informació del sector en compliment dels requisits de la directiva europea de dades obertes .
El propòsit de la BDTI és fomentar la reutilització de les dades del sector públic i permetre un sector públic informat per les dades en els Estats membres de la UE. En proporcionar un entorn de prova d'anàlisi gratuïta amb eines de codi obert, la BDTI permet a les administracions públiques crear prototips de solucions abans d'implementar-les a l'entorn de producció en les seves pròpies instal·lacions.
Les aplicacions BDTI s'ofereixen com un servei en el núvol, la qual cosa permet als usuaris experimentar amb dades en un projecte pilot. Una vegada que finalitza el projecte, els usuaris poden portar-se el codi font i les dades per continuar el treball utilitzant el núvol de la seva elecció o altres recursos. La plataforma consta d'eines de codi obert i la infraestructura de núvol necessari, que inclou màquines virtuals, clústers d'anàlisis, instal·lacions d'emmagatzematge i instal·lacions de xarxa. Per obtenir més informació sobre les eines disponibles, pot consultar la pàgina d'oferta de serveis .
Casos d'ús i casos d'èxit
Per demostrar com funciona la plataforma i com usar-la, presenta diverses històries d'èxit de la vida real . La figura 1 proporciona una llista d'aquestes històries d'èxit. Per exemple, Eurostat i els seus socis van utilitzar el BDTI per experimentar amb dades en el desenvolupament d'estadístiques oficials. En aquest projecte pilot, es van utilitzar dades obertes d'anuncis d'ocupació en línia per proporcionar informació oportuna sobre els mercats laborals europeus.
Altres històries d'èxit de la vida real són la mineria de textos per part dels serveis de Salut de la ciutat de València, la optimització de la contractació pública per part de l'Agència Noruega de Digitalització , els esforços d'intercanvi de dades per part de l'European Blood Alliance i el treball per facilitar la comprensió de l'impacte de Covid-19. sobre la ciutat de Florència .
A més, el lloc web de BDTI proporciona múltiples casos d'ús que mostren les capacitats de la plataforma, basats en dades obertes. Per exemple, el cas d'ús d'anàlisi de cerca es basa en el conjunt de dades obertes de CORDIS , i el cas d'ús d'anàlisi de codi baix funciona amb EMHIRES (sèrie temporal de generació de CAP DE BESTIAR d'alta resolució derivada de meteorologia europea per a escenaris presents i futurs) - conjunt de dades obert sobre generació d'energia solar.
En les següents seccions d'aquesta història de dades, presentem el cas d'ús fictici de 'despesa pública', que va ser desenvolupat amb finalitats de demostració per l'equip de BDTI per mostrar com es poden aplicar les capacitats i eines del servei per generar informació valuosa a partir de les dades. El projecte està disponible com a codi obert en GitLab , el repositori de codi font obert i la plataforma de desenvolupament de programari col·laboratiu .
El cas d'ús de la 'despesa pública'
El cas d'ús de 'despesa pública' desenvolupada per l'equip BDTI consta de tres etapes típiques d'un projecte de ciència de dades: (1) ingesta de dades; (2) visualització i anàlisi; i (3) presa de decisions (Figura 2). El subjecte del cas d'ús fictici és el municipi de Dublín. El cas d'ús de demostració es basa en dades obertes sempre que sigui possible, complementats amb dades fictícies. Les dades de despesa pública de Dublín s'obtenen de data.smartdublin.ie . Les dades de tráfico històrics es recuperen de data.gov.ie , i el pronòstic del temps es recupera de open-meteo.com . Per contra, les dades de despesa pública utilitzats en aquest cas de demostració com a punt de referència són ficticis i es refereixen a dues ciutats de referència fictícies, la ciutat A i la ciutat B. Les notes metodològiques d'aquesta història de dades brinden detalls sobre com accedir a la documentació completa sobre els conjunts de dades utilitzades.
En els passos 1 i 2 d'aquest cas d'ús de demostració, les eines de BDTI s'utilitzen per ingerir i visualitzar dades de despesa pública. El pas 3 utilitza l'aprenentatge automàtic per crear una solució amb l'objectiu de reduir la despesa en enllumenat públic. Els següents paràgrafs proporcionen més explicacions de cada etapa.
Ingestió de dades
El primer pas del cas d'ús de demostració és la ingestió de dades de despesa pública. El desafiament específic que ha d'abordar-se es relaciona amb les factures d'energia, que solament estan disponibles en format PDF en el nostre escenari. Aquestes factures en PDF no llegibles per màquina han de transformar-se en dades que puguin processar-se fàcilment més endavant.
Per resoldre aquest desafiament, es construeix una solució utilitzant una eina disponible en el BDTI. Aquesta eina és un programari de codi obert que té una interfície visual intuïtiva i no requereix codificació, incloses les funcions de reconeixement òptic de caràcters. El reconeixement òptic de caràcters és una tecnologia que interpreta documents llegibles per humans i els transforma en dades llegibles per màquines.
La taula de sortida es pot reutilitzar per seguir processant i analitzant les dades. BDTI ofereix una solució per emmagatzemar les dades de sortida en preparació per al següent pas en un sistema de base de dades relacional.
Visualització i anàlisi
Després de completar la ingestió de dades, el següent pas és visualitzar i analitzar les dades de despesa pública. Per a això, utilitzem l'eina de codi obert sobre exploració i visualització de dades disponible en la BDTI.
El resultat és un tauler que visualitza les dades reals de despesa pública de Dublín, presentant la proporció de despesa per a cada categoria en relació amb la despesa total. Encara que aquesta informació és interessant en si mateixa, no ajuda a entendre si la despesa és alta o baix.
Per brindar més context a les dades de despesa del govern de Dublín, vam crear una comparació de la despesa de Dublín amb dues ciutats similars, però fictícies (ciutat de referència A i ciutat de referència B). Aquesta comparació revela que Dublín destina una part relativament important del seu pressupost a l'enllumenat públic. Aquest tipus d'avaluació comparativa no ens dirà directament on Dublin gasta massa o massa poc, però pot donar-nos pistes sobre què investigar més a fons.
Presa de decisions
El tercer i últim pas del cas d'ús té com a objectiu construir una solució per a la presa de decisions basada en dades sobre l'enllumenat públic en relació amb els nivells de tráfico esperats. Utilitzem tres eines de codi obert disponibles en BDTI per construir aquesta solució. Gràcies a aquesta combinació d'eines, podem construir una solució que ajudi als funcionaris a aconseguir estalvis en l'enllumenat públic.
Per arribar a una solució, primer entrenem un model d'aprenentatge automàtic que prediu el tráfico per a la setmana vinent. L'eina utilitzada per a això es pot aplicar a la ciència de dades, el modelatge estadístic i més. El model d'aprenentatge automàtic que vam crear utilitza dades meteorològiques i de tráfico, la qual cosa requereix el processament de grans volums de dades. El BDTI està dissenyat per processar grans dades, per la qual cosa ho ajudarà a processar conjunts de dades molt grans com aquests.
Després d'entrenar i executar el model d'aprenentatge automàtic, les dades de sortida s'emmagatzemen per crear un tauler. El tauler permet als usuaris analitzar els estalvis que resulten d'apagar l'enllumenat públic si més no es necessita llum. Per determinar quan i on es necessita menys il·luminació, usem els nivells de tráfico pronosticats com un indicador de l'activitat en un carrer. Quant menor sigui l'activitat en un carrer, menor serà la necessitat d'il·luminació.
Font original de la notícia
- Intel·ligència Artificial i Blockchain
- Informació i dades del sector públic
