Calidad e Interoperabilidad de los datos

No hay mejor forma de empezar el año que con una nueva edición del encuentro anual Aporta sobre el estado de la reutilización de los datos públicos en España, organizado por el Ministerio de Industria, Energía y Turismo, el Ministerio de Hacienda y Administraciones Públicas y la Entidad Pública Red.es.

Encuentro Aporta

Este año el encuentro estuvo dedicado al valor de los datos abiertos y contó también con la novedad de incorporar un foro sectorial sobre los datos de turismo. Además, tuve el placer y privilegio de compartir mesa con Antonio Rodriguez (Jefe del Área de Infraestructura GIS en el Instituto Geográfico Nacional de España), Aleida Alcaide (Consejera Técnica del Ministerio de Hacienda y Administraciones Públicas) y Jose Luis Roda (Profesor titular de la Universidad de la Laguna) como moderador de una sesión con un tema de lo más interesante: la Calidad e Interoperabilidad de los datos.

Sesión de Calidad e Interoperabilidad de los datos

El planteamiento que realicé como hilo conductor de la mesa seguía tres premisas básicas que me gustaría compartir:

1 – Los problemas de calidad e interoperabilidad no son una novedad de los datos abiertos

La calidad de los datos y la interoperabilidad son dos retos importantes que no son nuevos en absoluto y llevan con nosotros desde el inicio de las TIC e incluso mucho antes. Ahora sin embargo, gracias a la proliferación de iniciativas de datos abiertos, los datos están cada vez más expuestos y los reutilizadores comienzan a verlos con nuevas y diferentes perspectivas distintas a las originales. Los datos son puestos a prueba, se analizan, se visualizan y se buscan nuevas utilidades y servicios que hacen aflorar también nuevos problemas no detectados hasta el momento, aumentando al mismo tiempo el grado de exigencia de calidad.

Quien piense que sus datos no tienen ningún problema es que no los ha mirado nunca con suficiente detenimiento.

Todo analista de datos experimentado ha aprendido a convivir con cierto grado de error e incertidumbre en los datos como parte natural e inevitable del proceso; y también han aprendido a planificar los proyectos adecuadamente incluyendo el esfuerzo y los procedimientos necesarios para el tratamiento de esos errores.

2 – La calidad total de los datos es una “quimera” que debemos perseguir

Sin embargo, al contrario que los analistas, los “propietarios” o gestores de los datos sienten habitualmente una cierta resistencia natural a la aceptación de los errores, mucho más cuando ahora son expuestos “públicamente”. Debido a ello necesitan cierto periodo de aceptación y durante la última reunión del comité de dirección del Open Data Institute, Tim Berners-Lee comparaba este proceso con las 5 etapas del trauma descritas por el modelo Kübler-Ross:

Modelo Kubler-Ross
  1. Negación: Los datos no pueden estar mal, el problema tiene que estar en otro sitio.
  2. Ira: ¿Quién es el responsable y por qué no nos habíamos dado cuenta hasta ahora?
  3. Regateo o Negociación: ¿Podemos ignorar y ocultar los fallos de alguna manera?
  4. Depresión: En realidad estos datos están tan mal que no servirán para nada. Sería mejor dejarlo.
  5. Aceptación: De acuerdo, sabemos que hay un problema. Documentémoslo y describamos el alcance y las limitaciones.

Una vez superadas las etapas anteriores es necesaria la transición hacia una etapa adicional de “Esperanza” en la que finalmente nos damos cuenta de que, gracias a que los datos están ahora más expuestos, podemos contar también con más ayuda, mejores herramientas y canales de feedback para poder corregir los problemas y usarlos en nuestro beneficio para mejorar la calidad final.

3 – Las tres vertientes de la interoperabilidad.

Podemos descomponer la problemática de la interoperabilidad de los datos en tres componentes principales.

Interoperabilidad Técnica

Interoperabilidad Técnica

En este nivel hablamos de infraestructuras, protocolos y tecnologías utilizadas para compartir datos de forma común para que los sistemas puedan hablar entre sí.

Este punto generalmente no suele resultar especialmente conflictivo, al contar ya con una base de infraestructuras y tecnologías en Internet y la Web suficientemente maduras y adecuadas para este fin. No obstante la creación de frameworks específicos y adecuados para cubrir las necesidades de este tipo de proyectos puede ayudar a facilitar considerablemente el uso y aprovechamiento de los datos. Un ejemplo en esta línea sería el proyecto Europeo FI-WARE que explota el concepto cada vez más extendido de las Open APIs.

Interoperabilidad Semántica

Interoperabilidad SemánticaAquí nos centramos en que los sistemas sean capaces no únicamente de hablar, sino de entenderse entre ellos. Está vertiente se encuentra a medio camino entre la parte más técnica y la más humana, y será la capa encargada de facilitar los estándares adecuados para la representación de los datos y la información, de forma que pueda analizarse e intercambiarse automáticamente, pero al mismo tiempo mantenga también su capacidad de poder ser comunicada a las personas de forma comprensible para ellos.

Interoperabilidad Sintáctica o Humana

Interoperabilidad SintácticaEste último componente se centra en las personas que tienen que llegar a acuerdos y convenios para “hablar el mismo idioma”¿Qué es el Open Data? ¿Qué principios sigue? ¿Cómo se hace “bien”? ¿Qué datos hay que abrir? ¿Con qué estándar y en qué formato? ¿Qué modelo deben seguir unos determinados datos? ¿Sirve un único modelo para todo el mundo?

Poner a todo el mundo de acuerdo para dar respuesta común a estas preguntas es quizás el reto más grande, y más difícil será aún cuanto más global es el objetivo, ya que a los retos propios del Open Data tenemos que unir aquellos relacionados con el Big Data o la Internacionalización (en ambas vertientes: globalización y localización) y el reto del Broad Data.

En esta parte se están centrando actualmente múltiples grupos de trabajo en organizaciones tan diversas como el G8, el Grupo del Open Data del Open Government Partnership, la iniciativa de Interoperabilidad de la Comisión Europea, la Global Open Data Initiative, la actividad de Datos del W3C, etc.

Calidad e interoperabilidad en tres casos de uso.

Las intervenciones de mis compañeros de mesa se centraron en explicar la necesidad y los beneficios de las acciones para asegurar la calidad e interoperabilidad de los datos en tres casos de uso distintos y a cada cual más interesante: La directiva Inspire, la actualización de la Directiva Europea de Reutilización de la Información y el proyecto Open Data Canarias.

Sus intervenciones y la del resto de las mesas del encuentro, así como entrevistas y otros materiales audiovisuales pueden consultarse en el mini-site temático SpainESData.

La crisis pasa factura, pero el Open Data sigue avanzando en España

A lo largo de este año hemos visto algunos pasos atrás en cuanto al Open Data y la Reutilización de la Información en el Sector Público en nuestro país, por ejemplo el cierre de algunas iniciativas como Extremadura Reutiliza u Open Data Córdoba, aunque sin duda alguna el caso más sonado ha sido el anuncio de la Agencia Estatal de Meteorología (AEMET) respecto al cierre del servicio gratuito de acceso a ciertos datos mediante FTP, pasando en la actualidad a ser un servicio de pago, lo que ha dado lugar a una reacción unánime de rechazo por parte de la comunidad Open Data en España.

Estas noticias suponen claramente un paso atrás en las expectativas Open Data nacionales aunque, tal y como comenta Jorge Campanillas en su blog, la medida tomada por la AEMET es lícita y ajustada a la ley, pero desde luego discutible en cuanto a visión y oportunidad, ya que la imposición de tasas restringe claramente el acceso a los datos públicos, a la vez que resta eficacia y eficiencia en el acceso.

CrisisEs cierto que la gratuidad de la información, aún siendo algo plenamente recomendable, no está contemplada como uno de los principios básicos del Open Government Data, y que el Open Data cuesta tiempo y trabajo, y por tanto dinero, pero la cuestión en este caso es ¿por qué optar por ofrecer de forma abierta unos servicios de gran demanda y utilidad para luego pasar a un modelo de pago por acceso?.

A todas luces parece deberse a una mala estrategia que responde principalmente a motivos de sostenibilidad económica derivados de la complicada situación económica y social que estamos atravesando y que también puede haber afectado a las otras iniciativas que se han quedado por el camino. No obstante, dar prioridad a las cuentas a corto plazo y no pararse a pensar en la factura que eso pasará al desarrollo económico futuro no parece a priori una buena inversión.

El Open Data sigue adelante

A pesar de todo, y aunque el contexto actual esté afectando y puede hacer que surjan algunas dudas sobre la viabilidad de las iniciativas, todo parece indicar que el Open Data está aquí para quedarse, y que hay más motivos para el optimismo que para el pesimismo, como por ejemplo:

Y para seguir avanzando recordemos que el Open Data no es cuestión de publicar algunos datos en bruto y realizar un par de hackatones con ellos, ya que una iniciativa sostenible implica un viaje largo y sin atajos que se debe recorrer paso a paso sobre los cimientos sólidos que proporciona una estrategia coherente.

Comunidades Open Data en España

Un signo distintivo de la madurez que están alcanzando alguna de las iniciativas Open Data en nuestro país es la proliferación de varias comunidades Open Data que nacen con el objetivo de promover el interés ciudadano por los datos abiertos y su reutilización como fuente de creación de valor social y económica, lo que hace que sean un factor determinante para el éxito de cualquier iniciativa.

OpenData Sevilla

Pionera en España como grupo Open Data organizado, se inició de forma espontánea y casi en paralelo al nacimiento de la iniciativa Open Data de la Junta de Andalucía. Formado por un grupo de gente con muchas ganas de hacer cosas como demuestra la organización del I Encuentro Opendata Sevilla celebrado a su nacimiento en Noviembre del 2011 y la gran variedad de actividades de difusión y proyectos ciudadanos en los que han participado en su escaso año de vida.

Open Data SevillaEn la actualidad se encuentran plenamente inmersos en la organización de las II Jornadas Gobierno Abierto y Opendata Sevilla, a celebrar el próximo viernes y sábado 23 y 24 de Noviembre con un programa muy interesante que lo colocan entre los mejores eventos de nuestro país y que aplica una fórmula a imitar, compaginando teoría y práctica, y demostrando que para hacer cosas útiles lo más importante es tener ganas e interés.

Datos.gob.es

Plataforma que da soporte a la iniciativa de Reutilización de la Información del Sector Público de carácter nacional y el Catálogo de Información Pública de la Administración General del Estado.datos.gob.es Reutiliza la Información PúblicaDesde el sitio web y el canal de Twitter asociado se proporciona información general, materiales formativos y noticias de actualidad sobre la reutilización de la información del sector público, ofreciendo recursos prácticos, informativos y divulgativos de utilidad para el desarrollo de productos y servicios de alto valor social y económico. A todo esto hay que sumar el ya tradicional Encuentro Aporta, que se ha convertido ya en la cita anual de referencia para las iniciativas Open Data en España.

Además, esta iniciativa se encarga también de dar soporte a los organismos de la AGE y ayudarles a llevar a cabo sus estrategias de reutilización, además de brindarles un punto de encuentro abierto a la colaboración y participación y un servicio que recoge las sugerencias de mejora aportadas por todos los actores implicados.

Comunidad Open Data y RISP en GNOSS

Comunidad de Trabajo Open Data en España en la que se discuten temas relacionados con la apertura de datos de la administración pública y sobre su reutilización. Un grupo abierto a la participación online de cualquiera que tenga interés en la materia, coordinado por la Oficina Española del W3C y con el apoyo de varias de las iniciativas RISP actualmente en marcha en España.

Open Data y RISPEste grupo funciona como un foro de intercambio de opiniones y aprovechamiento de sinergias entre los distintos publicadores de información, con el objetivo de intentar optimizar la inversión de recursos mediante la colaboración. Entre sus actuaciones destaca la participación en la elaboración del decálogo Open Data.

OKF España

Uno de los grupos locales de la Open Knowledge Foundation que están emergiendo y que actualmente se encuentra en proceso de formación, aspirando a convertirse en capítulo oficial de la organización líder a nivel mundial en difusión del Open Data y el Open Knowledge en general.

OKFN Local: EspañaPese a que se encuentra todavía en una etapa temprana de constitución, entre las áreas de trabajo previstas se encuentran algunas tan diversas como el Gobierno Abierto, las Ciencias Abiertas, el Periodismo de Datos o las Ciudades Inteligentes y el Internet de las Cosas, así como la organización de eventos a nivel nacional, la traducción de guías y documentos al español y la colaboración con otras iniciativas a nivel mundial.

Catalunya Dades

Un grupo que engloba a los distintos actores implicados en la iniciativa Open Data de Cataluña: administraciones, universidades, empresas, desarrolladores y distintos sectores profesionales relacionados con la comunicación, la tecnología o el conocimiento abierto.

Catalunya DadesEl objetivo que persigue es la participación de la sociedad en los procesos de generación de valor que surjan a partir del conocimiento proporcionado por los Datos Abiertos. Entre sus próximas actuaciones se encuentra la formación en Open Data.

Aragón

Aún cuando la iniciativa Open Data de Aragón se encuentra todavía en estado de desarrollo, ya cuentan con algunos primeros pasos muy significativos e inteligentemente orientados.

Si tuviésemos que destacar un aspecto que distinga ya desde un principio a esta iniciativa es la búsqueda de colaboración y formación de comunidad junto a las empresas y los ciudadanos desde los comienzos como ayuda para la definición de la propia estrategia a seguir.

¿Quién quiere ser el último?

Si bien es cierto que todavía queda mucho camino por recorrer para alcanzar la madurez del Open Data en este país, el crecimiento y la mejora de la comunidad entorno al Open Data es una de las vías claramente necesarias. Ahora tendremos que ver si esta proliferación de comunidades será capaz de dar lugar a una colaboración más efectiva y abierta que beneficie al conjunto de iniciativas o a una división de esfuerzos y confrontación de intereses que las penalice en contra de los propios principios que deberían perseguir.

Muy pocos años atrás la duda era saber quién sería el último en sumarse a las iniciativas Open Data en nuestro país, en el punto en el que nos encontramos actualmente parece que la pregunta es quién será el último en contar con una comunidad que sostenga y le de sentido a esa iniciativa Open Data en marcha.

El año en el que el Open Government se hizo adulto

Este artículo fue publicado primero en el antiguo blog del proyecto Aporta, ahora transformado en datos.gob.es.

A lo largo del 2010 hemos asistido a una auténtica explosión de los proyectos Open Data en la Administración pública, tanto en España como a nivel mundial. Podemos afirmar sin lugar a dudas ese fue el año en que el Open Government se extendió a lo largo del mundo y que, en la actualidad, el compromiso y la voluntad de apertura existen, están presentes y se extienden.

El nacimiento

2010 fue pues el año de los orígenes, el año en el que surgieron muchas iniciativas locales, regionales, nacionales y supranacionales, que se fueron sumando a las pioneras de USA y UK y otras iniciativas de referencia como el catálogo del Banco Mundial, para ir formando poco a poco una comunidad Open Government Data global y activa.

Estas iniciativas pioneras que sirvieron de revulsivo siguen en el punto de mira de todos a la hora de marcar el camino a seguir, sin embargo cada nueva iniciativa tiende también a dejar su propia impronta y diferenciarse, cuestión lógica por otra parte en cualquier proceso de innovación asociado al uso de tecnologías incipientes.

La madurez

Sin embargo, y dado que el ecosistema del Open Data está alcanzado ya un cierto grado de madurez, ahora es el momento adecuado para replantearse las bases de los proyectos e ir evolucionando poco a poco desde la fiebre del raw data now! hacia modelos más sólidos y compatibles entre sí que sean además capaces de mantenerse a lo largo del tiempo.

Este año 2011 se prevé que sea el año de la consolidación, maduración y extensión de los proyectos, así pues, es hora de volver a repasar los principios y objetivos del Open Government y recapacitar acerca de varias cuestiones y desafíos pendientes ya que, en la actualidad, son todavía muchas las dudas que se plantean sobre cómo llevar a cabo una iniciativa de Open Government exitosa, tanto desde el punto de vista estratégico como tecnológico.

Los retos

Alguno de los grandes retos y necesidades a los que nos enfrentamos y sobre los que ya se está debatiendo desde la propia comunidad son:

  • Desarrollar más y mejores herramientas que nos ayuden en las etapas de identificación, representación, transformación, publicación y reutilización de la información.
  • Adoptar soluciones estándar comunes que aseguren la apertura, reutilización e interoperabilidad de los datos más allá del proyecto mediante el que se publican.
  • Adaptar las políticas, procedimientos y leyes para dar cabida a los aspectos legales específicos de una iniciativa Open Data.
  • Garantizar la calidad, procedencia, y fidelidad de la información, así como el mantenimiento de su carácter abierto a lo largo de toda la cadena de valor que generan los reutilizadores.
  • Mejorar la participación ciudadana y de los reutilizadores, analizando y comprendiendo en detalle sus necesidades en cuanto a consumo de datos.
  • Fomentar el desarrollo de servicios realmente útiles que estén centrados en las verdaderas necesidades de los usuarios y no únicamente en cuestiones estéticas.
  • Elaborar métricas que nos ayuden a estimar los beneficios reales de las iniciativas y el grado de satisfacción de los ciudadanos.

Desafortunadamente, todavía no contamos con todas las respuestas aunque el trabajo diario, y experiencias como la vivida con nuestro proyecto conjunto con la Web Foundation, nos ayudan a realizar un ejercicio de reflexión que ha sido muy útil para comprender mejor cuáles son las motivaciones que hay detrás de los proyectos Open Data y cómo funcionan.

Todas estas cuestiones serán sin duda temas muy interesantes a tratar muy pronto en el “Encuentro de iniciativas Open Data en España”, cuya temática este año son los “Retos y soluciones” del Open Data, lo que lo convierte en un foro muy interesante para compartir experiencias y buscar soluciones comunes.

El objetivo

Entre todos, y con el apoyo del trabajo cada vez más intenso en la materia por parte de instituciones como el W3C, podemos convertir el Open Data no solo en un saludable ejercicio de transparencia, sino en una cadena de valor añadido capaz de generar riqueza y prosperidad para todo el mundo.

Desde la iniciativa Open Data de la Fundación CTIC seguiremos trabajando y desarrollando nuestra metodología, así como nuevos productos para dar respuesta a los retos pendientes con la ilusión de ver día a día cómo surgen nuevas iniciativas, cómo maduran las ya existentes y quizás comenzar a ver más iniciativas y más maduras, no solo desde las administraciones, sino también desde los ciudadanos y la empresa privada y a lo largo de todos los países.

Como el propio Tim Berners-Lee dice:

Esto no ha hecho más que empezar