Building the foundation for an Open Data Directory

This post was first published at the ePSI Platform and the Open Knowledge Foundation blog.

Open (Government) Data as it is understood nowadays can still be considered a new concept. It started to gain traction worldwide since the Obama memo in early 2009 and the launch of data.gov a few months later. Following successful leading examples of the US and UK governments we have seen Open Data flourishing all over the world over the last three years. More than two hundred Open Data catalogs have been identified so far.

But still, it’s not always clear how to deliver good solutions and many questions remain unanswered. In order to build sustainable Open Data initiatives in a varied range of countries a broader view to address challenges is needed. New and existing initiatives willbenefit from shared knowledge and will also produce a range of resources that should be published in a freely and open way for others to reuse.

As the Open Data movement is growing worldwide; the number of available resources is also increasing. The scarcity of only 3-4 years ago is ending but the resources are appearing in disparate places and formats, sometimes difficult to find and share. There is a pressing need to compile and document existing resources that are verified, trustworthy, comparable, and searchable.

The Open Data Directory

Upon discussions with many in the Open Data community, an initial analysis of their own project needs and preliminary research on existing public resources, the Web Foundation believes that the community at large would benefit from a central entry point to Open Data related resources at a neutral source, the Open Data Directory (ODD).

This ODD will help to produce clear evidence base of the benefits of Open Data holding a wide range of resources types such as: use cases, case studies, stories and anecdotes, methodologies, strategies, business cases, papers, reports, articles, blog posts, training materials, slide sets, software tools, applications andvisualisations. The directory will not focus on compiling a vast number of references, instead it will give priority to high-quality references endorsed by the Open Data community.

As a first step towards the ODD, we are making public the Use Cases and Requirements Draft in order to get comments from the wide community, not only on the content of the document itself but also on the overall idea of the ODD. We’ve published it as a Google Document with comments turned on. This is a tool for you, the Open Data community, so suggestions, feedback and comments are very welcome. The extended deadline for submitting comments is: April 29th, 2013.

Fomento de la reutilización de los datos en iniciativas Open Data

Durante el repaso realizado a las Pautas para el desarrollo de políticas Open Data de la Sunlight Foundation ya hemos revisado los aspectos relacionados con la planificación de la iniciativa,  aquellos relativos a la preparación de los datos, las implicaciones técnicas y los aspectos políticos y legales. Hoy para finalizar analizaremos aquellos aspectos que tienen que ver con las actividades cuyo objetivo es fomentar la reutilización de los datos.

Fomento de la reutilización

Otros de los aspectos importantes, y probablemente el que puede marcar la diferencia entre el éxito y el fracaso a la hora de llevar a cabo una iniciativa Open Data, es la realización de una campaña de promoción activa para fomentar la reutilización de los datos publicados.

Este es uno de los aspectos aún en fase de exploración para la mayoría de las iniciativas, y en los que menos se incide también por parte de la Sunlight Foundation, pero aún así nos dedican también algunas pautas básicas que se deberían tomar como objetivos mínimos al respecto.

Explorar y utilizar mecanismos de colaboración público-privada

El hecho de potenciar sinergias entre la Administración y otros entes externos como organizaciones no gubernamentales, instituciones academicas o grupos de expertos, permitirá un mejor desarrollo de la iniciativa al incluir otros elementos que pueden ayudar a fomentar la participación pública y mejorar y completar algunos aspectos débiles de las políticas.

Esta es una herramienta que deberá utilizarse con cuidado para tratar de evitar que dichos mecanismos de colaboración acaben degenerando en alianzas exclusivas que centralicen la explotación de los datos a través de un único proveedor o den lugar a cualquier otro tipo de ventaja competitiva para un agente específico del mercado.

LLAMAR A LA PARTICIPACIÓN PÚBLICA

Las políticas de Apertura de Datos tendrán repercusiones que afecten a toda la sociedad y por tanto podrían beneficiarse enormemente de la participación pública. Establecer distintos mecanismos de escucha y participación, ya sean formales o informales, ayudará sin duda alguna a mejorar sustancialmente la política de apertura de datos que se desarrolle.

Promocionar concursos y otros eventos de reutilización

Los concursos y otros eventos de reutilización similares han demostrado ser un medio efectivo para llamar la atención sobre los datos, generar interés y demostrar el potencial de los mismos, contribuyendo además a la generación de una comunidad activa en torno a los datos.

No obstante es necesario complementar estos eventos con otro tipo de actuaciones en las que se de cabida también a la participación de otros sectores menos técnicos y que permitan desarrollar productos y servicios más maduros que vayan más allá de una mera prueba de concepto.

Publicar datos y estadísticas de uso

Hacer públicas estadísticas detalladas de explotación y utilización debería ser obligatorio en cualquier iniciativa Open Data, tanto por la transparencia de la propia iniciativa como para facilitar una herramienta de análisis que permita optimizar la efectividad y realizar los ajustes necesarios.

Aspectos legales y políticos de las iniciativas Open Data

Seguimos con el análisis de las Pautas para el desarrollo de políticas Open Data de la Sunlight Foundation, y después de ver los aspectos relacionados con la planificación de la iniciativa,  los relativos a la preparación de los datos y las implicaciones técnicas, nos centramos ahora las pautas que repasan los aspectos legales y políticos.

Retos legales y políticos

Mediante esta serie de Pautas se pretenden abordar los complejos aspectos políticos y retos legales asociados a la publicación de los datos provenientes de la Administración Pública.

El especial énfasis que se pone en este apartado viene dado por la propia naturaleza de la Sunlight Foundation y su especialización en la materia, así como por ser un aspecto clave en cuanto a la capacidad de éxito y sostenibilidad de la iniciativa a largo plazo.

Eliminar restricciones de acceso a la información

Debe evitarse cualquier tipo de restricción en el acceso a la información, ya sea esta mediante el requerimiento de registro de usuarios para el acceso, el establecimiento de tasas por uso o cualquier otra limitación técnica. El acceso debería ser gratuito, ilimitado y sin necesidad de justificación o identificación.

Algunas de las restricciones existentes en la actualidad son resultado de no adoptar medidas adecuadas en los aspectos técnicos, como los formatos de acceso o la capacidad y características del software utilizado, por lo que dichas deficiencias deberían ser también subsanadas.

Eliminar restricciones para la reutilización de la información

Si queremos que los datos sean realmente públicos y abiertos entonces no debería existir ningún tipo de restricción en cuanto al acceso o el uso que se vaya a hacer de esa información.

Cuantas menos restricciones mejor, pero al menos debería garantizarse el derecho de uso y reproducción, contando siempre con las limitaciones lógicas impuestas por los requisitos de seguridad y privacidad de la información.

Además, debemos ser siempre totalmente claros en cuanto a las licencias aplicables en cada caso, de forma que dichas licencias sean fáciles de identificar, incluso en el caso de que no existan y se aplique el dominio público.

Salvaguardar adecuadamente la información sensible

Para evitar posteriores incompatibilidades las políticas Open Data deben construirse sobre la base de cualquier otra legislación o directiva preexistente en materia de seguridad y privacidad de la información.

Un aspecto específico a tener en cuenta debido a las especiales características de los Datos Abiertos es la potencial información sensible que podría exponerse de forma indirecta debido a la combinación masiva de datos procedentes de diversas fuentes.

Contrastar las restricciones de publicación frente al potencial interés público

Ciertas restricciones de publicación que afecten a cuestiones de seguridad y privacidad siempre estarán presentes, sin embargo, se debe realizar también un ejercicio de reflexión acerca de dichas restricciones frente al potencial interés general para el bien público que pueda tener cierta información cuando lo que se desea es fomentar la transparencia.

CONSTRUIR SOBRE LA LEGISLACIÓN DE TRANSPARENCIA YA EXISTENTE

En lugar de tratar de reinventar la rueda, siempre que sea posible las iniciativas Open Data deben aprovechar y explotar los recursos ya existentes gracias a leyes y políticas previas en materia de acceso a la información, estándares, calidad de los datos y publicación de información, construyendo, ampliando y matizando cuando sea necesario sobre esas bases previamente definidas.

Añadir nuevas leyes que creen conexiones con el Open Data

Las políticas Open Data deben convertirse en un elemento transversal dentro de cualquier Administración, de modo que afectarán de forma sensible a otras políticas relacionadas (reutilización, interoperabilidad, estándares en formatos de datos, etc.) que a partir de ese momento tendrán siempre en consideración este nuevo escenario.

Incluir requisitos Open Data en las nuevas contrataciones

Otro elemento fundamental para la sostenibilidad de la iniciativa a largo plazo es incluir el Open Data dentro del ciclo de contratación de la Administración, añadiendo requisitos de apertura y reutilización por defecto para cualquier nuevo sistema contratado cuyo destino sea la gestión de algún tipo de datos.

Aplicar la misma regulación a los proveedores y subcontratos

En muchas ocasiones la Administración delega en terceras partes el desarrollo o gestión de sus sistemas de información a través de subcontratas y proveedores. En estos casos es importante extender los mismos requisitos previstos en la política Open Data propia como requisitos aplicados a los proveedores.

Preparación de los datos para una iniciativa Open Data

Siguiendo con el análisis de las Pautas para el desarrollo de políticas Open Data de la Sunlight Foundation, y después de repasar aquellas relacionadas con la planificación de la iniciativa, veremos ahora las pautas relacionadas con la selección de datos y su preparación previa a la publicación.

Selección y preparación de los Datos

Una adecuada selección y organización de la información que se va a publicar es también primordial para el éxito de la iniciativa, ya que el valor de una iniciativa Open Data está íntimamente ligado al de los datos expuestos. En las siguientes pautas se repasan algunas claves para realizar esa selección de forma adecuada.

Abierto por defecto

La Administración Pública genera una enorme cantidad de datos en su actividad diaria, pero tan sólo una mínima cantidad de los datos llega finalmente al público general.

Las Administraciones deberían pasar de una política pasiva, en la que es el público quien solicita la información, a una política activa en la que la publicación de toda la información disponible sea siempre la opción por defecto.

Por supuesto, la publicación estará siempre sujeta a las restricciones lógicas impuestas por motivos de seguridad, privacidad, etc.

Una política de apertura de la información por defecto es también un ejercicio lógico de transparencia y mejoraría la eficacia y eficiencia de la Administración en la prestación diaria de servicios a los ciudadanos.

Crear y mantener un inventario de la información disponible

En la gran mayoría de los casos, ni siquiera la propia Administración es consciente de toda la información y los datos que gestiona. Esto supone un problema considerable también de cara al público, ya que si no se es consciente de la existencia de los datos es probable que nunca se lleguen a necesitar.

Realizar un ejercicio previo de inventariado de toda la información existente es un recurso muy útil a la hora de planificar su posterior publicación y recibir feedback sobre el interés de la misma. Para que el inventario sea útil debe incluir una información mínima sobre cada conjunto de datos, tal como una descripción de los datos, la frecuencia aproximada de actualización, las tecnologías y formatos implicados o las posibles restricciones para su reutilización.

Seleccionar datos concretos

Las políticas de publicación de datos abiertos deberían incluir siempre una selección de conjuntos de datos específicos a publicar o, al menos, directrices detalladas para la selección de los datos y no limitarse a promover la publicación de datos prioritarios o datos de alto valor en general, ya que en ese caso se crean vacíos legales que seguro ralentizarán el afloramiento de los datos realmente útiles.

Identificadores únicos

La existencia de identificadores únicos y públicos para cada dato disponible es un requisito imprescindible para el tratamiento automatizado de la información. El diseño de un sistema de identificadores único y persistente que tenga en cuenta la variedad de datos, su ciclo de vida y las posibles modificaciones futuras de los mismos, debería ser considerado como un prerrequisito imprescindible para la publicación, ya que la definición de dicho sistema a posteriori con toda seguridad ocasionará problemas de persistencia y compatibilidad que revertirán en el trabajo de los potenciales reutilizadores.

Metadatos y documentación

Sin metadatos la información perdería gran parte de su valor al resultar mucho más complicada su explotación por ser necesario un tratamiento manual de la misma. Crear un esquema de metadatos extenso y apropiado, documentarlo y publicarlo es fundamental para el éxito de cualquier iniciativa.

Crear procedimientos que aseguren la calidad de los datos

El valor de los datos resulta directamente proporcional a la calidad de los mismos. Es por ello que deben establecerse los mecanismos y procedimientos necesarios para asegurar una mínima calidad de los datos y no confiar esta únicamente al escrutinio público, que si bien se ha comprobado que es un elemento válido para la mejora no debería ser la única herramienta disponible.

Datos en bruto

Independientemente de otras medidas complementarias que se puedan tomar para mejorar y facilitar el acceso a la información, como la publicación de APIs de acceso por ejemplo, siempre es interesante proporcionar como mínimo un acceso abierto y permanente a los conjuntos de datos en crudo (raw data) para garantizar el acceso completo a la información.

Políticas Open Data

La Sunlight Foundation, organización de referencia en Estados Unidos a la hora de promover el uso de Internet como herramienta de Transparencia y Apertura de los Gobiernos, y pionera también en materia de Open Data al ser promotora del encuentro en el que se forjaron los principios del Open Government Data, ha publicado recientemente sus Pautas para el desarrollo de políticas de Datos Abiertos.

El objetivo que se persigue con esas Pautas es proporcionar un documento vivo en continuo desarrollo que sirva a los Gobiernos de guía a la hora de elaborar sus propias políticas Open Data para dirigir los proyectos de apertura de datos que lleven a cabo. Al mismo tiempo, la intención es que las pautas se retroalimenten también de las experiencias que ya están en marcha o vayan surgiendo para ampliar y mejorar la guía.

En la actualidad se recogen un total de 33 recomendaciones que cubren varios ámbitos desde la planificación hasta el fomento de la reutilización pasando por los aspectos técnicos y legales asociados. En este artículo nos centraremos en la primera fase de planificación y cuáles deben ser sus características principales. En el resto de esta serie de artículos se recogerán las siguientes fases:

Planificación de la iniciativa

Aunque la planificación sería el primer paso lógico dentro de cualquier iniciativa de apertura de datos, muchas veces la planificación inicial simplemente no existe, dando lugar a iniciativas que una vez nacen quedan indefinidamente en estado inerte.

Un proyecto Open Data debe considerarse un ciclo continuo y es necesario tener claros los pasos a seguir desde un principio. Algunas reglas mínimas a cumplir en este aspecto serían:

Realizar una planificación ambiciosa y cumplirla

Se debe fijar un calendario público claro y con objetivos concretos y medibles que permita realizar un seguimiento posterior de la iniciativa y los logros conseguidos.

La planificación deberá estar diseñada pensando tanto en los objetivos tangibles a corto plazo como en la sostenibilidad de la iniciativa a largo plazo, buscando siempre un equilibrio entre ambos aspectos.

Incluir objetivos específicos en cuanto a rendición de cuentas y económicos

Una política de datos abiertos conlleva una serie de beneficios adicionales en materia de transparencia, eficiencia, participación y desarrollo económico que deben también incluirse como valores propios y objetivos específicos dentro de cualquier política.

Proveer los fondos necesarios para poder llevar a cabo la iniciativa

Si bien una iniciativa de Datos Abiertos no debería suponer en general un coste elevado, como en cualquier otro proyecto sea cual sea su índole, será necesaria también una planificación económica que garantice la sostenibilidad del proyecto y proporcione garantías de financiación para las acciones previstas.

Una política de Apertura de Datos que no aprovisiona los medios económicos y materiales necesarios para poder llevarla a cabo estará abocada al fracaso.

Crear una autoridad central al cargo

Dada la complejidad organizativa de la Administración, una autoridad, ya sea única o en forma de comité, que sirva como guía de todos los procesos previstos en la política de Datos Abiertos, promueva las actuaciones necesarias para su ejecución, vigile su adecuada implantación y vele por la obtención de resultados, es una parte organizativa fundamental para el funcionamiento de la estrategia prevista.

Planificar revisiones futuras de las políticas

Dado que los datos son una entidad viva y las políticas Open Data actuales se encuentran todavía en un estado incipiente, para que la política definida siga siendo relevante a lo largo del tiempo es necesario que se revise y actualice con cierta periodicidad.

De este modo podremos beneficiarnos del feedback obtenido durante la ejecución de la propia iniciativa, así como incorporar las mejores prácticas que se observen en otros entornos.

Radiografía de las Políticas Open Data en España

Si hacemos un breve repaso de las iniciativas españolas en base a las pautas anteriormente expuestas podríamos obtener las siguientes conclusiones generales:

  • Si bien en algunos casos se han desarrollado políticas propias para la implantación del Open Data, ya sea de forma particular o enmarcadas dentro de una estrategia más amplia de Gobierno Abierto, dichas políticas no se hacen públicas. No obstante, en la mayoría de los casos dicha planificación directamente no existe, dando lugar a que la iniciativa se improvise de forma continúa con resultados diversos.
  • En la mayoría de casos no existe una autoridad específica a cargo del Open Data y las iniciativas han sido adoptadas como proyectos del área tecnológica, lo que puede limitar considerablemente el alcance y éxito de la iniciativa. Tampoco hay una dotación presupuestaria estable y los avances se consiguen en general gracias a dotaciones específicas para actuaciones concretas.
  • Prácticamente la totalidad de iniciativas existentes están ligadas explícitamente con objetivos de transparencia, eficiencia, participación y desarrollo económico, aunque no se detallan cuáles son las actuaciones específicas previstas para cada una de las materias ni los resultados esperados.
  • En cuanto a la revisión de las políticas, sí se constata cierta organización conjunta de las iniciativas que aboga por reflexionar sobre cuáles son las mejores prácticas a seguir y avanzar hacia una mayor madurez trabajando en común sobre esa línea.