Preparación de los datos para una iniciativa Open Data

Siguiendo con el análisis de las Pautas para el desarrollo de políticas Open Data de la Sunlight Foundation, y después de repasar aquellas relacionadas con la planificación de la iniciativa, veremos ahora las pautas relacionadas con la selección de datos y su preparación previa a la publicación.

Selección y preparación de los Datos

Una adecuada selección y organización de la información que se va a publicar es también primordial para el éxito de la iniciativa, ya que el valor de una iniciativa Open Data está íntimamente ligado al de los datos expuestos. En las siguientes pautas se repasan algunas claves para realizar esa selección de forma adecuada.

Abierto por defecto

La Administración Pública genera una enorme cantidad de datos en su actividad diaria, pero tan sólo una mínima cantidad de los datos llega finalmente al público general.

Las Administraciones deberían pasar de una política pasiva, en la que es el público quien solicita la información, a una política activa en la que la publicación de toda la información disponible sea siempre la opción por defecto.

Por supuesto, la publicación estará siempre sujeta a las restricciones lógicas impuestas por motivos de seguridad, privacidad, etc.

Una política de apertura de la información por defecto es también un ejercicio lógico de transparencia y mejoraría la eficacia y eficiencia de la Administración en la prestación diaria de servicios a los ciudadanos.

Crear y mantener un inventario de la información disponible

En la gran mayoría de los casos, ni siquiera la propia Administración es consciente de toda la información y los datos que gestiona. Esto supone un problema considerable también de cara al público, ya que si no se es consciente de la existencia de los datos es probable que nunca se lleguen a necesitar.

Realizar un ejercicio previo de inventariado de toda la información existente es un recurso muy útil a la hora de planificar su posterior publicación y recibir feedback sobre el interés de la misma. Para que el inventario sea útil debe incluir una información mínima sobre cada conjunto de datos, tal como una descripción de los datos, la frecuencia aproximada de actualización, las tecnologías y formatos implicados o las posibles restricciones para su reutilización.

Seleccionar datos concretos

Las políticas de publicación de datos abiertos deberían incluir siempre una selección de conjuntos de datos específicos a publicar o, al menos, directrices detalladas para la selección de los datos y no limitarse a promover la publicación de datos prioritarios o datos de alto valor en general, ya que en ese caso se crean vacíos legales que seguro ralentizarán el afloramiento de los datos realmente útiles.

Identificadores únicos

La existencia de identificadores únicos y públicos para cada dato disponible es un requisito imprescindible para el tratamiento automatizado de la información. El diseño de un sistema de identificadores único y persistente que tenga en cuenta la variedad de datos, su ciclo de vida y las posibles modificaciones futuras de los mismos, debería ser considerado como un prerrequisito imprescindible para la publicación, ya que la definición de dicho sistema a posteriori con toda seguridad ocasionará problemas de persistencia y compatibilidad que revertirán en el trabajo de los potenciales reutilizadores.

Metadatos y documentación

Sin metadatos la información perdería gran parte de su valor al resultar mucho más complicada su explotación por ser necesario un tratamiento manual de la misma. Crear un esquema de metadatos extenso y apropiado, documentarlo y publicarlo es fundamental para el éxito de cualquier iniciativa.

Crear procedimientos que aseguren la calidad de los datos

El valor de los datos resulta directamente proporcional a la calidad de los mismos. Es por ello que deben establecerse los mecanismos y procedimientos necesarios para asegurar una mínima calidad de los datos y no confiar esta únicamente al escrutinio público, que si bien se ha comprobado que es un elemento válido para la mejora no debería ser la única herramienta disponible.

Datos en bruto

Independientemente de otras medidas complementarias que se puedan tomar para mejorar y facilitar el acceso a la información, como la publicación de APIs de acceso por ejemplo, siempre es interesante proporcionar como mínimo un acceso abierto y permanente a los conjuntos de datos en crudo (raw data) para garantizar el acceso completo a la información.

Políticas Open Data

La Sunlight Foundation, organización de referencia en Estados Unidos a la hora de promover el uso de Internet como herramienta de Transparencia y Apertura de los Gobiernos, y pionera también en materia de Open Data al ser promotora del encuentro en el que se forjaron los principios del Open Government Data, ha publicado recientemente sus Pautas para el desarrollo de políticas de Datos Abiertos.

El objetivo que se persigue con esas Pautas es proporcionar un documento vivo en continuo desarrollo que sirva a los Gobiernos de guía a la hora de elaborar sus propias políticas Open Data para dirigir los proyectos de apertura de datos que lleven a cabo. Al mismo tiempo, la intención es que las pautas se retroalimenten también de las experiencias que ya están en marcha o vayan surgiendo para ampliar y mejorar la guía.

En la actualidad se recogen un total de 33 recomendaciones que cubren varios ámbitos desde la planificación hasta el fomento de la reutilización pasando por los aspectos técnicos y legales asociados. En este artículo nos centraremos en la primera fase de planificación y cuáles deben ser sus características principales. En el resto de esta serie de artículos se recogerán las siguientes fases:

Planificación de la iniciativa

Aunque la planificación sería el primer paso lógico dentro de cualquier iniciativa de apertura de datos, muchas veces la planificación inicial simplemente no existe, dando lugar a iniciativas que una vez nacen quedan indefinidamente en estado inerte.

Un proyecto Open Data debe considerarse un ciclo continuo y es necesario tener claros los pasos a seguir desde un principio. Algunas reglas mínimas a cumplir en este aspecto serían:

Realizar una planificación ambiciosa y cumplirla

Se debe fijar un calendario público claro y con objetivos concretos y medibles que permita realizar un seguimiento posterior de la iniciativa y los logros conseguidos.

La planificación deberá estar diseñada pensando tanto en los objetivos tangibles a corto plazo como en la sostenibilidad de la iniciativa a largo plazo, buscando siempre un equilibrio entre ambos aspectos.

Incluir objetivos específicos en cuanto a rendición de cuentas y económicos

Una política de datos abiertos conlleva una serie de beneficios adicionales en materia de transparencia, eficiencia, participación y desarrollo económico que deben también incluirse como valores propios y objetivos específicos dentro de cualquier política.

Proveer los fondos necesarios para poder llevar a cabo la iniciativa

Si bien una iniciativa de Datos Abiertos no debería suponer en general un coste elevado, como en cualquier otro proyecto sea cual sea su índole, será necesaria también una planificación económica que garantice la sostenibilidad del proyecto y proporcione garantías de financiación para las acciones previstas.

Una política de Apertura de Datos que no aprovisiona los medios económicos y materiales necesarios para poder llevarla a cabo estará abocada al fracaso.

Crear una autoridad central al cargo

Dada la complejidad organizativa de la Administración, una autoridad, ya sea única o en forma de comité, que sirva como guía de todos los procesos previstos en la política de Datos Abiertos, promueva las actuaciones necesarias para su ejecución, vigile su adecuada implantación y vele por la obtención de resultados, es una parte organizativa fundamental para el funcionamiento de la estrategia prevista.

Planificar revisiones futuras de las políticas

Dado que los datos son una entidad viva y las políticas Open Data actuales se encuentran todavía en un estado incipiente, para que la política definida siga siendo relevante a lo largo del tiempo es necesario que se revise y actualice con cierta periodicidad.

De este modo podremos beneficiarnos del feedback obtenido durante la ejecución de la propia iniciativa, así como incorporar las mejores prácticas que se observen en otros entornos.

Radiografía de las Políticas Open Data en España

Si hacemos un breve repaso de las iniciativas españolas en base a las pautas anteriormente expuestas podríamos obtener las siguientes conclusiones generales:

  • Si bien en algunos casos se han desarrollado políticas propias para la implantación del Open Data, ya sea de forma particular o enmarcadas dentro de una estrategia más amplia de Gobierno Abierto, dichas políticas no se hacen públicas. No obstante, en la mayoría de los casos dicha planificación directamente no existe, dando lugar a que la iniciativa se improvise de forma continúa con resultados diversos.
  • En la mayoría de casos no existe una autoridad específica a cargo del Open Data y las iniciativas han sido adoptadas como proyectos del área tecnológica, lo que puede limitar considerablemente el alcance y éxito de la iniciativa. Tampoco hay una dotación presupuestaria estable y los avances se consiguen en general gracias a dotaciones específicas para actuaciones concretas.
  • Prácticamente la totalidad de iniciativas existentes están ligadas explícitamente con objetivos de transparencia, eficiencia, participación y desarrollo económico, aunque no se detallan cuáles son las actuaciones específicas previstas para cada una de las materias ni los resultados esperados.
  • En cuanto a la revisión de las políticas, sí se constata cierta organización conjunta de las iniciativas que aboga por reflexionar sobre cuáles son las mejores prácticas a seguir y avanzar hacia una mayor madurez trabajando en común sobre esa línea.

Los retos pendientes del Open Data en España

Este artículo fue publicado primero en Open Data @ CTIC.

La semana pasada tuvo lugar el encuentro de iniciativas Open Data en España, organizado por el proyecto Aporta, en el que se debatió sobre los desafíos organizativos y técnicos existentes, así como las iniciativas de negocio basadas en Open Data y su potencial como canal de comunicación con el ciudadano.

Gracias a la comunicación surgida entre los participantes de las distintas mesas temáticas, el público y a través también de otros canales como Twitter, pudimos asistir a un interesante debate en el que se repasó el estado general del Open Data en España, así como los principales retos pendientes que ya se vienen debatiendo en la propia comunidad desde hace algún tiempo.

A continuación os exponemos lo que creemos que son las conclusiones más destacadas del encuentro:

El papel de la Administración

La Administración va superando poco a poco su obsesión por la posesión de los datos y ha comenzado a asumir que los datos no le pertenecen y que su papel se limita al de una mera gestora de la información. Pocos dudan ya de que abrir los datos contribuye a mejorarlos, corregir errores, incrementar la interoperabilidad y crear valor añadido gracias a cruzar distintas fuentes de información. El debate dentro de la Administración se centra ahora en otros aspectos, como por ejemplo la preocupación por las posibles consecuencias que deriven del uso de datos que contienen errores y la responsabilidad que eso conlleva.

Debemos tamibén ser cuidadosos con que la Administración no se convierta en un competidor privilegiado de la empresa privada, y para ello no debería encargarse de la explotación directa de los datos, ni de la tecnología necesaria para realizar dicha explotación, sino tan solo de su adecuada exposición al público a través de los medios más convenientes. Sin embargo, esto abre también el debate de hasta qué punto algunos servicios públicos básicos podrían o deberían delegarse en la empresa privada.

Ahora toca afianzar las iniciativas y asegurar su supervivencia para no queden en una mera moda pasajera, incluyendo la apertura de datos como otro nuevo canal permanente de comunicación con el ciudadano y haciendo de la reutilización un valor rentable para todos.

Los aspectos técnicos

Todavía hoy en día se detecta una gran dificultad para ejercer la labor del infomediario, debido principalmente a la baja calidad de los datos y la falta de preparación para su reutilización. La diversidad de vocabularios y la proliferación de formatos difíciles de tratar de forma automatizada consume también una gran parte de los recursos en las iniciativas sin aportar ningún valor añadido.

Existe unanimidad en cuanto a la importancia de la armonización en las iniciativas, la utilización de suficiente metainformación para poder valorar adecuadamente los datos y la creación de estándares al respecto para conseguir unificar y documentar vocabularios en las áreas donde todavía no existen. Con todo ello conseguiríamos que el potencial de reutilización fuese mayor y ampliar el mercado.

Tampoco hay que perder de vista que el Open Data necesita de una aproximación integral, y no únicamente desde una perspectiva técnica. Los retos técnicos son en general menores que los conceptuales, ya que el camino a seguir está hoy en día más claro en la parte técnica con respecto a otros aspectos organizativos, conceptuales, políticos y de evangelización.

Debemos sin embargo también tener en cuenta que, si bien con respecto a la transparencia lo fundamental es el volumen de información abierto, en cuanto a la reutilización es también primordial contar con una buena base tecnológica. Es por ello que resulta muy importante también llegar a un compromiso adecuado entre la inmediatez de las iniciativas raw data y la potencia ofrecida por el Linked Data, llegando a un equilibrio que permita la sostenibilidad a largo plazo.

Por tanto, no podemos obviar los problemas técnicos y debemos darles solución, cuestión que en general no es trivial porque no partimos de cero, sino de sistemas de información pre-existentes que originalmente no estaban pensados para ser expuestos. Esto conlleva un trabajo adicional además de tener que afrontar otros retos relacionados con la automatización de los procesos, la robustez y escalabilidad de los sistemas, la actualización de la información, etc.

El sector de los infomediarios

Si bien la Administración todavía no está completamente preparada para la reutilización, da la impresión de que el sector empresarial tampoco lo está.

El sector de los infomediarios en España está actualmente muy focalizado hacia nichos concretosrelacionados con sectores como geografía, economía, jurídico, consultoría, etc. Se echan en falta nuevas iniciativas que ayuden a ampliar el rango de sectores y abrir nuevas líneas de negocio a partir de los nichos de mercado que quedan todavía por cubrir gracias a la apertura de información y a la transparencia.

Las empresas reutilizadoras juegan un papel fundamental en la cadena de generación de valor y es imprescindible contar con ellas, pero para ello debemos modificar la visión actual del modelo de negocio un tanto anticuada y distinta a la que podemos encontrarnos fuera del país, olvidándonos cuanto antes de vender datos y pasar a vender servicios.

Los dispositivos móviles y la Web única jugarán también un papel importante, no solo como herramientas de consumo, sino también como un medio fundamental de generación de datos por parte de la ciudadanía, pasando esta a desempeñar también un papel activo y no solo como consumidora.

También hay que tener en cuenta que el desarrollo de aplicaciones es tan sólo una parte del potencial delOpen Data, y que existen otras vías de negocio todavía por explorar como la publicidad, los servicios de suscripción, la transformación de los datos, etc.

Finalmente, existen también algunos aspectos que lastran las posibilidad de generación de negocio por parte de los infomediarios, como por ejemplo la falta de definición y claridad en el contexto legal o la posiblidad de que se impongan tasas para el acceso a los datos. Una mayor claridad y unificación en los términos de las licencias y un modelo de retorno de inversión que no se basara en la imposición de tasas ayudarían a la evolución positiva del sector.

Los beneficios para la ciudadanía

Quizás el reto más importante sea cómo hacer llegar realmente al ciudadano los beneficios de la apertura de datos ya que si fuese consciente de los potenciales beneficios demandará Open Data de forma natural. La difusión y formación desde la base es por tanto fundamental y necesaria tanto de forma interna como externa. Otro factor importante es la escucha activa para identificar los intereses de ciudadanos einfomediarios.

La gente entiende mejor el open data a través de aplicaciones concretas y es por ello que iniciativas del tipo de AbreDatos, si bien tienen un potencial limitado a la hora de generar negocio entorno al Open Data, sí constituyen un buen escaparate de cara al público y un componente demostrador de cara a la ciudadanía que les ayuda a ser conscientes de los beneficios. No obstante, no podemos estancarnos ahí, y debemos promoverpolíticas completas de participación, difusión y fomento del consumo que involucren a todos los agentes.

La información liberada y su potencial utilidad es también un factor primordial de cara a atraer la atención del público. Existen datos muy interesantes y demandados por la sociedad que siguen sin publicarse, como por ejemplo información relacionada con la seguridad ciudadana, el turismo, tráfico y transporte público o agendas de eventos.

No obstante, también hay una sensación general de que nadie tiene muy claro cuáles son los datos realmente útiles y dónde están, de ahí la tendencia hacia políticas raw data hoy en día, con la intención de dar a conocer lo antes posible cuál es la información disponible. Una política de transparencia activa ayudaría a facilitar esta labor fundamental de identificación, y en este aspecto también juegan un papel fundamental loscatálogos de datos a la hora de facilitar la localización de la información.

El futuro próximo del Open Data en España

En los próximos días, semanas y meses seguiremos viendo nuevos proyectos y muchas y excitantes novedades sobre la materia, como la publicación de un estudio del sector infomediario realizado por el ONTSIque nos ofrecerá importantes datos, nuevos proyectos interesantes en materia de estadística, un campo en el que la reutilización es muy importante, y el nuevo portal de reutilización nacional de España –  datos.gob.es – que cuenta con la participación de nuestro equipo Open Data @ CTIC.

Podemos pues concluir que España cuenta con una comunidad Open Data activa y cada vez más madura que justifica su posición destacada entre las iniciativas internacionales y los retos a los que nos enfrentamos son similares a los de otras iniciativas y comunidades con grados de madurez similares, por lo que debemos seguir evolucionando para superarlos.

El año en el que el Open Government se hizo adulto

Este artículo fue publicado primero en el antiguo blog del proyecto Aporta, ahora transformado en datos.gob.es.

A lo largo del 2010 hemos asistido a una auténtica explosión de los proyectos Open Data en la Administración pública, tanto en España como a nivel mundial. Podemos afirmar sin lugar a dudas ese fue el año en que el Open Government se extendió a lo largo del mundo y que, en la actualidad, el compromiso y la voluntad de apertura existen, están presentes y se extienden.

El nacimiento

2010 fue pues el año de los orígenes, el año en el que surgieron muchas iniciativas locales, regionales, nacionales y supranacionales, que se fueron sumando a las pioneras de USA y UK y otras iniciativas de referencia como el catálogo del Banco Mundial, para ir formando poco a poco una comunidad Open Government Data global y activa.

Estas iniciativas pioneras que sirvieron de revulsivo siguen en el punto de mira de todos a la hora de marcar el camino a seguir, sin embargo cada nueva iniciativa tiende también a dejar su propia impronta y diferenciarse, cuestión lógica por otra parte en cualquier proceso de innovación asociado al uso de tecnologías incipientes.

La madurez

Sin embargo, y dado que el ecosistema del Open Data está alcanzado ya un cierto grado de madurez, ahora es el momento adecuado para replantearse las bases de los proyectos e ir evolucionando poco a poco desde la fiebre del raw data now! hacia modelos más sólidos y compatibles entre sí que sean además capaces de mantenerse a lo largo del tiempo.

Este año 2011 se prevé que sea el año de la consolidación, maduración y extensión de los proyectos, así pues, es hora de volver a repasar los principios y objetivos del Open Government y recapacitar acerca de varias cuestiones y desafíos pendientes ya que, en la actualidad, son todavía muchas las dudas que se plantean sobre cómo llevar a cabo una iniciativa de Open Government exitosa, tanto desde el punto de vista estratégico como tecnológico.

Los retos

Alguno de los grandes retos y necesidades a los que nos enfrentamos y sobre los que ya se está debatiendo desde la propia comunidad son:

  • Desarrollar más y mejores herramientas que nos ayuden en las etapas de identificación, representación, transformación, publicación y reutilización de la información.
  • Adoptar soluciones estándar comunes que aseguren la apertura, reutilización e interoperabilidad de los datos más allá del proyecto mediante el que se publican.
  • Adaptar las políticas, procedimientos y leyes para dar cabida a los aspectos legales específicos de una iniciativa Open Data.
  • Garantizar la calidad, procedencia, y fidelidad de la información, así como el mantenimiento de su carácter abierto a lo largo de toda la cadena de valor que generan los reutilizadores.
  • Mejorar la participación ciudadana y de los reutilizadores, analizando y comprendiendo en detalle sus necesidades en cuanto a consumo de datos.
  • Fomentar el desarrollo de servicios realmente útiles que estén centrados en las verdaderas necesidades de los usuarios y no únicamente en cuestiones estéticas.
  • Elaborar métricas que nos ayuden a estimar los beneficios reales de las iniciativas y el grado de satisfacción de los ciudadanos.

Desafortunadamente, todavía no contamos con todas las respuestas aunque el trabajo diario, y experiencias como la vivida con nuestro proyecto conjunto con la Web Foundation, nos ayudan a realizar un ejercicio de reflexión que ha sido muy útil para comprender mejor cuáles son las motivaciones que hay detrás de los proyectos Open Data y cómo funcionan.

Todas estas cuestiones serán sin duda temas muy interesantes a tratar muy pronto en el “Encuentro de iniciativas Open Data en España”, cuya temática este año son los “Retos y soluciones” del Open Data, lo que lo convierte en un foro muy interesante para compartir experiencias y buscar soluciones comunes.

El objetivo

Entre todos, y con el apoyo del trabajo cada vez más intenso en la materia por parte de instituciones como el W3C, podemos convertir el Open Data no solo en un saludable ejercicio de transparencia, sino en una cadena de valor añadido capaz de generar riqueza y prosperidad para todo el mundo.

Desde la iniciativa Open Data de la Fundación CTIC seguiremos trabajando y desarrollando nuestra metodología, así como nuevos productos para dar respuesta a los retos pendientes con la ilusión de ver día a día cómo surgen nuevas iniciativas, cómo maduran las ya existentes y quizás comenzar a ver más iniciativas y más maduras, no solo desde las administraciones, sino también desde los ciudadanos y la empresa privada y a lo largo de todos los países.

Como el propio Tim Berners-Lee dice:

Esto no ha hecho más que empezar