State of the art on Open Data in Spain

Posted on July 3, 2012 by Carlos Iglesias

This article was first published in Spanish.

Last week we assisted to a new edition of the Open Data initiatives meeting in Spain in which the state of openness of information in the country was discussed through a travel across the existing initiatives.

Government Envision

In similar way to the conclusions of the recent European Digital Agenda meeting, it was made quite clear that Open Data is an important area of future, since reuse is considered one of the principal axes on the road to an efficient and top-quality Public Management and for a more democratic management through which citizens get reconnected with.

Sharing data with citizens and businesses is also a tool for transparency and to foster economic activity, as well as a logical exercise in which the focus of information management will go back to the citizens, who are the natural owners. Thanks to the promotion of the future Spanish Law on Transparency, cost savings, an improved transparency and increased competitiveness are also expected, as well as the creation of new services.

Return of Investment

The debate opened with the question of why we are not reaching yet the economic return predicted by the MEPSIR and other similar studies. The conclusion seems to be that it is necessary to stimulate the market, which at times seems somewhat lethargic, and put more emphasis on citizens’ needs when prioritizing what must be opened first.

It is considered that a number of sensitive data (crime, health, etc.), to whose publication might be more reluctant the Administration, might be precisely those that have greater potential for value creation, however it is estimated that turnover for the data already available, such as cadastral records, official bulletins and more, is currently around 200 million Euros.

The Figures of Open Data in Spain

Data from the 2012 infomediary sector characterization study in Spain that will be published by ONTSI in the next days show us a universe of 150 companies that generate between 3,700 and 4,000 skilled and quality jobs.

With a total turnover of between 330 and 550 million € and the cultural sector contributing 10% of total, if we also consider the potential synergies between Open Data and the digital content industry, business figures could reach € 50,000 million, that is 5% of GDP in Spain.

Another interesting fact is that 87% of the data reused by businesses comes from Central Government and 45% from dedicated Open Data portals, being those confirmed as a useful mechanism to encourage reuse. From these figures one can conclude that there is still much room for growth, not only with the release of new data, but also by adding other regional and local Government initiatives.

Social Value and the Culture of Data

General sensation is that social value of Open Data is low at present due to the type of data that is being opened, but we must also take into account that barriers between social and economic value is rather diffuse.

One of the greatest barriers for the penetration of Open Data in society that has been detected on a recurring basis is the poor culture of data in the country.

To overcome this barrier the Open Data should be a natural part of the administrative procedure itself. The information should be reusable by default and that should be its natural state, giving public information back to the society which is its natural owner. The opening of data should be considered as a normal, everyday act and not an exception. That would be the best way to create a real culture of data.

The most open is not who more data publish, but who closes the least – Ivan Sanchez.

Citizens should be able to use the data that is necessary to generate value in a day-to-day basis, but require that information and make good use of it is also a citizenship responsibility. You need to create a continuous cycle of awareness, training and release of data, together with closer actions that make possible to generate true stories from data.

On the other hand, if you do not know about the existence of some data, the need is likely to never come. So, you also have to be proactive in publishing, or at least make an exercise of make an inventory of the data and publish the results, as in the case of Navarre. To give more visibility to data also helps.

If I had asked people what they wanted, they would have said faster horses – Henry Ford.

Open Data Community in Spain

Spain can also be considered one of the leading European Open Data countries with a large number of initiatives underway and a very active community. Proof of this is the intense online debate that took place in a complementary way to the meeting. There are also some interesting initiatives emerging from the Spanish community that have had great success, as the Open Data Decalogue. However, there is a general feeling of weak organization, slow advance and the existence of different tendencies.

You could say that, compared with the rest of Europe, Spain is not misplaced, so we should not be alarmist. But, given the current position of the country, the aim should be to aspire to be part of the leadership. For that we need to improve the community weaknesses and unify initiatives, a big challenge that remains unresolved also at the European level.

Standardization and normalization

Although the technology component is not the most important within an Open Data initiative, it is a recurrent topic every year, which is logical because we must not forget that Internet has been the facilitator of Open Data, and that the previous openness and participation initiatives have failed due to lack of sustainability.

We wouldn’t be talking about Open Data without the open platform that bring us Internet.

It is considered that we still miss the right tools to manage data properly and that right now current initiatives are too focused on open data portals exclusively. The origin of the problem might be that Public Services have not been planned to share data efficiently, although there are some initiatives, like the case of GenCat which, in a similar way to the new U.S. openness policy, are making good progress towards an ideal open-by-default model through a policy of unified APIs open to the public.

Standardization is also key to progress. Collaboration mechanisms between the Administration, Private Businesses and Citizens should be enabled to create or adopt common standards in areas such as vocabularies, access methods or data sets priorities. In this normalization process interoperability is a key factor, so the use of standards to ensure technological neutrality is essential.

We need also to stress again the importance of metadata, as the whole Open Data idea is based on the possibility of a suitable automated information processing. When data is not being well described its value will be much more limited. Special mention in this field for the simple, creative and functional approach of the Canarian Institute of Statistics that use their own metadata to provide information on user profiles potentially interested in the information.

Legislation is also making progress, but slowly, and although the approval of the PSI Royal Decree has implied a real improvement, and excessive bureaucracy and unclear legislation is still perceived and must also keep evolving.

A final nice thought to keep in mind:

Data are the raw material of the Information Society, we live in a Society of Information and sharing Open Data in this context equals to spread welfare – Marc Garriga

El estado del Open Data en España

Posted on June 26, 2012 by Carlos Iglesias

Ayer se celebró una nueva edición del encuentro de iniciativas Open Data en España en la que, una vez más, se debatió sobre el estado de la apertura de la información en nuestro país y las iniciativas existentes.

La visión de la Administración

Al igual que en las conclusiones de la reciente Agenda Digital Europea, queda claro que el Open Data es un sector de gran futuro, ya que la reutilización se considera uno de los ejes principales en el camino hacia una administración eficiente y de calidad, así como para una gestión más democrática mediante la cual se consiga reconectar con los ciudadanos.

Compartir datos con los ciudadanos y empresas es también una herramienta de transparencia y creación de actividad económica, así como un ejercicio lógico en el que el foco de la gestión de la información pasaría de la Administración a los ciudadanos, que son los propietarios naturales. Gracias a la futura ley de transparencia, se espera también un ahorro de costes, una mejora de la transparencia, un aumento de la competitividad y la creación de nuevos servicios.

El retorno económico

El debate se abrió con la duda de por qué no llega el retorno económico pronosticado por el MEPSIR y otros estudios de referencia. La conclusión parece ser que es necesario estimular un mercado, que en ocasiones parece algo aletargado y poner más énfasis en las necesidades finales de los ciudadanos a la hora de priorizar qué es lo que se debe abrir.

Se considera que existen una serie de datos más sensibles o comprometidos (delincuencia, sanidad, etc.) a cuya publicación podría ser más reticente la Administración y que son precisamente los que tienen un potencial mayor de generación de valor, sin embargo se estima que el volumen de negocio para los datos ya disponibles, tales como catastro, registros, boletines, etc., es en la actualidad en torno a los 200 millones de euros.

Las cifras del Open Data en España

Los datos adelantados del estudio de caracterización del sector infomediario en España que el ONTSI publicará próximamente nos muestran un universo de 150 empresas que generan entre 3.700 y 4.000 puestos de trabajo cualificados y de calidad.

La facturación total es de entre 330 y 550 millones de €, de los que el sector cultural aporta aproximadamente un 10% del total. Si además consideramos las potenciales sinergias entre la industria de los contenidos digitales y el Open Data, las cifras de negocio podrían llegar a unos 50.000 millones de €, lo que supondría un 5% del PIB en España.

Otro dato interesante es que un 87% de los datos reutilizados por las empresas proviene de la Administración Central y un 45% de portales específicos open data, quedando confirmados como un mecanismo útil para fomentar la reutilización. De estas cifras se puede concluir que existe todavía mucho margen de crecimiento, ya no solo con la liberación de nuevos datos, sino también con la incorporación de otras Administraciones regionales y locales.

El valor social y la cultura del dato.

Existe la sensación de que el valor social del Open Data se considera escaso en la actualidad debido a la tipología de los datos que se abren, aunque también hay que tener en cuenta que la barrera entre el valor social y valor económico es más bien difusa.

Una de las grandes barreras para la penetración del Open Data en la sociedad que se viene detectando de forma recurrente es la escasa cultura del dato existente en el país.

Para superar esta barrera el Open Data debería formar parte natural del propio procedimiento administrativo. La información debería ser reutilizable por defecto y ese debería ser su estado natural, devolviendo la información pública a la sociedad que es su propietaria natural. La apertura de datos debería ser considerada como un acto normal y cotidiano y no una excepción, esa sería la mejor manera de crear una cultura de los datos.

No es más abierto el que más abre, sino el que menos cierra – Iván Sánchez.

Los ciudadanos deberían poder utilizar los datos que fuesen necesarios para generar valor en el día a día, pero exigir los datos y hacer uso de ellos es una responsabilidad también de la ciudadanía. Es necesario crear un ciclo continuo de sensibilización, formación y liberación de datos, junto a acciones más cercanas que nos ayuden a generar verdaderas historias a partir de los datos.

Si hubiese preguntado a la gente qué querían me hubieran dicho que un caballo más rápido – Henry Ford.

Por otro lado, si no se conoce la existencia de los datos es probable que nunca se lleguen a necesitar, por lo que también es necesario ser proactivo en la publicación o, al menos, realizar un ejercicio de catalogación sobre los datos disponibles y dar a conocer el resultado como en el caso de Navarra. Dar más visibilidad a los datos, también ayuda.

La Comunidad RISP en España

España se puede considerar uno de los referentes europeos en materia de Open Data con un alto número de iniciativas en marcha y una comunidad muy activa. Como prueba de ello está el intenso debate online que ha tenido lugar de forma complementaria al encuentro. También existen algunas iniciativas interesantes surgidas de la propia comunidad y que han tenido gran acogida, como el decálogo Open Data. Sin embargo, existe una sensación generalizada de poca organización, avance lento y la existencia de diferentes corrientes.

Se podría decir que, en comparación con el resto de Europa, España no está mal situada, por lo que no debemos ser catastrofistas, pero dada la posición actual del país, el objetivo debería ser aspirar a estar en el liderazgo, mejorar los aspectos más débiles de la comunidad y unificar las iniciativas, que por otro lado es el gran reto pendiente a nivel Europeo.

Estandarización y normalización

Aunque el componente tecnológico no es el de mayor peso específico dentro de las iniciativas Open Data, si es un tema recurrente y se volvió a hablar de tecnología, cosa lógica por otro lado ya que no debemos olvidar que el gran facilitador del Open Data ha sido Internet, y que las iniciativa de apertura y participación previas a la era Internet han fracasado por falta de sostenibilidad.

Si no fuera por la plataforma abierta que nos ofrece Internet no estaríamos hablando de Open Data.

En general, se considera que todavía faltan las herramientas adecuadas para gestionar los datos y que en la actualidad las iniciativas están demasiado focalizadas hacia los portales open data en exclusiva. El problema de origen puede ser que la Administración no está planificada para compartir los datos hacia fuera con eficiencia, aunque existen iniciativas con el caso de la GenCat, que de forma similar a la nueva política de apertura de EEUU, evolucionan hacia un modelo ideal de abierto por defecto a través de una política de APIs unificadas y abiertas al público.

La normalización es también un aspecto fundamental para avanzar, es necesario habilitar mecanismos de colaboración entre el sector público, empresas y ciudadanos que nos permitan establecer o adoptar estándares comunes en campos como vocabularios, métodos de acceso o conjuntos de datos prioritarios. En este proceso de normalización la interoperabilidad es un factor clave, por lo que el uso de estándares que garanticen una neutralidad tecnológica será fundamental.

Destacar una vez más la importancia de los metadatos, ya que todo el sistema Open Data se basa en la posibilidad de un adecuado tratamiento automatizado de la información, por lo que si los datos no están bien descritos su valor será mucho más limitado. Mención especial en este campo para la solución simple, creativa y funcional que aplica el Instituto Canario de Estadística al utilizar los propios metadatos para proporcionar información sobre los perfiles de usuario potencialmente interesados en la información.

La legislación progresa también lentamente y, aunque la aprobación del RD de reutilización ha supuesto una mejora, todavía se percibe una burocracia excesiva y una legislación poco clara que debe ir también evolucionando.

Para terminar, una bonita reflexión a tener en cuenta:

Los datos son la materia prima de la Sociedad de la Información, vivimos en la sociedad del dato y abrir datos en ese contexto significa repartir riqueza – Marc Garriga

Los tres retos del Open Data en la Asamblea de la Agenda Digital Europea

Posted on June 22, 2012 by Carlos Iglesias

Este artículo fue publicado primero en inglés.

Esta semana el Workshop sobre Datos de la Agenda Digital Europea nos ha dejado una buena discusión acerca de las oportunidades y los obstáculos a los que se enfrenta el Open Data, así como reflexiones sobre cómo deben implicarse todas las partes interesadas para superarlos.

El plan de trabajo de la Comisión Europea

Las iniciativas de la Comisión Europea hasta el momento podrían resumirse como el desarrollo de una estrategia de comunicación de Datos Abiertos, la revisión de la directiva de la Información del Sector Público (PSI) y la política de reutilización de la Comisión Europea. Todo ello incluye el lanzamiento de la beta del nuevo portal Open Data de la Comisión Europea a mediados de Julio y un futuro portal Paneuropeo.

También es importante recordar la apuesta Europea por la gestión de los datos, el Open Data y el libre acceso a través de proyectos pilotos y portales mediante los programas de I+D+i FP7 y CIP 2011-13 que, aunque actualmente están prácticamente liquidados, tendrán su continuidad en el nuevo programa Horizon 2020.

Los temas candentes en cuanto a datos

Paul Miller hizo una estupenda introducción, basada en el diálogo previo online, en la que se revelaron los principales temas candentes para la Agenda: Open Data, Linked Data y Big Data, así como la importancia de las cuatro Vs de los datos: Gran Volumen, Velocidad, Variedad y Valor.

También nos recuerda la importancia de seguir las mejores prácticas en cuanto a estándares abiertos para Open Data, un tema recurrente, dado que actualmente contamos con más de 150 iniciativas en marcha a lo largo de Europa, pero todas ellas cuentan con componentes ligeramente diferentes.

Finalmente, François Bancihon en su discurso reivindicó una vez más la necesidad de una licencia única Europea y nos advirtió acerca de los peligros del Open Data y el Poder de los Datos con algunos ejemplos muy buenos:

Twitter cuenta con información más precisa acerca de las caídas del sistema de Netflix que la que el propio Netflix tiene.
Google tiene constancia de las notificaciones de desempleo antes incluso que las propias oficinas de empleo.
Target se entera de los embarazos de adolescentes antes que sus propios padres.

Áreas de aplicación de la reutilización

Bajo el lema inicial de que Los datos son la nueva moneda de la democracia la primera sesión se centró en mostrar áreas de aplicación específicas:

Registros mercantiles

Sin lugar a dudas, uno de los temas más controvertidos del Workshop, debido sobre todo a el estupendo y controvertido informe presentado por Chris Taggart, de Open Corporates acerca de cómo de abiertos son los registros mercantiles en la Unión Europea, y la inevitable comparación con el modelo cerrado del Registro mercantil Europeo basando en el pago por acceso.

Por desgracia, España obtiene una puntuación final de 0 en el informe debido a su registro completamente cerrado y de pago, una pena tratándose de uno de los conjuntos de datos más populares y deseados.

Información Geográfica

Una vez más, impresionantes las estadísticas de uso de datos geográficos: 120k accesos y 60k Gb de datos. La información Geoespacial se confirma así como una de las áreas más exitosas para el Open Data en Europa, dado que el 80% de las decisiones que tienen que tomar las autoridades públicas cuentan con un componente geoespacial. Se trata sin duda de una capa fundamental y necesaria para el open data y la innovación, de ahí la necesidad de que el acceso sea libre.

Interesante también el caso de uso del Earth Observatory, que sirve de ayuda en la gestión de recursos como la energía, el agua potable o la agricultura, ayudando así a afrontar los retos sociales asociados. La lección a aprender en este proyecto: todos los intentos de comercializar los datos han fracasado, es necesario que se mantengan disponibles de forma abierta y gratuita. Importante también recalcar que la iniciativa fue posible gracias al apoyo del Gobierno, por lo que los Gobiernos tienen también un papel de liderazgo en el progreso del Open Data.

Transporte

La experiencia presentada se centró en los problemas y barreras legales encontradas durante su desarrollo. ¿Es el scrapping legal? ¿Quién es el propietario de la información? Desafortunadamente, nos encontramos con que en algunos casos la información es ya abierta por defecto, pero en otros casos los gestores de los datos se niegan a proporcionar los datos.

En el lado malo: Las reclamaciones en los tribunales suelen llevar meses o incluso años, independientemente de lo obvio que pueda resultar el caso.

Los retos del idioma en los datos

La sesión reunió a varias de las compañías Europeas expertas en los campos de traducción, internacionalización, localización y servicios multilingües, centrando la discusión en la semántica del contenido, no en los metadatos.

La conclusión fue que una de las pocas barreras que todavía tenemos en Europa son las barreras culturales e idiomáticas, lo que supone un problema real a la hora de conseguir un mercado digital único. El multilingüismo puede llegar a ser beneficioso si se explota adecuadamente, ya que una vez se consiguen procesar los datos en base al conocimiento del idioma obtendríamos una clara ventaja competitiva. El verdadero reto es ser capaz de procesar los datos multilingües y permitir que fluyan a través de idiomas, países y mercados.

Una infraestructura multilingüe será tan importante para Europa como la infraestructura de banda ancha.

Generación de valor y el futuro de la economía del dato en Europa

La última sesión se centró en la generación de valor mediante los datos, basándose en la premisa de que los datos por sí mismos no son valiosos y lo que necesitamos no es sólo tecnología, sino soluciones de análisis que aporten conocimiento y ayuden en la toma de decisiones.

Mención especial para varias áreas de negocio intensivas en datos que son potenciales oportunidades para las PYMES: Venta al por menor, manufactura, medios sociales, envejecimiento de la población, gestión urbana, transporte, seguridad alimentaria, el sector público o la sanidad y medicina.

Existe también consenso en cuanto al hecho de que es el momento de buscar modelos de negocio innovadores en torno al Open Data, como por ejemplo el análisis de datos en tiempo real sin almacenamiento. La duda que sigue en el aire es ¿qué debe ser lo primero? ¿más datos abiertos o mejores modelos de negocio?

Los retos del Open Data

En la sesión de conclusiones, además de varias observaciones finales de las que se extrae que el Open Data será clave para la sostenibilidad de un mercado digital único, se consensuaron tres retos principales en cuanto al Open Data para la Agenda Digital:

Sostenibilidad de las iniciativas Open Data.
Casos de uso de interés público frente a casos de uso de negocio.
Retos del Multilingüismo.

Como conclusión final podemos terminar con una de las citas más memorables del día, por obra de Chris Taggart:

Abre tus datos o prepárate para decir adiós a la democracia

El debate continuará en el Encuentro Aporta de iniciativas Open Data en España la próxima semana.

Three Challenges of Open Data at the Digital Agenda Assembly

Posted on June 21, 2012 by Carlos Iglesias

Today’s Digital Agenda Data Workshop left us with a good discussion about what the opportunities and hurdles of Open Data are, and what can be done by all the stakeholders.

The European Commission roadmap

EC initiatives so far could be summarized as the development of an Open Data communication strategy, the revision of the PSI directive and an EC reuse policy. That includes the launch on beta stage of the new Open Data EC portal at mid July and a future Pan-European portal.

Also important to recall the European bet for data handling, open data and open access pilots and portals through the FP7 and CIP 2011-13 R&D&I programmes, currently almost gone, but that will have continuity with the new Horizon 2020 programme.

Data hot topics

Paul Miller gave an excellent introduction based on the previous online discussion that uncovers the main hot topics for the Agenda: Open Data, Linked Data and Big Data, as well as the importance of the four V’s of data: Big Volume, Velocity, Variety and Value.

He also remembered us the importance of best practices and open standards for open data, a recurrent topic, given that we have currently 150+ on-going initiatives all around Europe, but all of them are slightly different.

Finally, François Bancihon in his keynote raised his voice again for the need of a single pan-European license and advised us about the perils of Open Data and the Power of Data, with a few very good examples:

Twitter has more accurate information about Netflix’s downtime that Netflix.
Google knows about unemployment claims before the unemployment office.
Target knows about the pregnancy of the teen before their parents.

PSI application areas

With the opening tagline of Data is the new currency of democracy the first session focused on showcasing specific application areas:

Company registers

Without any doubt, one of the hot topics at the Workshop, mainly due to the great and controversial report published by Chris Taggart, from Open Corporates about how open company registers in Europe are, and the inevitable comparison with the European business registry closed model based on pay-to-play access.

Sadly, Spain scores 0 points in the report due to its fully closed registry, a pity for one of the most popular and desired datasets.

Geographical information

On more time, impressive stats on GEOdata usage: 120k accesses and 60k Gb of data. Geospatial confirms as one of the EU Open Data successful areas, given that 80% of needs for decisions from public authorities have a geospatial component. It is a fundamental layer necessary for open data and innovation, thus the need to remain open.

Also interesting the Earth Observatory use case that helps to manage resources such as energy, freshwater and agriculture. It measures land-use change and help to address social challenges. The lesson to learn from the project: all attempts to commercialise data supply failed, it needs to be open and freely available. Important to say that it was launched with government support and sponsorship, so Governments play also a leading role in Open Data progress.

Transportation

The use case presented focused on the legal issues and barriers for reuse. Is scrapping legal? Who is the owner of the information? Unfortunately, you can find some cases where data is open by default and others where data managers refuse to supply the information.

The bad side: Fighting in court could take long months, even years, no matter how obvious the case is.

Data and language challenges

One of the sessions I was personally expecting was the one which got together some of the European expert companies in the fields of translation, internationalization, localization and multilingual services. Surprisingly for me, the discussion focused on semantics of contents and not metadata as I expected.

The conclusion was that one of the few remaining European barriers are the cultural and language ones, a real problem for a successful Single Digital Market. Multilingualism can be a benefit if properly exploited, once we can process data based on language knowledge, we can obtain remarkable results and a competitive advantage. The real challenge is to be able to process multilingual data and enable it to flow through languages, countries and markets.

A multilingual infrastructure is as important for Europe as a broadband infrastructure.

Value generation and the future of the EU data economy

The last session focused on data value generation based on the premise that data itself is not valuable alone and what we need are data analysis solutions for insight and decisions, not just technology.

Several data intensive areas were mentioned as potential SMEs business opportunities for analysis, simulation or analytics, such as: Retail, Manufacturing, Social Media, Ageing Population, Urban Management, Transport, Food Security, the Public Sector or Health and Medical data.

There is also an agreement on the fact that it’s time to look for innovative business models around Open Data, such as streaming data analytics with live data that is not stored but processed on the fly. The doubt is still what come first, more data openness or better business models.

Open Data challenges

In the wrap-up session, some final remarks, three main Open Data challenges were proposed for the Digital Agenda:

Sustainability of Open Data.
Profit vs. public interest data uses.
Multilingualism issues.

As a conclusion, we can finish with one of the most remarkable quotes of the day, by Chris Taggart:

Open your data or say good-bye to democracy

La aplicación Open Data media

Posted on June 20, 2012 by Carlos Iglesias

Este artículo fue publicado primero en inglés.

¿Te gustaría saber qué pinta tiene una aplicación de Open Government Data media? Ahora es muy fácil gracias a los chicos de DERI y su presentación en el taller de utilización de datos abiertos del W3C acerca de una encuesta que llevaron a cabo recientemente:

Una aplicación web de visualización de mapas que explota un único conjunto de datos estático y fue desarrollada por una única persona y publicada de forma gratuita.

Si te has parado a pensar en ello antes seguramente hubieras apostado por lo mismo. De hecho, es una muy buena descripción de aproximadamente el 90% de las aplicaciones de datos abiertos que tenemos disponibles en la actualidad, y ese es precisamente el problema. Si pasamos a examinar la definición en detalle y a analizarla paso a paso, podremos ver varios de los problemas inherentes a las actuales políticas de apertura de datos:

Basada en la Web: De hecho, esto es estupendo, no cambiemos nada aquí, por favor. Por supuesto, las aplicaciones móviles están cobrando gran importancia hoy en día, pero con tan sólo aplicar las buenas prácticas y utilizando la plataforma web abierta, uno siempre será capaz de llegar también a los usuarios de plataformas móviles con poco esfuerzo y una experiencia de usuario excelente.
Mapas: Sí, cada vez que surge una nueva aplicación de inmediato pensamos ¡Guau! Otro mapa. Por supuesto, hay algunas excepciones memorables, pero ya sabéis lo que quiero decir. La pregunta es: ¿Hay vida después de los mapas y las gráficas estadísticas? y no, yo no estoy pensando en todas esas preciosas (y casi siempre inútiles) animaciones, una tendencia que, afortunadamente, estamos dejando atrás. No gracias, prefiero seguir con los mapas. Por supuesto, tenemos que mejorar en esto.
Visualización: Siempre podremos interactuar con los mapas, pero por lo general eso es todo. Los datos hoy en día se mueve exclusivamente en un sentido, y ese sentido es desde los gobiernos hacia el resto del mundo, con notables excepciones de nuevo. Por supuesto podemos mirar los datos y visualizarlos, pero nada más. ¡Se mira pero no se toca por favor! ¿Cuándo comenzaremos a ver aplicaciones bi-direccionales? Hay que recordar que también se trata de colaboración y conversación.
Único conjunto de datos: Y cuando decimos único queremos decirlo en los dos sentidos, un único tipo de datos y una sola fuente de datos. Parece que la era de los mashups apenas ha llegado todavía a los datos y nos estamos perdiendo los beneficios de poder cruzar datos en las aplicaciones. Probablemente se pueda culpar a la escasez de fuentes de datos y normas comunes en este caso. De cualquier forma, necesitamos más integración de datos para dar a conocer el valor real de los datos abiertos.
Datos Estáticos: La gente suele decir que los PDF son el lugar donde los datos se van a morir, y lo mismo se puede aplicar más o menos a las actuales aplicaciones de datos abiertos. Se alimentan de conjuntos de datos que nunca van a ser actualizados o utilizar una copia estática de los mismos, haciendo caso omiso de cualquier nueva actualización. Por favor, datos en tiempo real es lo que necesitamos, pongamos un poco de atención al respecto cuando diseñemos y planifiquemos las infraestructuras y procesos de Open Data.
Una única persona: Ya sea un desarrollador solitario, un freelance o un investigador, una única persona es lo probablemente nos encontremos en los créditos de la aplicación. Si la comunidad empresarial aún no está convencida del potencial económico del OGD entonces realmente tenemos un problema.
Gratuita: En principio parece algo bueno ¿no? Pero, ¿Cuál va a ser entonces el modelo de negocio para las aplicaciones de datos abiertos? ¿La publicidad? ¿Cómo vamos a convencer a nadie sobre el potencial económico y ventajas del OGD si no hay nada más que el gratis total? Y esta vez estamos hablando únicamente de beneficios económicos.

Por supuesto, se trata de un análisis general y podríamos encontrar fácilmente excepciones para cada una de las características. Sin embargo, sigue siendo una buena representación de qué pinta tendría una aplicación Open Data hoy en día, y más importante todavía, estas características nos muestran también algunos de los retos actuales del universo Open Data. Varios de ellos son bastante complejos y no se puede resolver con unas pocas palabras pero, una vez identificados, podemos discutir la manera de hacerles frente y cambiar el panorama de los datos abiertos.

The Average Open Data Application

Posted on June 19, 2012 by Carlos Iglesias

Do you want to know how the average Open Government Data Application looks like? Now it is quite easy thanks to the DERI guys and their presentation at the Using Open Data W3C workshop about a recent survey they conducted:

A web based map visualization that relies on a single static dataset and was developed by an individual who made it available for free.

Probably if you have thought about it before, you would bet for all of the above. Indeed, that is a very good description of roughly 90% of the Open Data Applications we have currently available, and that is the problem. If we examine the definition close up and analyse it step by step, several inherit problems with current Open Data policies may arise:

Web based: In fact this one is great, well done, no changes here please. Of course mobile apps are of the utmost importance nowadays, but just applying Best Practices and the Open Web Platform you will always be able to reach mobile web users with low efforts and a superb user experience.
Map: yes, every time a new app arises you immediately think Wow! Another map. Of course, there are some memorable exceptions, but you know what I mean. The question is: Is there any live after maps and statistical graphs? and no, I’m not thinking about all those beautiful (and mostly useless) animations, a trend that fortunately we are leaving behind us. No thanks, then I prefer to keep with maps. For sure we need to improve on this.
Visualization: You still will always be able to interact with that map, but usually that’s all. Data nowadays moves exclusively in one way, and that way is from Governments to the world, with notable exceptions again. You can always look at the data and visualize it, nothing else. Have a look, but don’t touch please! When will we start to see two-ways apps? Remember that this should also be about collaboration and conversation.
Single Dataset: and when we say single we have both meanings in mind, just a single class of data and just a single data source. It looks like data have not yet reached the mashup era and we are loosing the benefits of cross-data apps. You can probably blame the lack of diverse data sources and common standards for this. We need more data integration to unveil the real value of Open Data.
Static Data: people say that PDFs are the place where data goes to die, and the same can apply more or less to current Open Data apps. They feed from datasets that never are going to be updated or use a static copy of them ignoring any further update. Please, live data is what we need, care about it while you’re planning your Open Data infrastructures and processes.
Individual: a solitary developer, freelance or researcher is what you will probably find at the app credits. If the business community is not yet convinced about the economic potential of OGD we indeed have a problem.
Free: it looks like a good thing, no? But, what’s then the business model then for Open Data apps? Advertising? How are we going to convince anybody about the economic potential and benefits of OGD if there is nothing but total-free? And this time we are focusing just on economic benefits.

Of course, all of these are general comments and you can easily find exceptions for each of them. Nevertheless it remains a good representation of how an Open Data App looks like nowadays and, the most important thing, these characteristics show us some challenges in the Open Data universe. Several of them are quite complex and can’t be solved in a few words, but once identified we can discuss how to address them and change the Open Data outlook.

Los retos pendientes del Open Data en España

Posted on June 13, 2011 by Carlos Iglesias

Este artículo fue publicado primero en Open Data @ CTIC.

La semana pasada tuvo lugar el encuentro de iniciativas Open Data en España, organizado por el proyecto Aporta, en el que se debatió sobre los desafíos organizativos y técnicos existentes, así como las iniciativas de negocio basadas en Open Data y su potencial como canal de comunicación con el ciudadano.

Gracias a la comunicación surgida entre los participantes de las distintas mesas temáticas, el público y a través también de otros canales como Twitter, pudimos asistir a un interesante debate en el que se repasó el estado general del Open Data en España, así como los principales retos pendientes que ya se vienen debatiendo en la propia comunidad desde hace algún tiempo.

A continuación os exponemos lo que creemos que son las conclusiones más destacadas del encuentro:

El papel de la Administración

La Administración va superando poco a poco su obsesión por la posesión de los datos y ha comenzado a asumir que los datos no le pertenecen y que su papel se limita al de una mera gestora de la información. Pocos dudan ya de que abrir los datos contribuye a mejorarlos, corregir errores, incrementar la interoperabilidad y crear valor añadido gracias a cruzar distintas fuentes de información. El debate dentro de la Administración se centra ahora en otros aspectos, como por ejemplo la preocupación por las posibles consecuencias que deriven del uso de datos que contienen errores y la responsabilidad que eso conlleva.

Debemos tamibén ser cuidadosos con que la Administración no se convierta en un competidor privilegiado de la empresa privada, y para ello no debería encargarse de la explotación directa de los datos, ni de la tecnología necesaria para realizar dicha explotación, sino tan solo de su adecuada exposición al público a través de los medios más convenientes. Sin embargo, esto abre también el debate de hasta qué punto algunos servicios públicos básicos podrían o deberían delegarse en la empresa privada.

Ahora toca afianzar las iniciativas y asegurar su supervivencia para no queden en una mera moda pasajera, incluyendo la apertura de datos como otro nuevo canal permanente de comunicación con el ciudadano y haciendo de la reutilización un valor rentable para todos.

Los aspectos técnicos

Todavía hoy en día se detecta una gran dificultad para ejercer la labor del infomediario, debido principalmente a la baja calidad de los datos y la falta de preparación para su reutilización. La diversidad de vocabularios y la proliferación de formatos difíciles de tratar de forma automatizada consume también una gran parte de los recursos en las iniciativas sin aportar ningún valor añadido.

Existe unanimidad en cuanto a la importancia de la armonización en las iniciativas, la utilización de suficiente metainformación para poder valorar adecuadamente los datos y la creación de estándares al respecto para conseguir unificar y documentar vocabularios en las áreas donde todavía no existen. Con todo ello conseguiríamos que el potencial de reutilización fuese mayor y ampliar el mercado.

Tampoco hay que perder de vista que el Open Data necesita de una aproximación integral, y no únicamente desde una perspectiva técnica. Los retos técnicos son en general menores que los conceptuales, ya que el camino a seguir está hoy en día más claro en la parte técnica con respecto a otros aspectos organizativos, conceptuales, políticos y de evangelización.

Debemos sin embargo también tener en cuenta que, si bien con respecto a la transparencia lo fundamental es el volumen de información abierto, en cuanto a la reutilización es también primordial contar con una buena base tecnológica. Es por ello que resulta muy importante también llegar a un compromiso adecuado entre la inmediatez de las iniciativas raw data y la potencia ofrecida por el Linked Data, llegando a un equilibrio que permita la sostenibilidad a largo plazo.

Por tanto, no podemos obviar los problemas técnicos y debemos darles solución, cuestión que en general no es trivial porque no partimos de cero, sino de sistemas de información pre-existentes que originalmente no estaban pensados para ser expuestos. Esto conlleva un trabajo adicional además de tener que afrontar otros retos relacionados con la automatización de los procesos, la robustez y escalabilidad de los sistemas, la actualización de la información, etc.

El sector de los infomediarios

Si bien la Administración todavía no está completamente preparada para la reutilización, da la impresión de que el sector empresarial tampoco lo está.

El sector de los infomediarios en España está actualmente muy focalizado hacia nichos concretosrelacionados con sectores como geografía, economía, jurídico, consultoría, etc. Se echan en falta nuevas iniciativas que ayuden a ampliar el rango de sectores y abrir nuevas líneas de negocio a partir de los nichos de mercado que quedan todavía por cubrir gracias a la apertura de información y a la transparencia.

Las empresas reutilizadoras juegan un papel fundamental en la cadena de generación de valor y es imprescindible contar con ellas, pero para ello debemos modificar la visión actual del modelo de negocio un tanto anticuada y distinta a la que podemos encontrarnos fuera del país, olvidándonos cuanto antes de vender datos y pasar a vender servicios.

Los dispositivos móviles y la Web única jugarán también un papel importante, no solo como herramientas de consumo, sino también como un medio fundamental de generación de datos por parte de la ciudadanía, pasando esta a desempeñar también un papel activo y no solo como consumidora.

También hay que tener en cuenta que el desarrollo de aplicaciones es tan sólo una parte del potencial delOpen Data, y que existen otras vías de negocio todavía por explorar como la publicidad, los servicios de suscripción, la transformación de los datos, etc.

Finalmente, existen también algunos aspectos que lastran las posibilidad de generación de negocio por parte de los infomediarios, como por ejemplo la falta de definición y claridad en el contexto legal o la posiblidad de que se impongan tasas para el acceso a los datos. Una mayor claridad y unificación en los términos de las licencias y un modelo de retorno de inversión que no se basara en la imposición de tasas ayudarían a la evolución positiva del sector.

Los beneficios para la ciudadanía

Quizás el reto más importante sea cómo hacer llegar realmente al ciudadano los beneficios de la apertura de datos ya que si fuese consciente de los potenciales beneficios demandará Open Data de forma natural. La difusión y formación desde la base es por tanto fundamental y necesaria tanto de forma interna como externa. Otro factor importante es la escucha activa para identificar los intereses de ciudadanos einfomediarios.

La gente entiende mejor el open data a través de aplicaciones concretas y es por ello que iniciativas del tipo de AbreDatos, si bien tienen un potencial limitado a la hora de generar negocio entorno al Open Data, sí constituyen un buen escaparate de cara al público y un componente demostrador de cara a la ciudadanía que les ayuda a ser conscientes de los beneficios. No obstante, no podemos estancarnos ahí, y debemos promoverpolíticas completas de participación, difusión y fomento del consumo que involucren a todos los agentes.

La información liberada y su potencial utilidad es también un factor primordial de cara a atraer la atención del público. Existen datos muy interesantes y demandados por la sociedad que siguen sin publicarse, como por ejemplo información relacionada con la seguridad ciudadana, el turismo, tráfico y transporte público o agendas de eventos.

No obstante, también hay una sensación general de que nadie tiene muy claro cuáles son los datos realmente útiles y dónde están, de ahí la tendencia hacia políticas raw data hoy en día, con la intención de dar a conocer lo antes posible cuál es la información disponible. Una política de transparencia activa ayudaría a facilitar esta labor fundamental de identificación, y en este aspecto también juegan un papel fundamental loscatálogos de datos a la hora de facilitar la localización de la información.

El futuro próximo del Open Data en España

En los próximos días, semanas y meses seguiremos viendo nuevos proyectos y muchas y excitantes novedades sobre la materia, como la publicación de un estudio del sector infomediario realizado por el ONTSIque nos ofrecerá importantes datos, nuevos proyectos interesantes en materia de estadística, un campo en el que la reutilización es muy importante, y el nuevo portal de reutilización nacional de España – datos.gob.es – que cuenta con la participación de nuestro equipo Open Data @ CTIC.

Podemos pues concluir que España cuenta con una comunidad Open Data activa y cada vez más madura que justifica su posición destacada entre las iniciativas internacionales y los retos a los que nos enfrentamos son similares a los de otras iniciativas y comunidades con grados de madurez similares, por lo que debemos seguir evolucionando para superarlos.

Del eGovernment al Linked Government Data

Posted on March 23, 2011 by Carlos Iglesias

Una visión histórica sobre la gestión de la información en el sector público.
Este artículo fue publicado primero en BOLETIC en colaboración con Jose Manuel Alonso.

A lo largo de los años, los organismos e instituciones públicas han ido produciendo, archivando y distribuyendo una gran cantidad y variedad de información en el transcurso diario de sus actividades. El reto permanente para las Administraciones consiste en aplicar planes de actuación que sigan los estándares y prácticas adecuadas para conseguir que toda esa información gubernamental sea fácil de encontrar, esté siempre a mano, y sea accesible, comprensible y usable, para así conseguir que las personas puedan interactuar con sus Administraciones de la forma más eficaz y eficiente posible.

En este artículo haremos un breve recorrido histórico sobre la gestión de la información en el sector público, desde los orígenes de la eAdministración hasta llegar a las tendencias actuales y futuras de la mano del Linked Government Data.

Unos inicios no muy lejanos.

Desde la aparición de las nuevas tecnologías de la información y la comunicación, la Administración ha estado esforzándose por utilizar estas herramientas para encontrar medios cada vez más eficaces a la hora de dar servicio a los ciudadanos. La idea de que la Administración hiciera uso de la Web y sus tecnologías asociadas nació a finales de la década de los 90 y se culminó a principios de la década siguiente como una extensión de la tendencias dominantes por aquella época (eComercio, eConocimiento, eServicio, etc.), lo que dio lugar a que se acuñase también el término de eAdministración (eGovernment o eGov en inglés).

En aquel momento, la Web era una tecnología incipiente que estaba dando sus primeros pasos y aún funcionaba de una forma bastante caótica. Se hablaba de estos términos y se divulgaban con la esperanza de crear interés y, a la larga, un negocio a través de este nuevo medio.

Fue durante ese mismo periodo cuando las Administraciones comenzaron a darse cuenta de las oportunidades que estas tecnologías podrían suponer también a nivel interno para mejorar su organización y sus actividades, buscando el mismo nivel de eficiencia y los mismos enfoques utilizados por otros sectores para mejorar y divulgar su información y servicios.

Situación actual

Las Administraciones se han esforzado durante esta última década en proporcionar más información y mejores servicios a sus usuarios finales, llevando a cabo grandes esfuerzos en los ámbitos de la política, los recursos, la tecnología y las capacidades.

La explosión y desarrollo de la Web, así como las tecnologías y prácticas asociadas a ella, han ofrecido a las Administraciones lo que quizás es su mejor oportunidad para hacer realidad el objetivo de ofrecer información y servicios a la vez que se satisface la demanda por parte de los ciudadanos de una contribución e interacción cada vez mayores.

Sin embargo, en general, las Administraciones todavía no han comprendido por completo el impacto y la oportunidad que supone la Web para ellas ni cómo incorporarla y adaptarla correctamente a sus sistemas de trabajo, por lo que los objetivos de mejora de servicio, eficiencia, transparencia y participación no se han visto todavía cumplidos en la medida de lo esperado.

Por otro lado, el cambio de paradigma y la descentralización aportada por la denominada Web 2.0 no ha hecho otra cosa que acrecentar y complicar los desafíos que deben superar las Administraciones, ya que en general se han visto sorprendidas y desconcertadas por este nuevo paradigma, con el problema añadido de la carencia general de estrategias claras para el tratamiento de la información por parte de las instituciones gubernamentales.

Nuevos tiempos, nuevos modelos

Hoy en día, inmersos como nos encontramos en plena transición hacía la economía del conocimiento, todo el mundo asume como natural que ciertos datos procedentes de las Administraciones deben ser compartidos, fáciles de localizar, accesibles y manipulables por todo aquel que lo desee.

Ahora también, y gracias a la tecnologías emergentes que ofrece la Web, como es el caso de la Web Semántica, las Administraciones tienen a su disposición nuevas formas de comunicación con los ciudadanos que les brindan la oportunidad de abrir sus puertas, ayudando a entender, explicar, informar y divulgar grandes cantidades y tipos de información para su uso, interés y comprensión.

Por tanto, en la actualidad existen todos los ingredientes necesarios para que la Administración electrónica consiga que los ciudadanos puedan acceder a la información y los servicios gubernamentales en sus propios términos. Además, compartir esos datos e información gubernamental con el público hace que se establezca una relación más abierta y transparente con los ciudadanos, dando lugar a un nuevo modelo de Administración, la Administración Abierta (Open Government en inglés).

Los pioneros del Open Government

Dos son las iniciativas que a nivel mundial, y en un ejercicio de transparencia sin precedentes, iniciaron el camino hacia modelos de Gobierno más abiertos en los que el objetivo es utilizar las ventajas que ofrecen las tecnologías de la Web para destronar el secretismo que se había instaurado por defecto, pasando la Administración a cumplir un papel de simple gestor de la información en lugar de considerarse el propietario de la misma como había sucedido hasta el momento.

Barack Obama y Gordon Brown

Estados Unidos

A través de la figura de Barack Obama, que impulsó mediante una directiva de Gobierno Abierto la creación de un sistema de transparencia, participación pública y colaboración, con el convencimiento de que dicha estrategia fortalecerá la democracia y promoverá la eficiencia y efectividad en el Gobierno.

Los pilares de la estrategia USA se basan en la publicación online de la Información Gubernamental, la mejora en la calidad de dicha información, la promoción e institucionalización de una cultura de Gobierno Abierto y la creación de un Framework común que le de soporte.

Reino Unido

Mediante la figura de Gordon Brown, y posteriormente David Cameron, ha iniciado también un proceso de apertura mediante la publicación de la información que obra en poder de la Administración, con el objetivo de ayudar a los ciudadanos a entender cómo funciona el gobierno y cómo se llevan a cabo las distintas políticas.

La principal motivación en el caso del Reino Unido es el convencimiento de que esta información pública de fácil acceso ayudará a que los ciudadanos puedan tomar mejores decisiones y realizar sugerencias sobre las políticas de Gobierno basadas en la información recibida.

El punto común: Open Goverment Data

Ambas iniciativas comparten el objetivo común de publicar los conjuntos de datos de los que dispone la Administración en un ejercicio de transparencia por el que esa información vuelve a sus verdaderos dueños – la ciudadanía – creando al mismo tiempo procesos más eficientes de funcionamiento interno y externo que mejoren las operaciones e intercambios dentro de la propia Administración.

Así pues, las iniciativas pioneras de Gobierno Abierto se basaron en un mismo concepto, el Open Government Data (OGD), o lo que es lo mismo, la publicación de la información que obra en poder de las distintas Agencias de la Administración, haciéndola accesible a todo el mundo. Si bien existen varias definiciones de OGD, la más ampliamente aceptada es la que sigue las siguientes premisas:

La información tiene que ser completa.
Los datos deben provenir directamente de la fuente, sin transformación alguna.
La publicación debe realizarse a tiempo para preservar el valor de la información.
La información tiene que estar disponible para el mayor número de usuarios posibles.
Los datos deben presentar una estructura mínima que permita su tratamiento automatizado
La publicación tiene que estar libre de discriminación y disponible para cualquiera.
Los formatos de publicación deben ser no propietarios.
La información debe estar libre de restricciones de copyright o patentes. [según una versión más reciente: o ser reutilizable mediante licencias de tipo “atribución” – n.b.]

Estrategias diferentes: Datos en crudo vs. Linked data

Si bien ambas iniciativas comparten el objetivo común de facilitar el acceso a la información, facilitar la interoperabilidad y permitir su reutilización, la estrategia a seguir difiere en un aspecto fundamental ya que, mientras la iniciativa USA bajo la dirección estratégica de Vivek Kundra se centró inicialmente en la publicación de la mayor cantidad de información en el menor plazo posible, volcando la información en crudo tal y como está disponible, en el caso de UK se realiza un tratamiento previo de los datos parar reducir los esfuerzos necesarios en su posterior reutilización.

Raw Data now! vs. Linked Government Data

Para ello, el Gobierno de UK, que cuenta con el asesoramiento del inventor de la Web – Tim Berners-Lee, apostó por las tecnologías de la Web Semántica para modelar la información y establecer relaciones explícitas entre los distintos conjuntos de datos siguiendo los principios de los Datos Enlazados (o Linked Data):

Utilizar URIs para la identificaciónde los distintos elementos de información.
Hacer que las URIs de identificación resuelvan a través del protocolo HTTP.
Proporcionar información útil cuando se resuelve una URI de identificación.
Añadir enlaces a otra información para que se puedan descubrir nuevos elementos.

Linked Data

Es sabido que, gracias a la integración de información que ofrecen los datos enlazados y en formatos abiertos, es posible explotar nuevas vías para encontrar datos relevantes y pertinentes para sus necesidades a través de búsquedas, consultas, interfaces o herramientas.

El futuro: Linked Government Data

Muchas son ya las iniciativas que a nivel mundial han seguido el ejemplo de las pioneras pero, todas ellas, incluido el caso de USA, tienden en la actualidad a converger hacia la aplicación de los conceptos del Linked Data al Open Government, en lo que ya se denomina Linked Government Data.

Gracias a la utilización de las tecnologías de la Web Semántica, los Datos enlazados y el seguimiento de los principios generales de la Arquitectura Web, las Administraciones pueden ahora publicar conjuntos de datos que utilizarán vocabularios y metadatos de dominio específicos y ofrecerán al mismo tiempo interfaces de consulta comunes y transparentes para el acceso a la información, sin necesidad de que dichos interfaces hayan sido predefinidos, pasando así de la información legible para las máquinas a información que puede ser relacionada por las máquinas.

Estas características son las que hacen del Linked Government Data una herramienta perfecta para favorecer enormemente la reutilización de información por parte de terceras personas de formas completamente nuevas e impredecibles, al proporcionarnos un modelo de datos flexible que permite integrar fácilmente la información proveniente de distintas fuentes.

Objetivo cinco estrellas

En cualquier proyecto de apertura de información no deberíamos limitarnos a buscar soluciones para compartir datos, sino que debemos buscar soluciones eficaces y eficientes, soluciones robustas que tengan en cuenta los principios de modularidad, redundancia mínima, escalabilidad e interoperabilidad entre otras buenas prácticas.

Es por ello que debemos siempre debemos intentar seguir una estrategia gradual orientada a llegar al máximo nivel dentro de la clasificación de las cinco estrellas para la publicación de Linked Open Data:

★ Publicar la información (en cualquier formato) utilizando licencias abiertas.

★★ Utilizar formatos de datos estructurados para proporcionar la información.

★★★ Evitar formatos propietarios para la representación de los datos.

★★★★ Utilizar URIs como identificación para que los datos se puedan referenciar.

★★★★★ Enlazar los datos con otros para añadir contexto.

Siguiendo una estrategia de este tipo se conseguirán finalmente los mayores beneficios, tanto para los publicadores de la información como para los consumidores finales.

Los desafíos pendientes

Hasta el momento se han puesto sobre la mesa muchas preguntas y la mayoría de proyectos existentes sólo han ofrecido respuestas parciales a algunas de ellas.

¿Cómo se deben modificar y adaptar las políticas, los procedimientos y las leyes de forma que haya cabida para el Open Data?

¿Cómo pueden garantizar las Administraciones que la fidelidad y la esencia fundamental de la información se mantienen intactas?

¿Existe alguna forma de publicar los datos sacados de los sistemas e infraestructuras desfasadas a través de la Web?

Desde nuestra experiencia podemos afirmar sin lugar a dudas que hoy en día disponemos de las herramientas y tecnologías necesarias para llevar a cabo una estrategia Linked Government Data con éxito, sin embargo, no existen todavía respuestas únicas y concretas para muchas de estas preguntas, ya que el Linked Government Data es actualmente una ciencia joven y hay algunas lecciones que todavía están por aprender mientras que los proyectos maduran y se siguen desarrollando.

Arquitectura de un sistema Linked Government Data

No obstante, en todos ellos ha quedado demostrado que lograr una Administración Abierta no es una tarea fácil, debido principalmente a los desafíos a los que deben enfrentarse las Administraciones a la hora de recopilar, gestionar y compartir la información. Entre estos desafíos podemos encontrar:

Impulso de las estrategias a todos los niveles ya que, tal como afirma Tim Berners-Lee, para que tenga éxito es necesario que la iniciativa se desarrolle simultáneamente tanto al más alto nivel de Gobierno como en los mandos intermedios y en la sociedad civil.
Existencia de políticas desfasadas que no se corresponden con la realidad social y tecnológica actual, con los consiguientes desafíos legales que se plantean y las dificultades para proporcionar una atención adecuada a los ciudadanos.
Cultura burocrática muy lenta, siendo necesario realizar cambios en los procedimientos para que se ajusten a la nueva realidad.
Limitaciones presupuestarias y de personal, no pudiendo siempre responder a las inversiones necesarias para llevar a cabo los proyectos de apertura de información y la capacitación necesaria para el personal que los gestione.
Desafíos tecnológicos a la hora de compartir la información, debido al carácter innovador de los proyectos y la complejidad que aporta la amplitud del ámbito de actuación.
Sensación de pérdida de control de la información, que pueda dar lugar a problemas de autenticidad en la procedencia de los datos, privacidad o seguridad nacional debido a la exposición inoportuna de la información o la falta de calidad de la misma.

A pesar de todo lo anterior, los beneficios de la apertura de la información son siempre mayores que los problemas que se plantean, ya que la publicación de los datos provenientes del sector público en formatos abiertos fomentará el discurso civil, proporcionará un mayor bienestar social y conseguirá un uso más eficiente de los recursos públicos.

Es por ello que cada vez son también más las iniciativas que surgen a nivel de la Administración nacional, y con las que trabajamos mano a mano para ofrecer soluciones a los problemas y desafíos pendientes con el objetivo de seguir sumando éxitos del Open Data en la Administración Pública.

The next OGD frontier: Low and middle income countries

Posted on March 22, 2011 by Carlos Iglesias

This post was first published at the OKFN blog in collaboration with Aman Grewal from the World Wide Web Foundation.

Last year we witnessed an impressive expansion of Open Government Data initiatives all around the world. We can assert without any doubt that it was clearly the year when Open Government spread throughout the world.

However, if we look at the map of the Open Government Data initiatives worldwide, we immediately detect than almost all of these initiatives incubated around Western Europe and North America. There is a big gap in the map, especially with reference to the developing countries.

The Challenge

Given the very apparent benefits of Open Government Data programmes, it is important to consider the development of similar programmes all over the world, and particularly in low and middle-income countries. But first, we need to go one step back and ask ourselves how we analyse whether a given country is ready to engage and sustain an OGD programme, and how much we know from existing initiatives.

The World Wide Web Foundation and CTIC Foundation took the first steps in this direction by conducting an assessment of the feasibility and potential of an OGD program in two countries – Chile and Ghana.

The key questions were:

Is the country ready to engage in an OGD initiative?
If so, what support might they need?
If not, why not, and what lesson can we take away from this assessment?

But while we were trying to give answers to these questions, new important questions arose:

What pre-conditions exist?
How much of what we know from existing initiatives is applicable?
What are the indicators that will enable the definition of OGD readiness in a given country?

We decided to start by developing a new methodology for OGD readiness assessment, based on our experience and a previous study commissioned by the Transparency and Accountability Initiative and written by Becky Hogge from early 2010. For the assessment completion, we developed a questionnaire and conducted desk research and country visits to interview people and organisations that may be key to any future success.

The findings from the studies have enabled us to start a global debate that we aim to carry forward.

Chile use case

Chile has always been a prosperous country and has long played a leadership role in Latin America. Now, more than ever, it has a government capable of decisively delivering on its vision and related governance schemes.

In the case of Chile, the political momentum is clearly present, and there are perceived interests and needs. Governmental willingness to adopt an OGD initiative is very clear at the executive layer and extends to the middle layer. In addition, the first strategic steps towards OGD are being taken, and pioneering pilot initiatives on information openness in Public Administration have been implemented. There are also several reuse initiatives being carried out by groups of civil hackers.

Nevertheless, Chile needs to establish an institutional roadmap related to OGD, putting in place all the regulations that are needed for implementation and developing a common methodology for Open Data, selecting and adopting open standard formats for data to facilitate reuse.

A good start is the recent incorporation of OGD as one of the key objectives of Chile’s digital agenda, but they still need to improve the means, processes and channels used to disseminate information and centralize access to a single common point or nodal agency. Finally, a dialogue on information sharing between the administration, civil society and the private sector should also be initiated with the objective of increasing awareness of reuse initiatives promoted by enthusiastic civil society groups.

We came to the conclusion that Open Government Data initiatives in Chile should rely on the transparency community, a very active group that would strongly support any initiative taken in favour of information openness.

Ghana use case

In terms of democracy, Ghana is one of the top few countries in Africa. For the common citizen, there is no apparent lack of respect for the democratic set-up, though there seems to be a trust deficit with respect to the politicians, either in power or in the opposition.

The required regulatory framework for an Open Data strategy is not currently present in the law, but is a work in progress. The RTI Act has been discussed since 2000 and its approval is imminent. However it has taken many years of study and the current draft has provisions for a number of exceptions. This has created friction in its smooth passage resulting in a number of revisions and subsequent delay. The RTI Act cannot exist in isolation and requires a supporting legal framework of data privacy and intellectual property. This work is still in its early stages and further advances can be expected in the short or medium term only if the RTI Act sees the light of day.

Civil society organizations in Ghana are very active in highlighting these issues and have become more vocal ever since oil reserves were found on a substantially large scale. They believe that this is the right opportunity for OGD initiatives that will not only improve the perception of a clean government in the minds of ordinary citizens, but would also strengthen the overall notion of a strong and transparent democracy. It would give them the right set of legal and technical knowledge to avoid the “oil curse”, which they are keen to avoid at any cost.

The opportunity here is two-fold. The RTI Act may give the much-needed legal framework for civil servants that would enable them to answer the data requests in a defined process. Simultaneously technology and implementation support with respect to the open interoperability framework would provide a much needed standardization platform to the apex IT agency of the country, a critical area where they are already soliciting support from external agencies. Civil society organizations like the Population Council are already running initiatives in few African countries related to data (demographic in this case) reuse by third parties that can act as examples and guideposts for OGD initiatives.

The case of Ghana has its own set of challenges and the situation may not be ideal. In such a scenario the groundwork to bootstrap OGD initiatives would be tougher, but at the same time the potential global impact would also be significant.

As Tim Berners-Lee observed, “It has to start at the top, it has to start in the middle and it has to start at the bottom.”

Make your contribution

We are publishing the draft versions of both the reports. Our objective is to gather comments from the OGD community. We invite you to read the reports for Chile and Ghana and send in your comments atogd-comments@webfoundation.org before the end of March 2011.

Your comments will assist the growing OGD community in the developing world by providing new tools, best practices and support.

El año en el que el Open Government se hizo adulto

Posted on March 8, 2011 by Carlos Iglesias

Este artículo fue publicado primero en el antiguo blog del proyecto Aporta, ahora transformado en datos.gob.es.

A lo largo del 2010 hemos asistido a una auténtica explosión de los proyectos Open Data en la Administración pública, tanto en España como a nivel mundial. Podemos afirmar sin lugar a dudas ese fue el año en que el Open Government se extendió a lo largo del mundo y que, en la actualidad, el compromiso y la voluntad de apertura existen, están presentes y se extienden.

El nacimiento

2010 fue pues el año de los orígenes, el año en el que surgieron muchas iniciativas locales, regionales, nacionales y supranacionales, que se fueron sumando a las pioneras de USA y UK y otras iniciativas de referencia como el catálogo del Banco Mundial, para ir formando poco a poco una comunidad Open Government Data global y activa.

Estas iniciativas pioneras que sirvieron de revulsivo siguen en el punto de mira de todos a la hora de marcar el camino a seguir, sin embargo cada nueva iniciativa tiende también a dejar su propia impronta y diferenciarse, cuestión lógica por otra parte en cualquier proceso de innovación asociado al uso de tecnologías incipientes.

La madurez

Sin embargo, y dado que el ecosistema del Open Data está alcanzado ya un cierto grado de madurez, ahora es el momento adecuado para replantearse las bases de los proyectos e ir evolucionando poco a poco desde la fiebre del raw data now! hacia modelos más sólidos y compatibles entre sí que sean además capaces de mantenerse a lo largo del tiempo.

Este año 2011 se prevé que sea el año de la consolidación, maduración y extensión de los proyectos, así pues, es hora de volver a repasar los principios y objetivos del Open Government y recapacitar acerca de varias cuestiones y desafíos pendientes ya que, en la actualidad, son todavía muchas las dudas que se plantean sobre cómo llevar a cabo una iniciativa de Open Government exitosa, tanto desde el punto de vista estratégico como tecnológico.

Los retos

Alguno de los grandes retos y necesidades a los que nos enfrentamos y sobre los que ya se está debatiendo desde la propia comunidad son:

Desarrollar más y mejores herramientas que nos ayuden en las etapas de identificación, representación, transformación, publicación y reutilización de la información.
Adoptar soluciones estándar comunes que aseguren la apertura, reutilización e interoperabilidad de los datos más allá del proyecto mediante el que se publican.
Adaptar las políticas, procedimientos y leyes para dar cabida a los aspectos legales específicos de una iniciativa Open Data.
Garantizar la calidad, procedencia, y fidelidad de la información, así como el mantenimiento de su carácter abierto a lo largo de toda la cadena de valor que generan los reutilizadores.
Mejorar la participación ciudadana y de los reutilizadores, analizando y comprendiendo en detalle sus necesidades en cuanto a consumo de datos.
Fomentar el desarrollo de servicios realmente útiles que estén centrados en las verdaderas necesidades de los usuarios y no únicamente en cuestiones estéticas.
Elaborar métricas que nos ayuden a estimar los beneficios reales de las iniciativas y el grado de satisfacción de los ciudadanos.

Desafortunadamente, todavía no contamos con todas las respuestas aunque el trabajo diario, y experiencias como la vivida con nuestro proyecto conjunto con la Web Foundation, nos ayudan a realizar un ejercicio de reflexión que ha sido muy útil para comprender mejor cuáles son las motivaciones que hay detrás de los proyectos Open Data y cómo funcionan.

Todas estas cuestiones serán sin duda temas muy interesantes a tratar muy pronto en el “Encuentro de iniciativas Open Data en España”, cuya temática este año son los “Retos y soluciones” del Open Data, lo que lo convierte en un foro muy interesante para compartir experiencias y buscar soluciones comunes.

El objetivo

Entre todos, y con el apoyo del trabajo cada vez más intenso en la materia por parte de instituciones como el W3C, podemos convertir el Open Data no solo en un saludable ejercicio de transparencia, sino en una cadena de valor añadido capaz de generar riqueza y prosperidad para todo el mundo.

Desde la iniciativa Open Data de la Fundación CTIC seguiremos trabajando y desarrollando nuestra metodología, así como nuevos productos para dar respuesta a los retos pendientes con la ilusión de ver día a día cómo surgen nuevas iniciativas, cómo maduran las ya existentes y quizás comenzar a ver más iniciativas y más maduras, no solo desde las administraciones, sino también desde los ciudadanos y la empresa privada y a lo largo de todos los países.

Como el propio Tim Berners-Lee dice:

Esto no ha hecho más que empezar