Toen deze data nog ouderwets gesloten was, verdiende de gemeente jaarlijks tonnen aan leges voor het beschikbaar maken van deze data. Dit XML-monster bewaakt dus gouden bergen, maar hoe krijgen we deze informatie op de juiste manier in een AppForAmsterdam?

Plan A: Openen en bewerken in Excel
Zoals Lex al in zijn review beschreef kost het openen van de XML in Excel veel tijd. De laptop is minutenlang onaanspreekbaar en het resultaat is een Excelsheet van 438.000 rijen onduidelijk gedenormaliseerde data. En iedere poging tot herstructureren van de data leidt tot minutenlange berekeningen en vertragingen. Exit Excel.

Plan B: Openen en parsen in PHP
Wie gebruikt er dan ook Excel om een XML te openen? De data dus maar persoonlijk te lijf met een PHP-script… Maar helaas leveren de processoren ook hier niet genoeg power. 1 GB geheugen en 5 minuten processortijd is niet genoeg om het bestand te lezen en te parsen. Laat staan om er nog bewerkingen op uit te voeren en te schrijven naar een database.

Plan C: In stukjes hakken met XSLT!
Uiteindelijk blijft er nog één belangrijk wapen over: XSLT. Hiermee kan het XML-bestand worden getransformeerd, waarbij het in XSL 2.0 mogelijk is om één groot XML-bestand op te knippen in meerdere bestanden. Onderstaande XSLT doet dit voor het XML-bestand met bodeminformatie. (Let op: niet alle XSLT-processors ondersteunen de -tag. In dit geval is Saxon 9.1 gebruikt)

Het resultaat is een verzameling van 14.545 nieuwe XML-bestanden, variërend in grootte van enkele bytes tot 300 kB. Deze bestanden zijn met wat creativiteit en nauwelijks processorpower goed te parsen en te verwerken.

En nu?
Volgende stap is om een script te maken die deze bestanden één voor één inleest en verwerkt. De XML bestaat uit 5 entiteiten: locatie, onderzoek, activiteit, besluit en adres. Deze kunnen eenvoudig in een relationele database opgeslagen worden.
Dat daarbij de benodigde interpretatie van codes, ids en statussen niet duidelijk is een heel ander (reeds gesignaleerd) probleem, maar wordt deels opgelost door de bovenste tip uit onderstaande lijst. Vraag is hoe relevant de details hiervan nog zijn, aangezien er al snel kan worden doorverwezen naar de informatie op de site van Bodemloket (zie tweede tip).

Op deze manier is voor mijn AppForAmsterdam inmiddels de bodeminformatie beschikbaar. Het XML-monster is overwonnen!

Tips:
· http://www.sikb.nl/richtlijnen_detail.asp?id=8627″>Verschillende documenten die het dataformaat en de gebruikte codetabellen beschrijven (vreemd genoeg in PDF)

· Toelichting van bodemloket.nl op een node uit de XML (vervang in de url de waarde van FeatIds door het id van een locatie of clus_id van een adres):

· Een XML-bestand omzetten naar een array (in PHP): http://www.bin-co.com/php/scripts/xml2array/

· RD coördinaten omzetten naar LatLng (in .NET, maar prima om te zetten naar andere talen):

· De polygonen meteen omrekenen naar een encodedPolygon voor Google Maps (in diverse talen):

Jasper Soetendal – jasper@weetmeer.nl
Jasper Soetendal is consultant bij Braxwell en initiatiefnemer van Weetmeer.nl. Hij werkt aan een inzending voor de AppsForAmsterdam-competitie; de gegevens uit het XML-monster van de bodeminformatie maken hier zeker deel van uit.

Bij HackdeOverheid dachten we: daar hebben jullie vast een mening over!

Wat info over de open datacatalog:

- Er gaat door ICTU een server & domein onder overheid.nl geregeld worden waar een overzicht van open datasets is. De software hiervoor is CKAN (net zoals op data.gov.uk). Dit is bijna klaar, in het Nederlands vertaald, er hangen ook al enkele datasets in de testserver.

- Met CKAN kan er vervolgens ook op overheid.nl een pagina, of een deel van de website worden gemaakt deze informatie voor ‘mensen’ inzichtelijk maakt. (wij gaan denk ik gewoon de XML pakken ).

-Deze server wordt ook gebruikt voor andere datasets van andere overheden: Delft, en binnenkort Enschede.

- Elke andere gemeente / overheid kan in principe een website maken die de informatie uit het register ontsluit en zijn eigen weergave van maken. Tegelijk staan alle overheids bronnen voor ons toch in één enkel register.

En tot zover de techniek:

Want wie gaat de catalogus bijhouden en hoe en door wie wordt bepaalt wat er wel of niet in komt?

1) Wie kan het register veranderen, wat registreer je, hoe ga je om met feedback, kortom hoe gaat het voor iedereen ook echt werken?

2) Hoe ligt de relatie tussen BZK en andere overheden die data aanbieden. Mag BZK of anderen of wij?!?!! een opendata bron plaatsen / suggereren zonder dat de data aanbieder hier initiatief in neemt of toestemming voor geeft.

3) Wat is verder belangrijk? Hoe kunnen wij helpen, zodat er nog meer opendata vrij komt?

Laat je mening horen op Hackdeoverheid.nl, want niets is te gek!

Wij forwarden het vervolgens naar de juiste personen!!!!

Op zaterdag 29 mei vond de tweede editie van HackdeOverheid plaats in Het Sieraad in Amsterdam. Deze keer was er extra aandacht voor politieke data en ‘datadriven journalism’. Oftewel, hoe de journalistiek geholpen kan worden met open data. Deze insteek zorgde voor een groter, opvallend vrouwelijker en meer interdisciplinair publiek, meer solide prototypes en overheidssponsors. Bevestigt dit dat open data de fase van agendering voorbij is? Of is er nog missiewerk te verrichten?

HackdeOverheid maakt zich sterk voor het openen van meer overheidsdata. Want, met open data kan de overheid efficiënter en effectiever gaan werken. Burgers, bedrijven en wetenschap kunnen door hergebruik van deze data sneller innoveren en waarde creëren. HackdeOverheid bewijst dit door samen met burgers, geeks, journalisten en ambtenaren in een dag prototypes te maken die werken op basis van overheidsdata. Het beste journalistieke concept werd deze keer beloond met 25.000 euro voor de realisatie van het idee. Om de deelnemers op te warmen voor het hacken, was een aantal sprekers uitgenodigd.

HackdeOverheid maakt zich sterk voor het openen van meer overheidsdata. Want, met open data kan de overheid efficiënter en effectiever gaan werken. Burgers, bedrijven en wetenschap kunnen door hergebruik van deze data sneller innoveren en waarde creëren. HackdeOverheid bewijst dit door samen met burgers, geeks, journalisten en ambtenaren in een dag prototypes te maken die werken op basis van overheidsdata. Het beste journalistieke concept werd deze keer beloond met 25.000 euro voor de realisatie van het idee. Om de deelnemers op te warmen voor het hacken, was een aantal sprekers uitgenodigd.

Richard Pope: “Relevant, actionable and generative”
Pope, oprichter van RewiredState.org, de HackdeOverheid van de UK, trapte af. Pope is zelf hacker en bezig met projecten zoals Scraper Wiki, The Straight Choice.org, PlanningAlerts.com en betrokken bij Tom Steinbergs MySociety. Pope maakte in zijn presentatie het punt dat publieke overheidsdiensten en open data drie zaken zouden moeten nastreven. De overheidsdata moet relevant zijn voor burgers, burgers moeten iets (positiefs) kunnen doen met de data en er nieuwe data mee kunnen creëren. Bekijk de video van de presentatie van Pope door B. Teeuwen hier:

Sebastian Moericke-Kreutz: data journalisatiek is een “hard sell”

Moericke-Kreutz, werkzaam als journalist voor de Deutsche Presse-Agentur (dpa) en trainer op het vlak van online research en data-journalisme voor organisaties als de NDR, WDR, Google en de Axel-Springer-Akademie, gaf een inkijk in hoe datagedreven journalistiek zich binnen de Duitse journalistiek positioneert. Moericke-Kreutz schetste een beeld waarin ‘data-journalisten’ met een schuin oog door hun collega-journalisten bekeken worden, omdat zij van de baas niet een dag maar een hele week aan een project mogen werken. En voor wie het lastig is om hun tools en data aan hoofdredacties te slijten. Volgens Moericke-Kreutz verkopen alleen de mooie plaatjes en grafieken wel. Bekijk de video van de presentatie van Moericke-Kreutz door B. Teeuwen hier:

Henk van Ess: de journalistiek heeft coders nodig

Van Ess, voorzitter van de Vereniging van Onderzoeksjournalisten, zag meer in de potentie van data-journalistiek dan zijn collega Moericke-Kreutz. Journalisten hebben coders nodig, pleitte Van Ess. Aan de hand van een aantal zeer vermakelijke voorbeelden liet hij zien op welke manier journalisten soms data van de overheid aangeleverd krijgen. Bakken met PDF’s en cv’s, waar je niets mee kunt. Van Ess: “De champagne kon eigenlijk meteen weer dicht!”. Van Ess putte in zijn presentatie uit een reeks van “0-euro” datagedreven journalistieke projecten en vertelde over zijn uitstekende ervaring met het inhuren van (goedkope) coders via sites als Rentacoder en oDesk waar je voor een prikje iets goed kunt laten bouwen.

Bijvoorbeeld een project waarbij reporters ‘slimme vragen’ konden stellen over de staat van verpleeghuizen in Nederland doordat bepaalde databases gecombineerd werden. Of het project waarbij overheidsdata over scholen gespiderd werden en deze ineens analyseerbaar werden, een project van NRC waarbij gegevens van Funda gespiderd werden en aangetoond werd dat makelaars het woningaanbod manipuleren en voortijdig huizen van de markt afhalen. Maar ook een project waarbij geconcludeerd werd dat Nederland meer macht in de EU heeft dan op papier lijkt, omdat leden van andere EU-landen verzuimden en daardoor minder van hun stemrecht gebruik maakten. Etcetera.

In antwoord op Moericke-Kreutz was Van Ess van mening dat als datagedreven projecten tot nieuwe journalistieke leads leiden, hier wel degelijk oor naar is. Zeker als dit kranten verkoopt of kijkers trekt. Van Ess erkende wel dat er geen traditie op het gebied van datajournalistiek is en daarom geen tijd en geen geld.

Van Ess concludeerde zijn presentatie met een wensenlijstje. Ter voorbereiding van HackdeOverheid had hij aan ongeveer 50 journalisten gevraagd wat ze nou nodig hadden. Nummer 1 wens was: geef ons generieke tools waarmee we dingen van het web kunnen extraheren, vergelijken en analyseren. Nummer 2: stel ons in staat gegevens met elkaar te combineren en nummer 3: Geef ons een systeem waarmee we kunnen laten zien wat de overheid verwijdert. Van Ess’ wens ging aan het einde van de dag in vervulling toen @Breyten voor hem de website Politweeps gebouwd had die gedelete tweets van politici kan opslaan.

Bekijk de video van Van Ess door B. Teeuwen:

Barcamp: politieke data en dienstverlening

Onder leiding van KL’er Paul Keller ging een deel van de deelnemers aan de slag met het bedenken van prototypes voor journalisten rond politieke data. Het accent lag op bestaande informatie rond politici en kiezers, zoals de in de Digitale Pioniers e-participatie ronde gerealiseerde projecten OpenKamer.tv, Ik regeer en HNS.dev.

Een ander deel ging onder leiding van Frank Kresin (de Waag) en James Burke (HDO) aan de slag met ideeën voor nieuwe overheidsdiensten, variërend van afvalinformatie tot kadastrale gegevens, en van schoolvakanties tot landbouwstatistieken. Tijdens deze track werd ook gediscussieerd over Data.Overheid.nl, een initiatief van HackdeOverheid en het Ministerie van Binnenlandse Zaken en Koninkrijksrelaties. Het is de bedoeling dat beschikbare open overheidsdata in deze nationale overheidscatalogus verzameld wordt. In de VS (data.gov) en de UK (data.gov.uk) is dit een goede manier gebleken voor verdere innovatie rond open overheidsdata.

Pitches: Toeval of niet wint
HackdeOverheid sloot af met pitches van de barcamp-prototypes voor de jury bestaande uit Henk van Ess, Paul Keller, James Burke en Ton Zylstra:

• Eerste prijs: Toeval of niet, toevallige connecties tussen belangrijke personen en organisaties worden opgespoord door het combineren van verschillende databases en namenlijsten met de open API van LinkedIN
• Tweede prijs: They promised, idee van Richard Pope, waarbij je beloftes van politici via crowdsourcing kunt loggen en kunt terugkijken of ze zich aan hun beloftes houden
• Derde prijs (gedeeld): Tikker, een website waar je kunt zien hoe uitspraken van politici in verschillende mediasferen resoneren
• Derde prijs (gedeeld): HoodMood, een website waar gebruikers hun gevoel over een bepaalde wijk kunnen aangeven zodat de overheid dat als input voor nieuw beleid kan gebruiken
• Talktree: op basis van beschikbare overheidsdata als OpenKamerTV worden argumenten uit politieke discussies ontleed in voors en tegens. Dit idee wordt gerealiseerd door @argumenten in argumenten.nl
• Waaromnietopenbaar: voortbordurend op de pitch van Woberator.nl in de vorige editie van HackdeOverheid, het toevoegen van een functionaliteit waarbij automatisch WOB-verzoeken verstuurd kunnen worden naar gemeentes en de antwoorden automatisch gedocumenteerd worden.
• Politwoops: een website waarbij gedelete twitter-berichten van politici opgeslagen worden, naar wens van Henk van Ess meteen ook gebouwd
• Rideshare: een website waarbij je kunt zien wat je mogelijkheden en kosten van een reis van a naar b zijn met het openbaar vervoer en carpool
• Dutchstats: een website die @alper vantevoren gemaakt had (en daarom uitgesloten van deelname aan de pitch), waarbij je Nederlandse verkiezingsuitslagen en CBS statistieken gebruiksvriendelijk kunt vergelijken http://alper.nl/dingen/2010/05/dutchstat/
• Personen gemist: een scraper voor het verkrijgen van meer context rond vermiste personen

Toeval of niet krijgt dus 25.000 euro om het idee samen met HackdeOverheid te realiseren de komende tijd. Het geld is een bijdrage van het Stimuleringsfonds voor de Pers, die samen met het Ministerie van BZK, Burgerlink en het Forum van Democratie sponsor waren. Een bewijs dat open data serieuzer genomen wordt door overheden. Aan de andere kant: er waren weinig ambtenaren (de hele dag) aanwezig. Het waren toch de vakidioten en de passionado’s, open data-activisten of hobbyisten die veel plezier beleefden aan het hacken. Zolang dat nog het geval is, is er nog missiewerk te verrichten voor HackdeOverheid om de overheid te overtuigen van deze goede zaak.

Meer informatie:
www.twapperkeeper.com/hashtag/hackdeoverheid
www.flickr.com/photos/hackdeoverheid/
p2pfoundation.net/Open_Government_Data
Volg HDO op @HackdeOverheid en zie hier voor meer foto’s.

Teken de Declaratie