Hér er myndband sem sýnir brot úr kynningunni okkar við opnun gagnatorgs DataMarket þann 12. maí síðastliðinn. Þetta brot ætti að svara býsna vel spurningunni “Hvað er DataMarket?” og sýnir jafnframt nokkur áhugaverð dæmi um notkunina.
data
Iceland & Energy – presentation w. John Perkins
Just finished my previously mentioned presentation on Icelandic energy data. Some 250-300 people showed up – mostly to listen to John Perkins obviously.
Interesting audience to say the least, but a lot of fun!
My DataMarket piece went well – and putting it together at least helped me put some things in perspective. The slides are included below. As before, full screen viewing is recommended. Enjoy:
Icesave and Icelandic deposits
As DataMarket‘s Money:Tech gig (see previous entry) approaches, we’re starting to see all sorts of interesting data coming together to form our “DataMarket on the Icelandic Economy”.
Some graphs just speak for themselves. Here’s one that caught my eye today:
The numbers are millions ISK.
Note that these are only deposits in Icelandic banks and their immediate branch offices, not the subsidiaries of Icelandic banks registered elsewhere. It therefore only includes Icesave (UK and Netherlands) and a minority of Kaupthing Edge’s operations (Finland, Norway, Germany and Austria). See here.
We’ve marked the month Icesave is opened (UK branch). Another interesting breaking point in the graph is in early 2008. Guess what? Icesave Netherlands was started in May 2008. So, just before the crash – foreign depositors held more than half of “Icelandic” deposits (1,710 billion ISK out of a total of 3,123 billion)!
In our upcoming tool, users will be able to view and correlate a wealth of Icelandic economy time series and mark them with events and news headlines interactively. It will be a pretty powerful tool!
Bensínverð – eina ferðina enn
Ég hef áður gert nokkrar tilraunir með að draga upp mynd af bensínverði hér á landi miðað við þá þætti sem helst eru sagðir ráða verðmynduninni, þ.e. heimsmarkaðsverð á olíu og gengi bandaríkjadals.
Nú hefur heimsmarkaðsverðið snarfallið, en gengið á móti í hæstu hæðum. Mér fannst því tími til kominn að uppfæra þessi gögn og sjá hvernig málin standa. Ég einfaldaði líka framsetninguna dálítið frá fyrri færslum.
Á grafinu hér að neðan eru bara tvær línur. Annars vegar hið raunverulega bensínverð og hins vegar “Reiknað verð”. Gögnin um þróun bensínverðs hjá Hagstofunni ná aftur til mars 1997. Þá var bensínverðið um 78 krónur á lítrann. Reiknaða verðið er sett á sömu tölu þann mánuð, en svo látið þróast miðað við margfeldi á gengi dollars (þá 71,14 ISK) og heimsmarkaðsverð á olíu (þá 18,54 dollarar á tunnuna).
Þannig má lesa af grafinu að ef aðeins þessir tveir þættir réðu bensínverði hér á landi hefði lítrinn af bensíni farið yfir 600 krónur á tímabili í fyrra! Hámarkinu hefði verið náð í júlí: 636,7 krónur á lítrann. Nú væri það hins vegar komið NIÐUR í 254,4 krónur á lítrann. Raunverulega náði bensínverðið reyndar hámarki hér þennan sama mánuð: 184,3 krónur á lítrann, en er nú í kringum 146 krónur (95 okt, með þjónustu).
Af grafinu sést að sveiflur á gengi og olíuverði skila sér (kannski sem betur fer) ekki mjög hratt og alls ekki fyllilega í bensínverði til íslenskra neytenda. Á tímabilinu frá mars 1997 til september 1999 er reiknaða verðið talsvert lægra en raunverulega verðið, en hefur verið hærra nær óslitið síðan. Þetta myndu þeir sem hefðu hagsmuni af því örugglega túlka þannig að verðið frá olíufélögunum hafi verið “of hátt” á þessu tímabili, en hafi verið “of lágt” síðan, en tvennt ber þó að varast.
Annars vegar skiptir mjög miklu máli hvar upphafspunkturinn er settur. Hér ræðst það af því hversu langt aftur gögnin ná. Hins vegar endurtek ég það sem sagt var í upphaflegu færslunni. Það eru einfaldlega miklu fleiri þættir sem ráða bensínverði hér á landi heldur en þessir tveir, þar á meðal:
- Í október 1999 var gerð skattalagabreyting þar sem vörugjaldi á bensíni var breytt úr prósentu í fasta krónutölu.
- Þó hráolíuverð sveiflist til, þá hefur það ekki sömu áhrif á seinni stig vinnslunnar, s.s. hreinsun olíunnar og fullvinnslu í söluhæft eldsneyti á bíla.
- Flutningskostnaður á eldsneytinu hingað til lands helst ekki að fullu í hendur við eldsneytisverð.
- Innlendi þátturinn í verðinu er óháður ofangreindum sveiflum.
Til gamans má geta að verðbólgan á því tímabili sem grafið nær til er 86,6% (vísitalan fór úr 178,4 í 332,9). Það samsvarar svo að segja nákvæmlega þeirri hækkun sem orðið hefur á bensínverði á sama tímabili.
Hans Rosling strikes again
I’m a big fan of Hans Rosling. He’s really the guy that opened up the eyes of the world to the importance of availability of and open access to data.
His latest presentation, from Google’s Zeitgeist08 conference, is now available on YouTube. It is not as stunning as his original TED eye-opener, but still among the best material you’ll find online, and has surprisingly not made its rounds on the web for real yet. In this new video, he brings good news about AIDS, unveils the realities of oil production in US and Russia, discusses CO2 emissions and how the economic power is shifting from the west to the east. Oh, and there is stuff about money and sex also 🙂
The video can be seen here: 10 years in, 10 years out – Hans Rosling
See my previous blog entries about Hans Rosling here:
P.S. Also speaking at Zeitgeist08 was Paul Hawken. Hawken is giving a speech on sustainability here in Reykjavik on Saturday (Icelandic). From the little stuff I’ve seen he seems a little too evangelistic for my taste, but I’ll check it out anyway – ready to be converted 🙂
DataMarket launched
I’m pleased to announce the launch of DataMarket’s new website.
As the name implies, DataMarket is about creating a marketplace for data – structured data to be more specific. This means all sorts of statistics and tabular data, including but not limited to: market research, exchange rates, various financial information, economic indicators, weather data, sports results, EPG data and the average weight of a male wallaby.
Structured data plays a big role in company operations, government and in fact many aspects of life. It therefore continues to amaze me how hard it is to find data and retrieve it in the appropriate format, let alone merging data from different data sources or creating visualizations.
DataMarket is founded to tackle these issues.
In this first phase, we open as “DataMarket – the service company”. As such we offer companies and individuals data aggregation services and custom data related projects, such as programming of interactive data applications and visualizations.
This is just the first step towards our vision of an active marketplace for structured data. Today’s launch is a way for us to get feedback and take on real-world projects as we build towards our final product – a global marketplace that brings together data providers and data seekers in a single easy-to-use, self-service market.
There are many small steps to be taken on the way to this vision. The next phase will be launched early next year when we open a relatively simple little marketplace, focused on a narrow subject – again giving us further feedback and guidance on our way towards the long-term goal.
Any ideas, feedback and help is welcomed, either in comments below or via email.
Myndræn framsetning gagna: Mannfjöldaþróun á Íslandi
Eins og nafnið gefur til kynna snýst DataMarket um öflun og miðlun hvers kyns gagna. Ég er þessvegna búinn að vera að velta mér mikið síðustu vikurnar uppúr allskyns gagnamálum og þeim möguleikum sem góð og aðgengileg gögn opna.
Myndræn framsetning er eitt af því sem getur gefið gögnum mjög aukið vægi og – ef vel tekst til – dregið fram staðreyndir sem annars eru faldar í talnasúpunni.
Ég gerði smá tilraun með mannfjöldagögn frá Hagstofunni. Byggt á tölum um aldurs- og kynjaskiptingu frá 1841 til dagsins í dag bjó ég til gagnvirka hreyfimynd sem sýnir hvernig mannfjöldapíramídinn (einnig þekkt sem aldurspíramídi) þróast á tímabilinu. Útkomuna má sjá með því að smella á myndina hér að neðan.
Smellið á myndina til að spila
Græni liturinn sýnir 18 ára og yngri, rauði liturinn 67 ára og eldri og guli liturinn þá sem eru þar á milli.
Myndin bendir á nokkrar áhugaverða hluti í mannfjöldaþróun Íslendinga:
- Barnadauði: Fyrstu árin er sorglegt að sjá hvernig yngstu árgangarnir – sérstaklega sá allra yngsti – ná ekki að færast upp. Þetta segir sína sögu um barnadauða, aðbúnað barna og “heilsugæslu” þessa tíma.
- “Baby boom”: Fram að lokum seinni heimstyrjaldarinnar vex og eldist þjóðin nokkuð jafnt og þétt. Reyndar dregur aðeins úr fæðingum framan af seinna stríði, en svo verður alger sprenging – það sem kallað er “baby boom” upp á ensku og á sér klárlega sína hliðstæðu hér. Þessi “barnasprengja” hefur verið rakin til aukinnar hagsældar, betra heilbrigðiskerfis og almennrar bjartsýni í kjölfar stríðsins. Uppúr 1960 jafnast svo stærð árganganna út aftur með tilkomu getnaðarvarna og skipulagðari barneignum en tíðkuðust fram að því.
- Erlent vinnuafl: Síðasta sagan í þessum gögnum sýnir svo uppgangssveiflu síðustu ára. Ef þið skrefið ykkur í gegnum árin frá 2005-2008 (til þess eru örvatakkarnir) má sjá greinilega aukningu í aldurshópnum á bilinu 20-50 ára, sérstaklega karla megin. Aldurshópar geta eðli málsins ekki stækkað af náttúrulegum ástæðum (enginn fæðist 25 ára) þannig að þessi aukning stafar af aðfluttum umfram brottflutta. Þarna er líklega kominn hluti þess erlenda vinnuafls sem hingað hefur leitað í góðæri og framkvæmdum síðustu ára.
Sjálfsagt má lesa fleira út úr þessari mynd, en ég eftirlæt ykkur frekari greiningu 🙂
Örfá orð um tæknina
Myndin er gerð í stórskemmtilegu tóli sem nefnist Processing og gerir svona vinnslu tiltölulega einfalda. Hægt er að keyra bæði stakar myndir og vídeó út úr Processing, en til að ná fram gagnvirkni er keyrt út svokallað Java Applet. Sjálfur væri ég hrifnari af að sjá þetta sem Flash, þar sem stuðningur við það er almennari og útfærsla þess í vöfrunum á margan hátt skemmtilegri en Java (fljótara að ræsast, flöktir síður, o.fl.), en það verður ekki á allt kosið.
Allar hugmyndir, ábendingar og álit vel þegin.
The Case for Open Access to Public Sector Data
This article will be published tomorrow in The Reykjavík Grapevine.
Government institutions and other public organizations gather a lot of data. Some of them – like the Statistics Office – have it as their main purpose, others as a part of their function, and yet others almost as a by-product of their day-to-day operations.
In this case I’m mainly talking about structured data, i.e. statistics, databases, indexed registries and the like – in short, anything that could logically be represented in table format. This includes a variety of data, ranging from the federal budget and population statistics to dictionary words, weather observations and geographical coordinates of street addresses – to name just a few examples.
In these public data collections lies tremendous value. The data that has been collected for taxpayers’ money for decades or in a few cases even centuries (like population statistics) is a treasure trove of economical and social value. Yet, the state of public data is such that only a fraction of this value is being realized.
The reason is that accessing this data is often very hard. First of all its often hard to even find out what exists, as the sources are scattered, there is no central registry for existing data sets and many agencies don’t even publish information on the data that they have.
More worrying is that access to these data sets is made difficult by a number of restrictions, some accidental, other due to lack of funding to make them more accessible and some of these restrictions are even deliberate. These restrictions include license fees, proprietary or inadequate formats and unjustified legal complications.
I’d like to argue that any data gathered by a government organization should be made openly accessible online. Open access, means absence of all legal, technical and discriminating restrictions on the use or redistribution of data. A formal definition of Open Access can be found at opendefinition.org
The only exception to this rule should be when other interests – most importantly privacy issues – warrant access limitations.
There is a number of reasons for this. First of all, we (the taxpayers) have already paid for it, so it’s only logical that we can use the product we bought in any way we please. If gathering the relevant data and selling it can be a profitable business on its own, it should be done in the private sector, not by the government. Secondly it gives the public insight into the work done by our organizations in a similar way as Freedom of Information laws have done – mainly through media access to public sector documents and other information.
The most important argument – however – is that open access really pays off. Opening access and thereby getting the data in the hands of businesses, scientists, students and creative individuals will spur innovation and release value far beyond anything that a government organization can ever think of or would ever spend their limited resources on.
Some of these might be silly online games with little monetary value but yet highly entertaining. Others might be new scientific discoveries made when data from apparently unrelated data sources is mixed. And yet others might be rich visualizations that give new insights on some of the fundamental workings of society – showing where there’s need for attention and room for improvement.
A recent study on the state of matters with Public Sector data in the UK concluded that the lack of Open Access is costing the nation about 1 billion pounds annually in lost opportunities and lack of competition in various areas. Per capita, a billion pounds in the UK equals about 750 million ISK for Iceland and that’s without adjusting for Iceland’s higher GDP and arguably some fixed gains per nation.
Surely a huge opportunity for something that requires only a thoughtful policy change and a little budget adjustment to enable the institutions to make the needed changes and continue their great job of gathering valuable data.
– – –
See also an article from The Guardian, that helped spark a similar debate in the UK: Give us back our crown jewels
hjalli.com - Hjálmar Gíslason 
