Eleccions, captura de dades i visualitzacions

Quan hi ha eleccions, els mitjans de comunicació poden sol·licitar accés a uns arxius de text, amb camps de longitud fixa i separats per punts i coma, que contenen les dades de l’escrutini. Aquests arxius, degudament tractats, es converteixen en les taules i gràfiques que es poden veure en aquests mitjans, i que van evolucionant amb el temps i les millores tecnològiques. Aquesta és la meva experiència, aplicada a Nació Digital, que pot ser completament diferent de la de la resta de mitjans.

2010: El primer contacte

La primera ocasió en què vam participar en els recomptes va ser en les eleccions al Parlament de 2010. D’això ja fa cinc anys. Al ser el primer cop, vam optar per no arriscar-nos massa i centrar-nos en el procés de captació i conversió de dades, fent servir les gràfiques de Google Charts per a les gràfiques. Veure el disseny de la secció ja ens porta uns anys enrere, indubtablement -com canvien les coses!-, però establir el procés d’importació i lectura ens va permetre tenir molta feina a punt per a la propera.

2011: Per falta d’una, dues

El 2011 arribarien les municipals que van portar a Trias a l’alcaldia de Barcelona i Puigdemont a Girona, o van veure com Anglada quedava com a segona força a Vic. Aquí ens vam centrar a millorar i establir una navegació basada en municipis: les gràfiques d’unes eleccions al Parlament tenien sentit a nivell global (perquè s’havia d’omplir un hemicicle concret), però en les locals això s’invertia. No només això: d’un grup tancat de partits -i colors, i gràfiques-, es passava a un conjunt molt més gran, amb noms diferents entre municipis, marques blanques (Progrés Municipal-PM pel PSC, Acord Municipal -AM per ERC…) i independents, a més de les diferents maneres d’escriure’ls (Esquerra, ERC, ERC-AM, CUP, C.U.P., C.U.P….). Aquí no vam tocar les gràfiques, de moment, perquè les basades en semicercles encara no ens convencien del tot.

El mateix 2011 es van celebrar les eleccions generals, i sense massa temps, vam repensar la base utilitzada per les del Parlament de 2010, actualitzant una mica el disseny i afegint gràfiques també als municipis. També vam començar a automatitzar el procés de càrrega de dades, que fèiem de manera molt manual –more on this later-, però en general els canvis ara ja començaven a ser de manteniment.

2012-2015: Tres passes endavant

Arribarien encara dos comicis més: el 2012 de nou al Parlament i les Europees de 2014. En aquests dos casos, sobretot per passar força temps entre ells, es va intentar aprofitar el què ja s’havia treballat en eleccions anteriors, però fent-lo més eficient sobretot de cara a atendre totes les peticions -visites-, sobretot per les europees. Però la feina de veritat la vam començar a fer de cara a aquestes municipals del 24 de maig de 2015.

En primer lloc, vam deixar de banda les gràfiques de Google Charts -molt agraïts, per cert-, després de treballar una mica amb D3.js, una llibreria de dibuix que ens permetia fer un hemicicle funcional i integrat amb la resta del lloc. Així guanyàvem espai, a més de vincular el gràfic a la mateixa taula de dades que generàvem. Em va sorprendre veure que molts mitjans van optar per solucions més “tancades” com Highcharts: una molt bona opció que ofereix funcionalitats molt completes, però en el nostre cas no necessitàvem un munt de tipus de gràfic diferents i preferíem treballar amb una base que ens permeti anar millorant i integrant millor el sistema, més que amb eines alienes per les que normalment es necessita un aprenentatge -com les ha fet qui les ha fet, i com, si es pot i és viable, s’han de modificar.

En aquesta ocasió, a més, també hem millorat a consciència el sistema de reconeixement de partits (incloent-hi ICV amb la marca Entesa o -E, així com intentant que es reconeguin també partits associats a marques blanques sense el nom del partit principal). En tot cas, això és un sistema únicament destinat a eleccions municipals, així que fins el 2019, com a mínim, no en tornarem a parlar gaire…

Entre la resta de millores d’enguany hi ha un sistema encara més eficient de generació dels arxius HTML amb resultats per a poder-los servir el més ràpid possible -durant l’escrutini vam batre rècords que no havíem vist en pàgines en català de peticions per segon-, moltes millores en la descàrrega i importació de dades (bàsicament a base de macros). Perquè, com comentava abans, la descàrrega i desat de dades és molt manual: normalment en un web es van generant cada 3 minuts arxius comprimits (.gz i .tar.gz) que inclouen resultats globals i per municipi. Si és per unes municipals, a més, inclouen totes les circumscripcions i cal destriar les que interessen; tasca que enguany ens ha estat molt més fàcil i ràpida gràcies a les millores que hi vàrem treballar.

Conclusions pel futur: diversificació de visualitzacions

En resum, aquesta és l’evolució de gairebé cinc anys de millores en un sistema que hem anat desenvolupant, tenint en compte que els recursos d’un web en català no són els mateixos que els dels webs en castellà o anglès -ni econòmicament ni en termes d’infraestructura, per quantitat de visitants potencials que podrien “entendre’n” el contingut, o que els podria interessar.

Més enllà d’això, també hi ha les visualitzacions en forma de mapes, treballats ja el dia després i en base a la creació de fulles de càlcul (en format CSV) creuades amb eines com Google Fusion Tables i CartoDB, per exemple. En el meu cas particular, els mapes de distribució de vots de la CUP i ERC, per exemple, on el reconeixement de sigles de partits molt diferents però associades ens va ser molt útil, a més d’ajudar-nos a definir automàticament els colors de les gràfiques.

I el més apassionant de tot és que estem començant a descobrir possibilitats en un àmbit on des de fa anys no deixem de descobrir-n’hi. Tot està per fer, deien, i tot és possible. Però hi hem de posar una mica de paciència i moltes ganes d’aprendre, que aquest setembre probablement també hi haurà feina.

2 comments

  1. Molt interessant, Miquel. I gràcies pels links. No coneixia aquestes eines per a fer gràfics on-line. Només una pregunta: vist que de tant en tant Google abandona serveis importants sense previ avís, o que empreses/webs que semblaven molt estables desapareixen de la nit al dia, no et fa una mica de por tenir pàgines i pàgines depenenents d’un tercer que no controles? Per comptes d’enllaçar amb el seu gràfic, no seria més segur mostrar una imatge estàtica del gràfic (JPG, PNG…) per comptes d’un enllaç? En el cas dels mapes es perdria bona part de la seva funcionalitat, però en el cas dels gràfics no, em sembla.

  2. Gràcies, Ricard! Sobre el què comentes, si mai Google tanca el Charts (que darrerament ha anat mantenint i actualitzant) simplement canviarem les línies de codi on es fa la crida a la seva gràfica i hi posarem la nostra, a més d’acabar d’afinar disseny. No seria pas cap gran problema. Diferent seria si allotgéssim dades allà (com els mapes de cartoDB), però com que també mantenim còpies dels CSV de dades sempre es poden acabar migrant a algun altre servei i canviant els tags que els incoguin.

Leave a comment

L'adreça electrònica no es publicarà. Els camps necessaris estan marcats amb *