Tilastointi - toivomuksia

Voisiko tilastolistauksiin saada piirteitä, jotka luovat positiivista kilpailua havaitsijoiden välille? Esimerkiksi havaitsijoittan havaintojen lukumäärät. Tämä pitäisi olla myös suodatettavissa ajanjaksoittain, eli kuka raportoi eniten havaintoja, lajeja, ja yksilöitä perhosista vuonna 2016.

Myös lajeittain vosi olla tilastoja. Kuinka monta havaintoa, yksilöä on kustakin perhoslajista vuodelta 2016?

Yms.

Hakutoiminnossa on geneerisiä tilastointiominaisuuksia, joita niitäkin kehitetään eteenpäin. Havainnoimaan kannustaminen on tärkeää, ja tästä onkin saatu ehdotuksia aiemminkin, mm. ruutu/kunta/maakuntapinnalistoja on ehdotettu. Henkilökohtaisia tilastoja tehdessä täytyy pitää myös tietosuoja mielessä - tämän takia havaintoja ei voi hakea henkilöiden nimillä.

Lajikohtaisia havaintomäärätilastoja saa jo, esim. perhoset viime vuodelta: https://beta.laji.fi/observation/species?informalTaxonGroupId=MVL.31&time=2016-01-01%2F2016-12-31&page=1

Lisäksi avoimen rajapinnan (https://api.laji.fi) varaan voivat muutkin rakentaa tilastotoimintoja. Kilpailutilastot voisivat olla sopivia tällä tavalla toteutettaviksi, koska harrastajilla lienee parempi tuntemus millaisia niiden kannattaa olla. Mutta löytyykö osaavia tekijöitä?

Kait sentään haun saa omiin havaintoihinsa kohdistettua? Sitäpaitsi tuo tarkoittaa omien havaintojen keräileminen ja tarkastaminen muuttuu erittäin vaikeaksi, jos niitä havaintoja on eri henkilöiden tallettamana. Esimerkkinä tuosta on seuran ilmoituslomakkeiden perusteella tekemät havainnot kontra omat suorat tietokantailmoitukset samoista yksilöistä. Niin kaun kuin Virtalan kanta toimii, pääsee tuohon käsiksi, mutta…

Pian kyllä (tälle on jo tuki tietokannassa, mutta ei vielä käyttöliittymää.), mutta muiden henkilöiden havaintojen etsimistä varten ei tehdä ominaisuutta hakutoimintoon.

Havainnot kai ovat kuitenkin pääsääntöisesti julkisia. Sama pätee tällöin havainnoijaankin, jos tuota tietoa ei ole erityisesti kielletty näyttämästä. En ymmärrä, miten tietosuoja tähän liittyy?

Tässä on pari eri asiaa. Kysyin tilastoinnista. Kuinka monta havaintoa kukin on tehnyt milloinkin ja millä karkealla alueella. Tätä voi verrata verokalentereihin, jotka ovat julkista tietoa.

Kysymys siitä, kuinka monta lajia joku on havainnut ja missä liikkunut menee bongauksen puolelle. Varmaan lintuharrastajat voivat kommentoida sitä kysymystä. Mutta kyllä ainakin perhosharrastajat julkaisisivat tämänkin tiedon mielellään.

Hyönteistietokannassa nämä asiat ovat/olivat nähtävissä siisteissä taulukoissa Valitettavasti niitä tilastoja ei ole päivitetty noin viiteen vuoteen.

Jos vielä jatkan, havaitsija voinee antaa luvan datansa esittämiseen tai nimen karkeistamiseen. Tämän voisi ehkä merkitä käyttäjäprofiiliin valinnaiseksi. Silloin hänen tietonsa näkyisivät nimellä tilastossa. Jos valintaa ei ole tehty, listassa näkyy vain “havaitsija NN”.

Tässä on paljon kehittämisen mahdollisuuksia. Kunnollista somen ja julkisten tietokantojen yhdistelmää ei ole vielä nähty. Minua kauhistuttaa se, että maalle uudet lajit ym ilmoitetaan nykyään Facebookissa. Pannaan paremmaksi!

Juu, kyllä havaintojen ja lajien haku havainnoijan nimen perusteella olisi merkittävää plussaa näin vakavan harrastajan näkökulmasta. Sen jälkeen voi kehittää noita pinnatilastoja. Ne innostavat varmasti niin lintubongaajia, perhosharrastajia kuin muidenkin ryhmien harrastajia ja tutkijoita.

Moni kaipaa varmasti lisää perusteluja tälle henkilökohtaiselle tietosuojalle. Kyllähän havainnoijan nimi löytyy niin Hatikan, Tiiran kuin Hyönteistietokannan havainnoistakin, miksei jatkossakin? Täällähän on jonkinlainen “kaveri-järjestelmä” olemassa. Olisiko sitten edes kavereiden havaintojen haku ja vertailu mahdollista, jos tästä tietosuojasta pidetään kynsin ja hampain kiinni?

Matias

Tietosuoja on monimutkainen ja -tulkintainen asia, jota on muissa yhteyksissä (esim. Google vs. tietosuojavaltuutettu) puitu oikeusistuimissakin. Vihkon kautta havaintoja ilmoittaneilla on mahdollisuus salata nimensä havaintoerän tallennuksen yhteydessä. Suurin osa Lajitietokeskuksessa olevasta havaintodatasta tulee kuitenkin muista järjestelmistä, joissa ei välttämättä ole tällaista salausmahdollisuutta. Siksi olemme lähteneet liikkeelle turvallisemman kautta, eli nimen käyttö hakukriteerinä ei ole mahdollista.

Data itsessään on kuitenkin avointa rajapinnan ja tiedostolatauksien kautta, käytettäväksi erilaisissa ulkoisissa sovelluksissa. Havainnoijan nimi myös näkyy yksittäisissä havainnoissa, ja sen avulla voi aggregoida dataa tilastoesityksiä varten (esim. havaintojen määrä per henkilö).

1 tykkäys

Omien havaintojen haku on ehdottoman tärkeä ominaisuus! Myös omien ilmoitusten (siis havainnot, jotka joku muu on tehnyt, mutta minä ilmoitan) haku olisi tärkeä. Nämä pitäisi myös pystyä erottamaan toisistaan, kuten esim. Tiirassa nyt.

Hyönteistietokannan laji/havainnoijakohtaiset taulukot olivat kyllä kiinnostavia, eikä haittaa vaikka samanmoisia saisi tähänkin järjestelmään. Hakua havainnoijan nimellä en kaipaa, mutta tällainen kooste voisi olla hyvä.

Onkos eri lajiryhmille (esim. perhoset) tulossa omia erillisiä “omat havainnot”-listauksiaan? Esimerkiksi itse haluaisin listata erikseen vaikkapa perhoshavaintoni.
Eikö tosiaan Hyönteistietokannan käytäntöä, jossa halutessaan on voinut salata havaitsijan, voi jatkaa Laji.fi:ssä niin, että havaitsijan nimi olisi yksi julkinen hakutekijä muiden muassa tarvittaessa vaikka niin, että ne tietolähteet, jotka eivät tätä tue, jätetään hakutuloksesta pois? Puolivakavasti sanottuna havainnoitsijoiden välinen leikkimielinen kilpailuhan on yksi tämän(kin) harrastuksen suoloista. Mitäs sitten tehdään, kun ei pysty vertailemaan kaverin lajimäärää omaansa…

Näin Vihko ja Laji.fi tulevat myös toimimaan.

Hakutekijäksi nimeä ei ole tulossa (tai ainakin asia harkitaan huolella, joskus myöhemmin), mutta tilastointeja voi nimen perusteella tehdä

Esim. jo nyt rajapinnan kautta voi hakea havainto- tai lajimäärän per henkilö, mutta ei luetteloa henkilön NN havainnoista luettelona tai kartalla (josta näkisi missä hän on milloinkin liikkunut).

Saadaanko muuteen Vihkoon ympättyä havainnoijan vanhoja havaintoja? Esim. Hatikasta ja Hyönteistietokannasta tuotuja. Siis siten, että ne saisi kaikki haettua omalla nimellä?

Siinäpä tulikin yksi olennainen kysymys. Hommasta menee kyllä mielenkiinto, jos jatkossa menevät kaikki aiemmat omatkin havainnot hakukelvottomiksi. Niitä on aika kauan järjestelmään kartutettu.

Havaintojen siirto olisi kätevää saada tehtyä suoraan api-rajapinnan avulla. Tällä hetkellä /warehouse/push-toiminto ei kuitenkaan ole käytettävissä. Olisi myös hyödyllistä tietää, millä tavoin Hyönteistietokannan tietokentät tällä hetkellä siirretään laji.fi-tietokannan eri kentiksi.

Meillä on täydet valmiudet Hatikan, virtalan ym. järjestelmissä käytettävien käyttäjätunnusten linkittämiseksi. Tavoite siis on, että kun käyttäjä on käynyt Lajitietokeskuksen käyttäjätilissä liittämässä tietoihinsa Hatikan ym. järjestelmien käyttäjätunnuksen, myös ko järjestelmien havainnot näkyvät “omat havainnot” -haussa.

Joo, samaa mieltä, että Vihkon kautta pitää voida selata ja mielellään muokata omia havaintojaan.

Yksi vaihtoehto on tietysti ottaa omat Hyönteistietokannan havainnot Exceliin ja tallettaa uudelleen Vihkoon. Sen jälkeen poistaa ne tietokannasta. Lisäduunia siinä toki on.

Tuon voisi tehdä ohjelmallisesti, jos api-rajapinta tukisi havainnon talletusta.

Vihkon kautta ei vuo muokata muiden tietokantojen tietoja, mutta ainakin Hatikan ja todennäköisesti myös Hyönteistietokannan tiedot siiretään jossain vaiheessa Vihkoon, jolloin ko palvelut suljetaan ja tietojen muokkausta jatketaan Vihkossa.

Tämä siis hiukan pidämmällä aikavälillä – sillä välin teemme mahdollisuuden kuitenkin hakea “omia tietoja” eri järjestelmistä.

Sehkä Vihkon api että tietovaraston /push -api ovat molemmat täysin toiminnallisia ja käytössä, eli niiden avulla voi tallentaa havaintoja Vihkoon ja lähettää muista lähteistä dataa tietovarastoon.

Dokumentaatio rajapintojen käytöstä on tulossa kuluvan kahden viikon kehitysjakson aikana. Kuka tahansa ei kuitenkaan voi puskea dataa tietovarastoon, vaan api-key tarvitsee erityiset oikeudet. Mitä dataa haluaisit lähetellä? Asiasta on syytä jatkaa mailitse.

Näissä tapauksissa datan siirto uuteen järjestelmään ei tuottane ongelmia. Entä ne tapaukset joissa tuota linkitystä ei ole siirtohetkeen mennessä tehty? Voiko sen vanhan lähteen, käyttäjätunnuksen ja salasanan pitää tallessa näissä “orvoissa” havainnoissa, jolloin linkitys jälkikäteen olisi mahdollinen, jos käyttäjä sattuu löytymään?