Uutta Vihkossa ja beta.laji.fi:ssa

Lajitietokeskus Havaintopalvelu Vihko
1

Lajitietokeskuksen uusi portaali beta.laji.fi ja Vihko-havaintopalvelu julkaistiin juuri ennen joulua. Tammi-helmikuussa näihin on tehty joukko uudistuksia:

Havaintoerän katselutoiminto, jolla näkee tarkat tiedot havainnoista ja muista havainnoista. Tähän pääsee havaintohaun havaintoluettelo-välilehdeltä jokaisella havaintorivillä olevasta sinisestä ikonista.

Havaintohakuun lisää rajaustyökaluja:

  • Lähdejärjestelmä
  • Valtio
  • Eliömaakunta
  • Kunta

Uusia kenttiä havaintojen tietoihin:

  • Pyydystystapa
  • Kasvin elinvaihe
  • Luonnonvaraisuus

Pieniä muutoksia havaintojen tallentamiseen, jotta havaintojen tallennus olisi sujuvampaa

  • Pikanäppäimiä havaintopaikkojen ja havaintojen käsittelyyn
    • insert lisää uuden paikan/havainnon ja siirtyy siihen
    • ctrl + delete poistaa käsiteltävän paikan/havainnon
    • ctrl + enter siirtyy seuraavaan paikkaan/havaintoon
  • Kenttiä järjestetty uudelleen niin että taksonin jälkeen tulvat määrä ja lisätiedot. (Määrä-kenttä on vapaatekstikenttä, josta luvut puretaan automaattisesti omaan lukumääräkenttäänsä. Esim. merkintä 2/3p, 4m, puretaan lukumääräksi 9)
  • Taksoninimen autocomplete-toimintoa parannettu ja pieniä bugeja korjattu, mm. nimen kirjainkoolla ei ole enää väliä

Retkilomakkeen käyttöohje kertoo havaintojen tallentamisesta tarkemmin.

Lisäksi on tehty joukko pikkuparannuksia ja bugikorjauksia sekä viety kätköpistiäisten sekä kiilu- ja paljepistiäisten nimistöt taksonitietokantaan.

Visake-hanke (Vieraslajien varhaisvaroitus- ja seurantajärjestelmän kehitys ja tahattomien leviämisväylien hallinta) lähenee loppuaan. Lajitietokeskus on viimeistelemässä järjestelmiä, joiden kautta voi ilmoittaa vieraslajihavaintoja (Laji.fi:n Vihkon kautta), sekä tulevan viranomaisportaalin kautta kirjata torjuntatoimia, arvioida torjunnan tehokkuutta, sekä tarkkailla havaintoja Suomeen mahdollisesti leviävistä uusista vieraslajeista. Järjestelmät täyttävät EU:n vaatimukset vieraslajien seurannasta ja tiedonvälityksestä valtioiden välillä.

Seuraavaksi tekeillä on mm. sieniatlashankkeelle mukautettu havaintolomake (nyt testikäytössä) ja lintujen linjalaskentalomake. Teknisempiä kuvauksia tekeillä olevista asioista pääsee seuraamaan Pivotaltracker-palvelussa.

Havaintoerän katselutoiminnossa talvilintureitin tuloksia:

1280×867 168 KB

2

Kävin selaamassa läpi tulevia kehityskohteita ja iceboxia pivotaltrackerista, enkä havainnut minkäänlaista merkintää Suomen Perhostutkijain Seuran esittämien tarpeiden toteuttamiseksi. Nyt järjestelmä näkyy kehittyvän mm. lintulaskentojen ja sieniatlaksen tarpeisiin.

Ollaanko järjestelmää kuitenkin kehittämässä myös perhos- ja hyönteisharrastajien/-tutkijoiden toiveiden suuntaan ja millä aikataululla, jos ollaan? Vai ovatko neuvottelut siltä osin vielä kesken? Hyönteishavainnot ovat kuitenkin jo nyt se Lajitietokeskuksen 3. suurin havaintojoukko (yli 5 miljoonaa) heti lintujen ja kasvien jälkeen, ja siellä on paljon käyttämätöntä potentiaalia odottamassa uutta rajapintaa havaintojen syötölle.

Esim. minä kirjoitin jo pitkän viestin erilaisia kehitysideoita tähän ketjuun.

Oli siellä pivotaltrackerissa toisaalta mainittu päiväperhosseurannan (Nafi) lomake ja tulossivu, joten ne voidaan laskea hyönteisharrastajille suunnatuksi kehitykseksi, vaikka ne onkin suunnattu vain pienelle osalle laajaa joukkoamme. Siitä piste. :+1: :slight_smile:

3

Hakutoiminnoista ainakin osan voinee tehdä muuallakin kuin lajitietokeskuksen toimesta. 10x10km2-ruudusta puuttuvia lajeja voi selata seuraavasti:

1127×726 283 KB

/warehouse/query/aggregate- ja /warehouse/query/list-toimintoihin pitäisi saada personToken-filtteri, jolloin omien havaintojen haku eri kriteerein olisi mahdollista.

4

Tallennuslomake

Kun nyt (suhteellisen harvalukuinen) sieniharrastajien joukkokin on saamassa oman tallennuslomakkeen, niin sellainen kai voitaisiin tehdä myös hyönteisharrastajille. Helpoimmin tämä kävisi siten, että ‘Biotooppi’, ‘Biotoopin kuvaus’ ja ‘Keruumenetelmä’-kentät siirrettäisiin Vihkon lomakkeella ‘Havainnot’-osioista ‘Paikka’-osioon. Ohessa on kuva Hyönteistietokannan tallennuslomakkeesta:

998×789 332 KB

Valtaosa hyönteishavainnoista tehdään tietyiltä paikoilta tietyllä keruumenetelmällä (valopyynti, ansakuopat, ikkunaloukut, jne.) Nämä tiedot eivät kuulu yksittäiseen havaintoon vaan pikemminkin ‘Gathering’-osioon.

Havaintopaikkojen haku

API-rajapinnan puute on, että pelkkiä ‘Document & Gatherings’-tietoja ei voi hakea erikseen. Kun Hyönteistietokannan tallennuslomakkeella kirjoittaa tekstiä ‘paikka’-kenttään, järjestelmä esittää valintalistan ko. paikalta tehdyistä keräyksistä (eli hakee paikan ‘Gatherings’-luettelon):

1000×789 415 KB

Valinnan jälkeen tiedot saa lomakkeelle automaattisesti:

999×790 347 KB

Laji.fi-scheman mukaan ‘habitatDescription’-kenttää voi käyttää sekä ‘gathering’- että ‘unitGathering’-osioissa (http://schema.laji.fi/property/MY.habitatDescription), joten biotooppitietojen siirtämisen ylemmäs paikka-osioon ei pitäisi tuottaa ongelmia.

Ajattelin lähiaikoina tehdä ohjelman, joka siirtää omat havaintoni Hyönteistietokannasta Vihkoon. Ainakin niissä havainnoissa habitaattitiedot sisältyvät ‘paikka’-osioon. Jos Vihkon tallennuslomake pysyy entisellään, en sitten ilmeisesti voi muokata havaintojani Vihkon lomakkeella?

Havaintojen lähettäminen tiedostona

API-rajapinnan puutteena on myös se, että sen kautta ei voi lähettää yksittäistä havaintoa, vaan palvelimelle pitää lähettää kokonainen dokumentti, joka siis sisältää kaikki tietyltä paikalta tehdyt havainnot. Tämä ei ole käytännöllistä, jos tarkoitus on muokata yksittäisen havainnon tietoja. Jos API:n kautta olisi mahdollisuus lähettää yksittäisiä havaintoja, niin havaintojen lähettäminen tiedostonakin olisi varsin helppo toteuttaa. Riittää, että käyttäjän ohjelma lukee ensin paikallisen havaintotiedoston ja lähettää sen jälkeen havaintorivit yksi kerrallaan tietokantaan. Tällöin palvelimen päässä ei välttämättä tarvittaisi erillistä toimintoa havaintotiedoston käsittelyyn.

5

Moi,

Habitat muuttuja voitanee pistää myös Vihkossa paikan tietoihin rattaan taakse.

Kaikki saman paikan havaintoja ei ole pakko lähettää samassa Documentissa, eikä misssään tapauksessa kannatakkaan (voisi tehdä aika hankalaksi ko dokumentin muokkauksen). Jos ja kun Hyönteistietokannan havainnot ovat tallennettu yksittäisinä riveinä, suositteleisin oman Documentin luomista jokaisesta rivistä. Eli jokaisessa Documentissa on yksi Gathering ja sen alla yksi Unit.

6

Tällä hetkellähän Hyönteistietokannan havainnot luetaan juuri yksittäisinä dokumentteina. Minusta on parempi koota samalta paikalta tehdyt Hyönteistietokannan havainnot ensin yhteen, ja tallettaa ne sitten Vihkoon omana gathering-osiona. Tällä tavoin havainnot saadaan flat-rakenteesta takaisin siihen tilanteeseen, missä ne on oikeasti tehtykin, ja samalla ne sopivat myös paremmin Vihkon tallennusmalliin.

Ihan lähiviikkoina en ryhdy tuota siirtoa suunnittelemaan, hakutoiminnoissa riittää vielä tekemistä. Jos saan systeemin toimimaan, niin ilmeisesti alkuperäinen havainto pitää sitten poistaa Hyönteistietokannasta, jotta hakutuloksiin ei ilmesty kaksinkertaisia havaintoja.

Itse laittaisin myös keruumenetelmän paikan tietoihin (ks. perustelut yllä). Yleensä jos keruutapa muuttuu (esim. seulonta, kenttähaavin käyttö, yms.), niin tällöin paikkakin on yleensä toinen.

Mielelläni tekisin havaintoja varten omankin tallennuslomakkeen, siihen voi sitten tehdä monenlaisia ‘paikallisia’ lisäyksiä tallennusta helpottamaan. API:n tarjoama gathering-listaus (annetuin hakuehdoin) olisi hyödyllinen. Listaus pitäsi tietysti saada koskemaan vain omia havaintoja. Jos yksittäisen havainnon haluaa editoitavaksi, siihen ehkä riittäisi sitten ladata vastaava gathering-osio ja poimia havainto sieltä.

7

Juu, samalta paikalta samana päivänä olevat havainnot kannattaakin varmasti pistää samaan dokumenttiin. Mutta kun kirjoitit “pitää lähettää kokonainen dokumentti, joka siis sisältää kaikki tietyltä paikalta tehdyt havainnot” niin tämähän ei pidä paikkaansa, vaan voi vapaasti valita millaisina kokonaisuuksina datansa Vihkon käyttöliittymääkin käyttäen haluaa tallentaa.

Vihkollahan periaatteessa voisi ilmoittaa kaikki koko elämänsä havainnot käyttäen yhtä ja samaa dokumenttia, johon aina lisätään uusia Gatheringeja (paikkoja ja aikoja).

8

Se, miten yksittäisen havainnon voi ohjelmallisesti lähettää tietokantaan, on minulle vielä hieman epäselvää. Pelkkää unit-yksikköä ei varmastikaan voi lähettää, vaan mukana on oltava tieto siitä, mihin dokumenttiin ja gathering-yksikköön ko. havainto kuuluu. Voinko siis lähettää ‘kokonaisen dokumentin’ siten, että siinä on document- ja gathering-tietojen lisäksi mukana vain tuo yksi uusi havainto, jonka palvelin sitten lisää annetun dokumentin muihin havaintoihin? Yksinkertaisinta olisi, jos havainto olisi mahdollista lisätä muodossa

{ "documentId": "...", "gatheringId": "...", "unit": { havainnon tiedot } }

9

Hieno juttu, Matti, jos saat tehtyä ohjelmanpätkän, jolla omat hyönteistietokannan havainnot saa siirretyä Vihkoon siinä muodossa, että samaan havaintoerään kuuluvat havainnot ovat yksi Gathering.

Ainakin minua kiinnostaisi siirtää myös omat havaintoni. Tämä myös siksi, että haluaisi pystyä tekemään laji.fi palvelua käyttäen tilastointeja ja hakuja kaikkiin omiin havaintoihin riippumatta kumpaan järjestelmään havainnon on alunperin tallentanut: Vihkoon vai hyönteistietokantaan. Ja se onnistuu varmuudella, jos hyönteistietokantaan tallennetut havainnot on siirretty Vihkoon järkevässä muodossa, eli havaintoerä Gathering kenttään koottuna.

Toisaalta askarruttaa se, että johtaako tietojen kopiointi Vihkoon turhaan datan duplikointiin ja ongelmaan, jossa kumpaankin järjestelmään syötetty havainto näkyy ulos kahtena erillisenä havaintona.

T : Ilmari

10

Olettaisin, että jos havainnot saa ongelmitta siirrettyä Vihkoon, niin ne voi/täytyy sen jälkeen poistaa Hyönteistietokannasta. Jos ja kun Hyönteistietokanta jossain vaiheessa poistetaan käytöstä, olisi hyvä, jos havainnot on sitä ennen saatu siirrettyä Vihkoon järkevällä tavalla (ei siis siten, että jokainen havainto olisi oma dokumenttinsa).

Hieman on hankalaa tuota havaintojen siirtoa kehitellä, kun Vihkon toiminnasta ohjelmatasolla ei näin ulkopuolisena ole kovin tarkkaa tietoa…

12

Havaintoja ei kannattane siirtää Hyönteistietokannasta Vihkoon käyttäjä kerrallaan tai erillisellä sovelluksella, vaan sujuvimmin se onnistuisi keskitetysti täällä Luomuksessa. (Molempien järjestelmien datat ovat jo Luomuksen tietokantapalvelimilla). Samalla käyttäjien tunnukset voitaisiin linkittää niin että omat havainnot ovat omassa käytössä riippumatta kumpaan ne on tallennettu, eikä duplikaattejakaan synny. Tätä ei kuitenkaan ihan pian päästä tekemään.

Hyönteistietokannan havainnot näkyvät jo beta.laji.fi:n hauissa ja ne ovat ladattavissa tiedostona, joten tilastointeja pääsee tekemään jo nyt. Omien havaintojen hakutoimintoa ei vielä ole olemassa, mutta siihen on varauduttu ja se on tulossa. Samaten lataaminen Vihkoon tiedostona on suunnitteilla, mutta toteutustapaa ei ole vielä päätetty (esim. miten havainnot niputetaan niin että jokaisesta ei tule omaa havaintoerää eli dokumenttia.)

13

Kehityksen vaiheista vielä: Alkuvuoteen on nyt pakkautunut hankkeita, jotka ovat työlistalla ensimmäisinä mm. ulkopuolisille rahoittajille tehtyjen lupausten vuoksi (mm. Sieniatlashanke). Näiden jälkeen päästään paremmin paneutumaan muihin osa-alueisiin. Portaali on kuitenkin edelleen beta ja testikäytössä, eikä se valmistu ennen tämän vuoden maastokautta (sikäli miten tietojärjestelmä voi ikinä olla “vamis”). Ominaisuuksia kuitenkin lisätään koko ajan.

SPS:n ja hyönteisharrastajien esiin tuomista ominaisuuksista tekeillä on annotointiominaisuudet laadunvalvontaan (aloitettu osana Visake-hanketta), omien paikkojen tallennus (aloitettu osana lintujen linjalaskentaa) ja suunnitteilla datan tiedostolataus Vihkoon. Myös havaintohakua ja tallennusta laajennetaan monipuolisemmaksi pala palalta.

1 tykkäys
14

Minulla olisi kyllä tuo siirto-ohjelma jo suurinpiirtein valmis… Olennaisin asia havaintojen siirrossa on se, miten luetuista Hyönteistietokannan havainnoista saadaan muodostettua järkeviä Gathering-yksikköjä. Keruumenetelmänkin arvot pitää samalla muuttaa siihen arvojoukkoon, mikä Vihkossa on tarjolla. Sama koskee havaintotapaa. Tulin siihen tulokseen, että paras lopputulos saadaan, kun prosessissa on tiettyjä manuaalisia vaiheita, joiden avulla muunnosta voidaan ohjata. Tämä teettää hieman lisätyötä, mutta lopputulos on parempi.

Uskoakseni tämä ei mitenkään sekoita Lajitietokeskuksen omia havaintojen siirtoon liittyviä suunnitelmia, vaan tuo kehittelemäni ratkaisu on vain yksi mahdollinen vaihtoehto. Se ei tosin tarvittavien manuaalisten muunnosvaiheiden takia sovi kovin hyvin yleiseen käyttöön.

15

Henk koht en näe esteitä että “ulkoistamme” tiedon siirron sinulle, mutta kaikki yksityiskohdat pitää ensin tietenkin käydä läpi ja ratkoa nuo mainitsemasi pulmat.

Mitä tulee yksittäisten havaintojen lisäämiseksi dokumenttiin, tällä hetkellä yksi dokumentti tallennetaan aina kokonaisuutena, eikä siihen voi lisätä paloja. Siirtoohjelman pitäisi siis käydessään datoja läpi tuottaa kokonaisia dokumentteja ja sitten lopuksi lähettää ne LajiStoreen (=Vihkon tietokanta =api.laji.fi/document)

16

Kokonaisia dokumentteja olen ajatellutkin lähettää. Prosessin ‘käsityövaihe’ tarvitaan, että kaikenlaiset ‘ansakuopilla’, ‘seulomalla’, ym. arvot saadaan muutettua muotoihin ‘Kuoppapyydys’, ‘Seulonta’, jne. Itselläni on myös mm. pyyntitapa ‘vesihaavilla’, mutta varsinaista vesihaavi-menetelmää ei laji.fi tunne, vaan on käytettävä arvoa ‘Haavi’. Jos koko prosessi tehdään täysin automaattisesti, niin tämänkaltaisissa muunnoksissa saattaa ilmetä ongelmatilanteita.

Siirto-ohjelma tulee toimimaan tekeillä olevan uuden MyInsects-ohjelman osana. Ohjelma toimii Windows-ympäristössä, joten jo se jättää osan käyttäjistä tämän ratkaisun ulkopuolelle. Toinen seikka on se, että muodostettavan dokumentin hierarkia on sellainen, jossa biotooppi- ja keruumenetelmätiedot pääsääntöisesti sisältyvät paikka-osioon. Ainakaan tällä hetkellä noita kenttiä ei voi käyttää Vihkon lomakkeen paikka-osiossa. Tästä seuraa, että havaintoja ei voi myöhemmin muokata Vihkon kautta. Itselleni tuo ei tuota ongelmia, koska teen ohjelmaan oman toiminnon havaintojen mahdollista editoimista varten.

Koska laatimani siirto-ohjelman käyttö ei tule onnistumaan pelkästään yhtä nappia painamalla, niin luulisin, että monet käyttäjät jäävät odottamaan Lajitietokeskuksen ratkaisua ongelmaan. Ohjelma ei myöskään tue alle Full HD-näyttöresoluutiota, joten jos sitä aikoo ylipäätään käyttää, niin kannattaa käväistä ostamassa nykyaikainen kannettava…

17

Oheisessa linkissä on kuvattu MyInsects-ohjelmassa käytetty ratkaisu. Se perustuu siihen, että omat Hyönteistietokannan havainnot kopioidaan omalle koneelle ja muunnetaan Vihkon käyttämään havaintomalliin. Sen jälkeen ohjelmalla voi tehdä hakuja samanaikaisesti sekä Hyönteistietokannan että Vihkon havaintoihin, koska ne molemmat käyttävät samaa havaintoformaattia.

http://insects.fi/MyInsects4.0/userguide/userguide.html#4

1 tykkäys
18

Hyvältä vaikuttaa!

Tulipa mieleen noista keruumenetelmistä, että onko niitä mahdollista tarkentaa johonkin vapaatekstikenttään? Tai mihin niitä olisi järkevin tarkentaa? Jos ajatellaan, että keruumenetelmänä on vaikkapa Light (“Valo”) tai LightTrap (“Valoansa”, jonka sijaan näkisin ehkä mieluummin termin “Valopyydys”), niin jonnekin voisi kirjata, että se oli esim. 160W sekavalo tai 2x20W putkivalo eikä 1000W elohopeahöyrylamppu. Tällä tiedolla on merkitystä etenkin, jos halutaan pitää pyyntitapa tietyllä paikalla vakiona, kuten vaikkapa yöperhosseurannassa.

Onko tällaiseen metadataan tarkoitus käyttää Lisätiedot-kenttää?

19

Varmaankin Lisätiedot-kenttää voi käyttää tuohon tarkoitukseen. Vihko tallettaa esim. keruumenetelmän koodattuna arvona, siis esim. ‘Valoansa’ talletetaan arvona ‘MY.samplingMethodLightTrap’, Tämä tarkoittaa sitä, että käyttäjä voi määritellä tiedostossa ‘samplingmethods.json’ termin ‘Valoansa’ myös jollakin muulla arvolla, vaikkapa ‘Valopyydys’. Suomenkielisiä arvojahan käytetään vain tietoja syötettäessä ja tulostettaessa. Tähän kyllä tarvitaan sitten vielä toinen käyttäjän muokkaama muunnostaulukko, koska tällä hetkellä suomenkielisten termien ja talletettujen arvojen vastaavuudet on määritelty ohjelman sisäisesti.

20

Yksittäisen näytteen havaintoja voi tällä hetkellä selata seuraavasti:

1272×961 299 KB

Valitettavasti ainakaan itselläni ei juurikaan ole havaintopaikkojen kuvia käytettävissä :frowning:

21

766×635 95.3 KB

Määrittelytiedostojen muokkaamiseen ei ole tulossa tuon käyttäjäystävällisempää keinoa :slight_smile: