Milloin havainto on luotettava?

[mikko]

Havainto- ja kokoelmanäytetietojen luotettavuuden määrittelyä Lajitietokeskuksen tietovarastossa uudistetaan samalla kun laadunvalvonnassa käytettävää kommentointijärjestelmää uudistetaan. Ajatuksena on että luotettavuuden ilmaisemiseen käytetään jatkossa nykyisen yhden kentän sijasta useampaa kenttää, ja että tietoaineiston luokitus ei automaattisesti merkitse havaintoja varmoiksi (mikä nykymenetelmässä on herättänyt kritiikkiä). Näin käyttäjillä on mahdollisuus halutessaan suodattaa havaintoja nykyistä tarkemmilla ja heidän käyttöönsä paremmin sopivilla kriteereillä.

Monipuolisten luokittelujen lisäksi kuitenkin tarvitaan tapa jakaa havainnot yksinkertaisesti “luotettaviin” ja “muihin”. Tätä tarvitaan esim.

• Luotettavien havaintojen näyttämiseen karttanäkymässä poikkeavalla värillä
• Luotettavien havaintokuvien tai muiden mediatiedostojen näyttämiseen lajisivuilla
• Yksinkertaisen suodatusmahdollisuuden (“näytä vain luotettavat”) tarjoamiseen niille, jotka eivät halua perehtyä asiaan tarkemmin

Mutta millä perusteilla havainto voidaaan lukea luotettavaksi? Mikä on riittävän varma, jotta sen voidaan sanoa olevan luotettava? Mitä asioita luotettavuuden määrittelyssä pitää ottaa huomioon?

Toivoisin tähän nyt mielipiteitä ja etenkin perusteluita myös teiltä tämän foorumin käyttäjiltä.

Meillä on alustava suunnitelma luotettavuuden määrittelystä, mutta en kuvaile sitä tässä, jotta saatte ensin kertoa oman näkemyksenne asiasta. Kysyn mielipiteitä myös mm. Lajitietokeskuksen kumppanien edustajilta, ja teen myöhemmin näistä pienen yhteenvedon.

Mikko / Lajitietokeskus

[harrynystrom]

Luotettavuus on vaikea ja monitahoinen asia, joka ennen kaikkea on sidottu aikaan. Lisäksi eri lajiryhmissä on aivan erilaisia perusteita arvioida havainnon luotettavuutta johtuen tunnetuista määritysperusteista.

En vielä osaa luoda selkeää mielipidettä asiasta, mutta ajattelin kuitenkin lyhyesti tuoda pari asiaa esiin ‘food for thought’ -periaatteella:

1. Havainnoitsijan luotettavuus. Jos tunnettu perhosasiantuntija kirjataan luotettavaksi havainnoitsijaksi, se ei tarkoita, että hän on luotettava myös muissa lajiryhmissä, vaikka olisikin.
2. Havainnon luotettavuus. Vaikka havainnon tekisi luotettavaksi kirjattu taho, mutta havainto ei istu esim. sijainnin, ajankohdan tai kuvauksen perusteella lajin elintapoihin, havaintoa ei voi automaattisesti luokitella luotettavaksi.
3. Luotettavuus käsitteenä ei ole binäärinen. Ei ole ainoastaan vaihtoehtoja luotettava ja epäluotettava, vaan jonkinlainen analoginen skaala luotettavasta epäluotettavaan.
4. Luotettavuuden arvioinnin merkitys. On vähemmän merkitsevää kirjata virheellinen havainto yleisestä ja runsaslukuisesta lajista kuin harvinaisesta ja harvalukuisesta lajista. Tällöin myös painotus olisi hyvä olla juuri näissä lajeissa, joiden virheelliset havainnot vääristävät merkittävästi havaintodataa.

Esimerkiksi periaate, jossa lajityöryhmä ylläpitää omaa luetteloaan havainnosta, jotka se luokittelee luotettaviksi on hyvä, mutta se ei saisi olla ainoa kriteeri, sillä se on hidas ja kankea ja riippuvainen lajityöryhmän aktiivisuudesta sekä olemassaolosta. Sen rinnalla tulisi olla yksi tai useampi muu luotettavuuden kriteeri.

Lisäksi oleellista olisi luoda esim. aikaan, paikkaan, lajiin, lukumäärään ja kehitysasteeseen sidottuja suodattimia, joiden perusteella havaintoja siirtyy tarkastettavaksi erilliselle tarkastuslistalle. Lisäksi joillekin “luotettaviksi” katsotuille henkilöille voisi antaa lisää oikeuksia vähän samaan tapaan kuin Tiirassa on annettu yhdistyskäyttäjille. He esim. eivät voi poistaa epäluotettaviksi katsomiaan havaintoja, mutta voivat estää niitä näkymästä hakutuloksissa. Joukkoistuksessa on kuitenkin voimaa ja sitä olisi mielestäni hyvä saada otettua käyttöön Lajitietokeskuksessakin.

Enempään ei ole aikaa, ehkä myöhemmin lisää. Vahva ehkä.

[Hokke]

@harrynystrom

On vähemmän merkitsevää kirjata virheellinen havainto yleisestä ja runsaslukuisesta lajista kuin harvinaisesta ja harvalukuisesta lajista. Tällöin myös painotus olisi hyvä olla juuri näissä lajeissa, joiden virheelliset havainnot vääristävät merkittävästi havaintodataa.

Tästä tuli ihan vain esimerkkilajina mieleen kangaskäärme. Tämän hetkisen ja aika varman tiedon mukaan lajia esiintyy vain Ahvenanmaalla (ja kai muutamilla sen lähisaarilla?), muttei missään nimessä mantereella vaikka näin on havaintoja kirjattu. Laji on hyvä esimerkki tästä Harryn mainitsemasta virheellisestä näkymästä. Kaikki matelijahenkiset tutkijat sekä harrastajat tietävät tämän nykykartan virheelliseksi. Kun kävin joku aika sitten nämä kaikki ilmoitetut havainnot läpi nousi esille valokuvan tärkeys. Osassa oli kuva mukana mistä laji oli helppo tunnistaa rantakäärmeeksi, ja näin ollen sain ne havikset käyttäjän laadunvalvonta-työkalulla pois kartalta. Valokuva on kova sana kansalaishavainnoissa ja muutenkin niissä tapauksissa missä esim näyte puuttuu. Kuva kertoo paljon ja usein laji voidaan kumota kokonaan kuten nyt. Sitten on toki nämä tapaukset missä kyseessä lajipari tai lajiryhmä (kuten sienillä). Silloinkin voi kommentoida kuvaa että hei, varmuudella tätä ei voida määrittää jne. Tammihiirestäkin taisi olla muutama melko tuore havis ilman kuvaa ja lajihan on jo luokiteltu hävinneeksi faunastamme. Oma tapa on ollut että ilman kuvaa tai näytettä en laita havaintoa. Mutta siitä tässä ei ollutkaan kyse vaan palvelun kehittämisestä. Jätän sen aiheen fiksummille ja jatkan kansalaisena harrastuksia

[esko.viitanen]

Asiaa sivuten. Nyt pystyy syöttämään sellaisen lajin virheittä, joka laji.fi lajikortin mukaan ei esiinny Suomessa syöttöhetkellä. Syöttöähän ei kannata estää, koska voi olla uusi laji Suomelle, mutta olisiko esim. joku varoitus paikallaan ?
Esimerkki: Lucanus cervus on laji.fi lajikortilla “Ei esiinny Suomessa”. Sen pystyy kuitenkin ilman varoitusta syöttämään varmana ja huomasin, että yksi havainto on kannassa tosin ei laji.fi kautta syötettynä.

t. Esko

[Henri_Koskinen]

Monta juttua tulee mieleen. Laitan tähän nyt ajatuksiani vain yhdestä teemasta taikka vinkkelistä ja mielessä siis sienet.

Tässä on tavallaan kaksi ulottuvuutta, varmuus ja luotettavuus.

Havainto on varma kun sen dokumentaatio on riittävä varmaan määritykseen. Toisaalta havainto on luotettava kun sen on tehnyt luotettavaksi määrittäjäksi arvioitu henkilö, dokumentaatiosta riippumatta.

Kun arvioidaan havainnon varmuutta katsotaan havaintoon kirjattuja tietoja kuvia etc. Kun arvioidaan havainnon luotettavuutta katsotaan kuka havainnon on ilmoittanut ja mietitään onko havainnoitsija luotettava. Havainnot ovat varmoja/epävarmoja/vääriä, havaitsijat ovat luotettavia/epäluotettavia/uskottavia etc. Tämä siis vähän karrikoidusti koska halusin tuoda havainnon varmuus/luotettavuus eron selkeästi esiin.

Pieni asiantuntijaporukka tuntee kaikki toisensa ja henkilöiden yleinen uskottavuus ja luotettavuus ja tunnettu osaaminen on se olennaisin juttu havaintoja arvioitaessa. Tässä systeemissä havainnot ovat sitten nimenomaan luotettavia.

Kun siirrytään avoimeen tietokantaan ja havaintoja ilmoitetaan ja dokumentoidaan suuren harrastajajoukon toimesta (esim. sieniatlakseen) ei tuo luotettavuusarvionti oikein enää toimi vaan pitää siirtyä havainnon faktojen arvioimiseen.

Sellainen toimintamalli jossa joidenkin puutteellisesti dokumentoidut havainnot hyväksytään ja toisten hylätään henkilöperusteilla ei mielestäni toimi tai ole hyvä toimntamalli avoimessa havaintotietokannassa. Kriteeristön jolla havaintoja arvioidaan järjestelmätasolla pitää olla selkeä ja yhdenvertainen ja perustua havainnon faktuaaliseen dokumentointiin. Havainto on varma kun sen dokumentaatio on riittävä varmaan määritykseen. Riippumatta siitä kuka havainnon on tehnyt. Havainnon luotettavuus ei kuulu tietojärjestelmän piiriin, vain sen varmuus kuuluu.

Tämä voi kuulostaa radikaalilta taikka (nyky-)käytännön vastaiselta, mutta suuri harrastajajoukko ja avoin tietokanta vievät melkeinpä automaattisesti tuohon uuteen suuntaan. Havainnoijia on paljon ja lisää tulee. Havaintoja ei enää voida arvioida henkilön kautta. Kuka on N.N,? Tunteeko hän kalvasryhäkkään? Ei väliä, havainto on hyvin dokumentoitu.

Tämä on avoimen järjestelmän suuri etu ja juuri se askel joka pitää ottaa kun siirrytään “vanhasta” pienen asiantuntijaporukan sienitieteestä tällaiseen avoimeen sieniatlakseen ja tietokantaan minne kuka vain voi ilmoittaa havaintojaan.

Lintupuolella historia meni samalla tavalla. Museovetoinen havainnointijärjestelmä muuttui harrastajavetoiseksi ja samalla havaintomäärät ja lintutietouden määrä lisääntyivät huimasti. Ensimmäinen lintuatlas oli tässä yksi suuri veturi. Tämä juna lähti liikkeelle siitä että harrastajat alkoivat kerätä ja julkaista havaintojaan avoimessa järjestelmässä. Sittemmin harrastajien ja ammattilaisten raja on liudentunut käytännössä pois. Nyt muutaman kymmenen vuotta avointa tietojärjestelmää ja Suomen linnusto tunnetaan milteipä läpikotaisin ja maa on täynnä toinen toistaan pätevämpiä lintuguruja. Sama polku voisi olla edessä sienipuolella. Kun havainnoitsijoiden ja havaintojen määrät kasvavat ei voida enää mennä henkilön uskottavuuden kautta vaan pitää mennä havainnon dokumentaation kautta.

Näin se pitääkin mielestäni olla. Havainnon hyväksymiseen saa vaikuttaa vain esitetyt faktat, siis maastomuistiinpanot, valokuvat, havainnon kuvaus, mahdolliset näytetiedot ja tiedot näytteiden analysoinneista etc., siis kovat faktat. Jos ilmoitetut faktat eivät riitä lajin varmaan määrittämiseen on havainnolla sitten joku muu varmuusstatus, kuten epävarma taikka neutraali.

[TapaniL]

Ilmaisu “luotettava havainto” on virkamiseslangia. Viranomaiset yleensä ilmoittavat haluavansa Lajitietokeskuksesta käyttöönsä vain “luotettavat havainnot”, koska niiden pohjalta tehdään erinäisiä hallinnollisia viranomaispäätöksiä. Helpoin tapa vastata tähän tarpeeseen on se, että viranomaisille ei toimiteta Lajitietokeskuksesta yhtään havaintoa!

Ennen kuin havainnon luotettavuutta lähdetään arvioimaan, olisi oleellisempaa määritellä kriteerit sille, mitkä havainnot ylipäätään otetaan tarkasteltaviksi. Nykyiset havaintomassat ovat niin suuria, että kaiken havaintoaineiston järjestelmällinen läpikäynti ihmistyönä on mahdotonta.

Sen sijaan olisi mahdollista ottaa mallia lintuharrastajien rariteettikomiteoista. Ei niinkään perustamalla vastaavanlaisia komiteoita muihinkin eliöryhmiin, vaan määrittelemällä kustakin eliöryhmästä ne lajit, joiden Suomessa tehtävät havainnot on tarpeen arvioida asiantuntijavoimin. Kaikki maalle uudet lajit menisivät luonnollisesti automaattisesti tarkastettavien joukkoon.

Alueellinen harvinaisuus puolestaan voitaisiin ottaa huomioon esimerkiksi määrittelemällä eliömaakunnittain lajit, joiden havainnot vaaativat tarkastuksen.

Nämä lajiluettelot olisi sitten hyvä ottaa käyttöön jo havaintojen tallennusvaiheessa. Kun havainnoija nyt voi kirjata havainnon vihertikasta tai tammihiirestä huomaamatta asiassa mitään outoa, järjestelmä voisi automaattisesti läväyttää ruutuun ilmoituksen siitä, että kyseessä on poikkeuksellinen havainto ja pyytää dokumentoimaan se mahdollisimman tarkasti arviointia varten. Poikkeukselliset havainnot vaativat poikkeuksellisen hyvät todisteet,

Luotettavuuden arviointi voitaisiin sen jälkeen keskittää niihin havaintoihin, joilla on oikeasti merkitystä lajin esintymiskuvan kannalta. Kuten alun kommentista ehkä jo tuli selväksi, minusta havainnon luotettavuuden arviointi perustuu jatkuvalla asteikolla lajin, paikan, ajan ja havainnoijan yhdistelmään.

[mikko]

Kiitos kommenteista. Luotettavuusluokitukset tulevat kattamaan kaikki Lajitietokeskukseen havainto- ja kokoelmatiedot, eivät vain Vihkon havaintoja.

Taustasta myös lisää sen verran että tällaisen yksinkertaistetun “luotettava/ei luotettava” -jaon (tai sama muita termejä käyttäen) lisäksi havaintoja tulee olemaan mahdollisuus suodattaa monipuolisemmin, jotakuinkin tällaisilla perusteilla:

• Havainnojan tai tallentajan ilmoittama epävarmuus
• Alkuperäislähteen antama arvio havainnon laadusta (jos lähteessä tehdään laadunvalvontaa)
• Automaattiset validointitulokset (esim. koordinaattien ja paikannimen ristiintarkistus)
• Laji.fi:ssa tehty laadunvalvonta (kommentit/annotaatiot)
• Kokoelman tyyppi (muutama taso suuren yleisön havainnoista “ammattilaisaineistoihin”)
• Myöhemmin varmaankin myös arvio havainnon epätavallisuudesta (maalle uusi laji … yleinen ja runsas laji), joiden perusteella havaintoja voi myös nostaa manuaalisesti tarkastettaviksi.

Yksinkertaistettu luotettavuusluokitus olisi siis näiden lisäksi (tai perusteella) määriteltävä arvo, joka jakaa havainnot muutamaan luokkaan niiden käytön helpottamiseksi.

Yksi hankaluus on että vaikka monessa aineistossa tehdään laadunvalvontaa, ei siitä tehdä merkintöjä, jolloin ei voida olla varmoja onko tietty yksittäinen havainto tarkistettu vai ei, ja mihin tarkistus perustuu. Tällöin aineiston laatua pitää arvioida kokonaisuudessaan. Onko esim. eliötyöryhmän kokoama havaintoaineisto laskettavissa luotettavaksi, vaikka sen laatua ei olisikaan dokumentoitu havaintokohtaisesti?

Mikko / Lajitietokeskus

[Henri_Koskinen]

Kun tuosta ylempää lukee Mikon kuvausta suunnitelmista saa sen vaikutelman että havainnoille suunnitellaan jotain moniulotteista ja monimutkaista luotettavuusluokittelua. En nyt tässä mieti yhtään vanhojen museoaineistojen taikka vastaavien ongelmia vaan pelkästään avoimeen tietojärjestelmään tulevia uusia havaintoja.

Otetaan esimerkiksi lintupuolen luotettavuusluokittelut. Tämä on nopeasti käyty läpi koska lintupuolella ei ole käytössä mitään luotettavuusluokitteluja. Kaikilla ilmoitetuila havainnoilla on yksi ja sama status. Sitten on määritelty erikseen, kuten Tapani tuossa ylempänä jo kertoi, tarkistusta vaativat havainnot, eli havainnot joista edellytetään tarkempaa dokumentaatiota. Ne havainnot sitten jäävät odottamaan varmistusta.

Kriteerit tässä arvioinnissa ovat ymmärtääkseni täysin selkeät. Jos havainnon dokumentaatio on riittävä määritykseen havainto hyväksytään, jos ei ole riittävä se hylätään. Havaintoa arvioidaan siis puhtaasti dokumentaation kautta. Hyväksynnän jälkeen havainto saa saman statuksen kuin muutkin havainnot. Dokumentoinnin joutuu tekemään jokainen joka haluaa havaintonsa julkaistavaksi.

Kevytversio tästä voisi olla juuri tuo Tapanin yllä kuvaama. Sienipuolella esim. joku automaatti joka poimii harvinaisemmat taikka muuten poikkeavat havainnot tarkistuslistaan.

Ihan vain että saisi vähän lihaa luiden ympärille niin esim joku tämäntapainen systeemi:

Uhanalaisuusluokitellut lajit > listalle
Alle 10 havaintoa lajista kirjattuna > listalle
Maakunnalle uusi laji > listalle

Lisäksi joillekin annetaan oikeus siirtää havaintoja oman harkintansa mukaan listalle. Peruste voi olla esim ajankohta, poikkeavat määrät tms.

Näin listalle tulisi kriteerien tiukkuudesta riippuen esim 1% havainnoista. Tuhannesta havainnosta se on vain kymmenen havaintoa.

Nämä jotkut sitten hyväksyvät/hylkäävät kevyellä menettelyllä listan havainnot, taikka siirtävät ne ns. raskaammalle kakkoslistalle johon tulee sitten valtakunnallisesti merkittävät taikka muuten tarkempaa syyniä tai useampia mielipiteitä vaativat havainnot. Kakkoslistalla hyväksyntään vaaditaan sitten vielä tarkempaa dokumentaatiota taikka tarkastajien yksimielisyyttä.

Olennaista tällaisessa järjestelyssä ei ole nuo yksityiskohdat vaan se peruslähtökohta että kaikki ilmoitetut havainnot ovat yhtä luotettavia taikka yhtä varmoja. Kun havainto ilmoitetaan on se oletusarvoisesti varma. Ei ole mitään luotettavuusluokkia taikka varmuusluokkia. Ainoa rakenne tässä päällä on tuo tarkastettavien lista, mikä siis tarkoittaa että listalle joutunut havainto varmistuui vasta kun sen dokumentaation on arvioitu olevan riittävä määritykseen.

[JKT]

Ja millaistahan dokumentaatiota ajattelit jäävän rysäsaaliista kerääjän kannalta mielenkiinnottomista lajeista?

[Henri_Koskinen]

Eroaako tuo rysäpyynti dokumentaation kannalta jotenkin oleellisesti muusta havainnoinnista? Eli liittyykö kysymyksesi nyt jotenkin rysäpyynnin dokumentaatioon erityisesti vai yleisesti tavanomaisten lajihavaintojen dokumentaatioon vihkossa?

Ehkä sitä voisi verrata muutonseurannan dokumentointiin. Siinä kertyy paljon havaintoja tavallisista lajeista jotka sitten summataan laji/lajryhmäkohtaisesti. Kun nuo havainnot kirjataan tietokantaan niin silloin dokumentoidaan ne normaalit eli ajankohta, laji/lajiryhmä, määrät ja mahdollisesti tarkentavia juttuja kuten esim. sukupuolijakaumat, muuttosuunnat, havainnoinnin tyyppi (esim. jatkuva havainnointi, otantahavannointi) etc. Miten tarkkaan nyt itse kukin on näitä kirjannut ja jaksaa naputella tietokantaan.

Jos se taas rinnastuisi rengastajan verkkopyyntiin taikka vastaavaan tai johonkin vakioituun laskentaan kuten lintuasemien vakiolaskentoihin taikka linjalaskentoihin tms. niin silloin ilmoituskäytännöt ja velvollisuudet olisivat tietysti ihan toiset.

Mietin tuossa ylempänä nimenomaan vihkoon tehtäviä havaintoilmoituksia.

Tuon havainnollisuuden vuoksi speksaamani yksinkertaisen systeemin puitteissa tällaiset tavanomaiset ja vailla erityistä mielenkiintoa olevat havainnot eivät menisi automaattisille tarkistuslistoille vaan yksinkertaisesti vain kirjautuisivat tietokantaan ja that’s it.

En tiedä vastasinko kysymykseesi, en tunne rysäpyyntiä enkä sen dokumentaation erityispiirteitä,

[JKT]

Totta kai päivä ja aika on kirjattu ylös. Ajoin takaa sitä, että rysän sisältö lajitellaan lajeittain ja kirjataan ylös - joko lajeina tai yksilömäärinä lajeittain. Noista poimin sitten erityisen hyväkuntoiset tai itselle harvinaiset levitykseen ja kuvaukseen. Loput menevät roskiin. Jos tuosta ruvetaan jälkikäteen kyselemään tunnistuksen perusteista dokumentaatiota, ei sellaista ole, jos otus ei kuulu erilleen poimittuihin. Oudossa paikassa voisi hyvinkinkin mennä maakunnalle uusi ohitse ja UHEX luokitelluissakin on aika paljon mielenkiinnotonta tavaraa.

Valvontavalolla tilanne on sama. Sanelen lajit sanelimelle sitä mukaa kun niitä ilmaantuu. Vaikeat tunnistettavat paremmista lajeista menevät purkkiin, mutta muut jatkavat lentoaan. Helpoissa (minusta) tunnistuksista ei itse tunnistuksen perusteista jää mitään jälkeä, mitä myöhemmin voisi varmistaa. Vaikeat tunnistukset yleisissä lajeissa saavat Vihkossa joko suvun tai sitten statuksen “epävarma”.

Sama oikeastaan pätee rysämateriaaleihinkin. Kasa A. fucosaa saa nimekseen A. fucosa ja epävarma. Lupaavat poikkeukset poimin sivuun, mutta pääosa jää tulle tasolle. Nämä tosin ovat niitä muutenkin läpimeneviä tapauksia.

[Henri_Koskinen]

Ei kukaan lintupuolellakaan dokumentoi tavanomaisia havaintoja määritysperusteisesti eikä kukaan niitä vaadi tarkistukseen.

Tapani ehdotti jonkinlaista automaattia joka ilmoittaa jo havaintoa kirjattaessa jos kyse on tarkistettavasta havainnosta. Speksasin ihan hetkessä tuon lihaa luille automaatin sienihavainnoille. Siinä kaikki ehdot olivat ohjelmallisesti toteutettavia, mikä olikin ehdotuksen pointti.

Järjestelmä siis ilmoittaisi jo havaintoa naputettaessa jos se kuuluu tarkistettaviin. Speksaamani kriteerit tarkistukselle olivat vain esimerkinluonteisia vaikkakin jotain tuollaista sen täytyisi olla jos toteutus on ohjelmallinen eikä ns. manuaalinen.

Osa havainnoista on ilmiselvästi kunnollista dokumentaatiota ja tarkastusta kaipaavia (esim. maalle uudet lajit). Ylivoimaisesti suurin osa taasen ei ilmiselvästi kaipaa mitään tarkistuksia. Siihen väliin jää sitten se hankala harmaa vyöhyke jossa automatiikkaa tarvitaan. Ei ole realistista että havaintoja arvioitaisiin laajemmin manuaaliselta pohjalta. Jos automaatti poimisi tarkastettavat ja samalla ilmoittaisi havaintoa kirjaavalle että havainto kuuluu tarkastettaviin olisi aika paljon jo vaaditusta järjestelmästä kasassa. Tarkastajille jäisi vain automatiikan generoiman listan läpikäyminen - ja listalle oton kriteerien säätäminen käyttökokemusten kertyessä.

Kriteerit tarkistuslistalle olisivat tietysti lajiryhmäkohtaisia. Niistä päättäisivät kunkin lajiryhmän vapaaehtoiset asiantuntijat, jonkinlainen lajiryhmän havaintotoimikunta. Havaintotoimikunta myös vastaisi tarkistuslistan läpikäymisestä ja kriteerien säätämisestä.

Kunhan yritän auttaa Mikkoa joka pyysi meiltä foorumin käyttäjiltä mielipiteitä ja perusteluja aiheesta. Lähinnä kommentoin sieniä ajatellen, en tunne hyönteispuolen järjestelmiä.

[JKT]

Minä taas en tiennyt, mitä tarkoitit dokumentoilla.

Joka tapauksessa pitää muistaa se, että järjestelmään syöttö voi tapahtua vasta myöhemmin jostain välijärjestelmästä kuten paperilta tai sanelimesta. Syöttövaiheessa voi olla vähän myöhäistä parantaa dokumentointia.

Itse uskon kyllä aika paljon myös henkilöperusteiseen jaotteluun. Sen pitäisi olla eliöryhmäkohtainen tai vieläkin tarkempi. Voisin kuvitella, että kaksi tai kolme tasoa voisi olla sopiva.

Ensimmäisellä tasolla ei voida olettaa, että ilmoittaja tietää mitään mahdollisen tunnistuksensa vaihtoehdoista tai yleisyydestä. Tämä luonnollisesti vaatisi kovimmat kriteerit vähänkään paremmille havainnoille.

Toisella tasolla pitäisi tietää otukset, jotka voi toisiin sekoittaa ja myös jotain niiden suhteellisesta yleisyydestä ja levinneisyydestä … tai ainakin olettaa pientä selvittelyä sellaisten otusten kohdalla, joiden levinneisyyttä ei tunne. Tässä tarkistusta ei pitäisi vaatia kuin todella erikoisista tapauksista jollei sekoittamisen vaaraa lajilla noin yleisesti ottaen ole. Jos havainto on riittävän harvinainen JA sekoitettavissa, voi sitten tarkistusta vaatia helpommin.

Kolmas taso ei sitten vaadi tarkistuksia kuin suunnilleen maalle uusista. Tiedän - tasojen määrittäminen on melkoinen suo. Itse en kuvittele olevani lähelläkään kolmosta.

[scellus]

En jaksa nyt lukea kaikkea keskustelua (silmäilin), mutta kirjoitan jotain koska tämä on aika lailla omaa alaani.

Varmaa havaintoa ei olekaan. Jos ei muuta niin taksonomia voi luistaa alta, potentiaalisesti tulevaisuudessa. “Luotettavuus” taas voi olla joku kulttuurinen konventio tai se voi viitata havainnon todennäköisyyten olla väärä.

Päätösteoreettisesti, havainnot pitäisi hyväksyä tai hylätä tuon todennäköisyyden perusteella. Tulee kahdenlaista virhettä: vääriä hylkäyksiä ja virheellisiä hyväksyntiä, ja näiden välillä joku kompromissi hylkäysrajasta riippuen. Virheitä tulee yhteensä sitä vähemmän mitä parempi malli meillä on havainnon tuottamasta prosessista, ts. mitä informatiivisempi todennäköisyys havainnon vääryydestä tai oikeellisuudesta on.

Malli voi olla asiantuntijan päässä tai automatisoitu koneelle, tai näiden yhdistelmä. Kone on parempi joissain asioissa, asiantuntija toisissa. Esim. asiantuntija saattaa tietää lajien levinneisyysalueet ja elintavat ja käyttää tätä tietoa, toisaalta harvinaisen huonosti tunnetun lajin tai dynaamisen tilanteen tapauksessa kone voi olla parempikin arvioimaan havaintoa.

Haivannon oikeellisuudesta antavat informaatiota ainakin saman taksonin vanhat havainnot (ml. niiden määrä eli lajin yleisyys), havainnon aika, paikka, havaitsija, havainnnointitapa, … Osaa näistä on suhteellisen helppo mallintaa, esim. fenomenologiaa ja levinneisyysalueita (ks. Silvosen Kimmon kirja; tällaiset mallit on täysin mahdollista tehdä dynaamisesti niin että niitä päivitetään joka vuorokausi kaikille taksoneille tms.). Yksinkertaisin malli havaitsijasta katsoo vain hänen ilmoittamien havaintojen kokonaismäärää: mitä suurempi, sitä luotetumpi havaitsija (esim. 1 - p_err \propto log N).

Automaattisia malleja voitaisiin käyttää ainakin kriteerinä manuaalitarkistuksille.

Havaitsijan ottaminen mukaan luotettavuusarvioon on vähän tabu ehkä, mutta minusta voisi olla hyvinkin tarpeellista tällaisessa massatietokannassa. Parhaiten se toimii yhdessä muiden em. tekijöiden kanssa.

Käärmeen tapauksessa epäluotettaviksi menisivät ensimmäiset mantereelta ilmoitetut havainnot. Jos näitä ei koskaan hyväksyttäisi kantaan (≈ malliin jolla luotettavuutta arvioidaan), mantereelta tulevat havainnoit joutuisivat manuaalitarkastukseen tulevaisuudessakin. Jos mantereelta sensijaan hyväksyttäisiin havaintoja, ne menisivät läpi luotettavina myöhemmin, jne. Jos joku matelijoita paljon ilmoittanut antaisi oudosta paikasta havainnon, se laskettaisiin helpommin luotettavaksi, jne.

Paljon tähän jäisi viritettäviä parametreja, ja järjestelmän voisi tehdä hyvinkin hienosti ja vaikeasti, mutta toisaalta jonkin version saisi ehkä aika helpostikin?

Syöttölomake voisi hyvinkin antaa epätyypillisyyspisteet havainnoille ihan lennossa. Se helpottaisi havainnoijaa korjaamaan vahinkonäppäilyt.

[Hannu_Saarenmaa]

Tämä on tärkeä aihe ja perusteellinen keskustelu on tarpeen.

Scelluksen esittämä lähestymistapa on mielestäni hyvä. Jokaiselle ilmoitetulle havainnolle on käsittääkseni mahdollista laskea vertauilusuure (~todennäköisyys), millä sitä voidaan pitää luotettavana. Se perustuisi vertaamalla havainnon aikaa ja paikkaa muihin havaintoihin, joita on tehty samasta lajista. Samaan tapaan voidaan käsitellä ilmoittajan luotettavuus verrtaamalla havaintoa samassa eliöryhmässä aikaisemmin ilmoittamiinsa havaintoihin. Näistä muodostetaan ikäänkuin etäisyysmittari sille, kuinka poikkeava havainto on. Tämä vertailusuure voidaan listata jokaisen havainnon oheen. Kun arvo putoaa riittävän alas, havainto esiintyy listauksissa esim. eri väreillä.

Virtalan hyönteistietokanta toimi paikan ja lajin harvinaisuuden suhteen tähän tapaan. Ruotsin Artportalenissa myös kaikki havainnot liputetaan luotettavuuden suhteen. Kyse ei ole havainnon hyväksymisestä tai hylkäämisestä, vaan siitä, että tietojen käyttäjää autetaan valitsemaan ne tiedot mitä hen haluaa käyttää.

Varmoja havaintoja ei olekaan ilman tallennettua näytettä. 100% luotettavuus on käytännössä mahdoton. Poikkeukselliset havainnot vaativat poikkeukselliset todisteet.

Hannu Saarenmaa

[Kati_Pihlaja]

Sammalissa ja varmasti muissakin vaikeasti tunnistettavissa eliöryhmissä asiaan on jouduttu kiinnittämään erityistä huomiota vuosien mittaan. Vuonna 2015 Sammaltyöryhmä julkaisi asiasta kannanoton Lenninsiipi-julkaisussa (Juutinen & Syrjänen, s. 17-18).
https://www.syke.fi/download/noname/{EB483936-8D5A-45A8-942F-0DCAAE0E7D78}/107919

Sammalissa luotettavaksi havainnoksi hyväksytään ainoastaan näytehavainto, joka talletetaan pysyvästi jonkin luonnontieteelliseen museon kokoelmiin. Poikkeuksena ovat muutamat helposti tunnistettavat lajit (kuten harsosammal, aarnisammal ja lahokaviosammal), jotka voidaan tunnistaa myös valokuvan perusteella. Näidenkin kohdalla valokuva tarkkoine keruutietoineen tulee tallentaa esim. Vihko-palveluun tai Kotkaan julkisesti saataville.

Minkäänlainen automatiikka havaintojen luotettavuuden arviointiin on sammalten kohdalla vaikea toteuttaa. Suomelle uusia lajeja löytyy lähes joka vuosi eikä monien lajien levinneisyyttä vielä tunneta kunnolla, jolloin luotettaviakin havaintoja saattaa ilmaantua kaukana tunnetulta levinneisyysalueelta. Kasvimuseoiden kokoelmat ovat myös monilta osin vielä digitoimatta, jolloin Lajitietokeskuksen kautta näkyvä havaintokartta ei kuvasta todellista levinneisyyttä.

[Mika_T]

On ok, että on erilaisia kokoelma(tm.)kohtaisia lähtökohtia:

1. Havainto on luotettava, jos sitä ei ole merkitty epäluotettavaksi (oletusarvoisesti luotettava).
2. Havainto on luotettava vasta, kun varmistettu. Varmistettu tarkoittaa toista riippumatonta arvioita. Määritelmä lienee liian suppea. En kuitenkaan viljelisi termiä niin, että jotain merkitään varmistetuksi, jos vaan uskotaan siihen. Silloin oikeampi käsite on luotettava.

Perustelua sille, miksi em. erilaiset oletusarvot ovat ok, löytyy kyllä, skippaan ne nyt.

Pielessäkin olevaa asiaa 1:n alaisissa havainnoissa tietenkin on.

Olen ajatellut, että luotettavuus on eniten lajikohtaisten luotettavuuksien summa. Ja näkisin, että luotettavuus paranisi parhaiten, jos olisi mahdollisuus lajikohtaiseen kustomointiin luotettavuuden arvioinnissa.

Vaikka oletusarvoiset lähtökohdat olisivat eri aineistoille erilaiset, pidän siitä eteenpäin tärkeänä johdonmukaisuutta: että validointikriteerit ovat samat (lajin) koko aineistolle (esim. sekä havainto- että kokoelmapuolella). Käytännössä tarkoittaa, että samoihin kenttiin katsotaan, kun validoidaan.

Mitä enemmän validointia pystytään koneellisesti tekemään, sen parempi. Sitä johdonmukaisempaa arviointi on ja sitä läpinäkyvämpää se on.

Luotettavuuden arvioinnin luotettavuutta (laatua) pitäisi myös pystyä arvioimaan. Jos lajiin kohdistuu sellaisia automaattisia tarkistuksia, joiden perusteella esim. määrityksiä merkitään epävarmoiksi tms., olisi hyvä, jos kriteerit (ja jopa perustelut) tuotaisiin julki jossakin (esim. lajikortilla).

Yhteenveto: Havainto on luotettava, jos havainto (etenkin määritys) on (niin vaadittaessa) varmistettu ja jos havainto menee koneellisesta laaduntarkkailusta läpi.

Seuraava kysymys sitten olisi, minkä sortin asioita ohjelman avulla pitäisi pystyä tarkistamaan, jotta koneellinen laaduntarkkailu täyttäisi tehtävänsä.