Kuinka luotettavat konehavainnot kannattaa näyttää Laji.fi:ssa?

Tulevaisuudessa erilaiset automaattiset laitteet tuottavavat kasvavassa määrin lajihavaintoja. Tällaisia voivat olla esim. lintu- ja lepakkoäänittimet, DNA-sekvensaattorit ja automaattiset riista- ja hyönteiskamerat. Pienessä määrin tällaisia “konehavaintoja” (machine observations) Lajitietokeskuksessa jo on.

Havainnon tekemisen lisäksi myös lajin tunnistaminen voidaan automatisoida tekoälyn tm. menetelmien avulla, niin että kukaan ihminen ei tarkista havaintoa millään tavalla. Tällöin kunkin havainnon lajintunnistuksen luotettavuudelle voidaan ilmaista todennäköisyysarvo.

Suuntaa-antava kysely: Kuinka luotettava yksittäisen havainnon tulee olla, jotta se kannattaa näyttää Laji.fi-portaalissa? Tämä koskee mm. havaintohakua, lajien havaintokarttoja, erilaisia havaintotilastoja jne. (Oletetaan tässä, että luotettavuusarvo itsessään on luotettava.)

Havaintohaussa kukin käyttäjä voisi myös itse valita luotettavuustason (väliltä 0-100 %), jos niin haluaa, tai suodattaa kaikki konehavainnot pois näkyviltä. Vastaa omasta näkökulmastasi: millaista luotettavuutta sinä pidät riittävänä oletusarvoksi? Miksi?

  • yli 75 % luotettavat näytetään
  • yli 95 % luotettavat näytetään
  • yli 99 % luotettavat näytetään
  • Mitään pelkästään koneen määrittämää ei näytetä
  • Muu, mikä?
0 äänestäjää

Mikko / Lajitietokeskus

Tähän on vaikeaa ottaa kantaa yleisellä tasolla. On selvää että joissain sovelluksissa luotettavuus on erittäin hyvä (esim lepakkodetektorit joissakin lajeissa), mutta joissain muissa todella huono (vaikkapa kääväkkäät).

Nyt kysymyksessäsi oli oletuksena että luotettavuusarvo itsessään on luotettava, mutta tämä oletus tavallaan tuhoaa alkuperäisen kysymyksesi.

Jos mennään ihan frekvenssitulkinnalla niin sitten kyse on otosten koosta eikä mikään kokonaisluotettavuus ole arvona luotettava kun katsotaan pienempiä otoksia. Algoritmi voi tunnistaa miljoona kanttarellia oikein mutta madonlakit menee ihan arpomalla. Tästä näkee miten ratkaisevaa on se miten luotettavuus lasketaan. Yhdellä laskutavalla madonlakit tunnistaminen on erittäin luotettavaa mutta toisella laskutavalla luotettavuutta ei voi edes laskea otoksen pienuuden vuoksi. Kun algoritmit ovat kaupallisia ja kilpailevat markkinaosuuksista keskenään niin erilaisiin luotettavuuslukuihin on varmaan syytä suhtautua varovaisesti.

Koitin tätä tosissani pohtia mutta päädyin vastaamaan “muu, mikä?” koska kysymykseen on niin hankala vastata ilman tarkempia tietoja siitä miten luotettavuus lasketaan kussakin sovelluksessa.

Jos leppakkoasiantuntijat arvioivat että joku detektorisovellus tunnistaa lajit äänistä erinomaisesti niin silloin pitäisin tätä aineistoa riittävän hyvänä näkymään oletusarvoisesti havaintohausssa. Joku asiantunteva riippumaton raati arvioi konesovellusten luotettavuudet ja havainnot näkyvät jos raati arvioi sen järkeväksi.

En oikein usko että tätä arvioita voidaan jättää kaupallisten yritysten omien luotettavuusilmoitusten varaan.

1 tykkäys

Kiitos vastauksista @Henri_Koskinen ja muut. Tämä auttaa tuomaan uusia näkäkulmia konehavaintojen hallintaan.

Mikko / Lajitietokeskus