Miksi tietotyön laatua on niin vaikea arvioida?

Tietotyö ja tekoäly -sarja, osa 4 

Otetaan pari esimerkkiä. 

Insinöörin tekemä järjestelmäselvitys tehtaan automaation uudistamisesta. Dokumentti on kymmenisen sivua. Se esittää nykytilan, kuvaa vaihtoehdot, perustelee valinnan ja antaa kustannusarvion. Joku, joka osaa lukea, näkee että dokumentti on jäsennelty, kieli on insinöörimäistä ja taulukot ovat huolellisia. Mutta arvion siitä, onko juuri tämä valittu järjestelmä oikea, ottaako se huomioon huoltoseisokit, eiväthän sen rajapinnat tuota piileviä riippuvuuksia ja kestääkö kustannusarvio viiden vuoden eikä vain yhden ennusteena, voi tehdä vain henkilö, joka osaisi itse rakentaa samankaltaisen selvityksen. 

Tradenomin tekemä liiketoiminta-analyysi investointiehdotuksen tueksi. Esitys on hyvin tehty. Numerot täsmäävät, perustelut etenevät loogisesti, riskit on listattu. Joku, joka osaa lukea, näkee että aineisto on ammattimainen. Mutta arvio siitä, onko analyysi luotettava, että keskeiset oletukset kestävät, että relevantteja vaihtoehtoja ei ole sivuutettu, että herkkyysanalyysi tavoittaa juuri ne muuttujat, joissa keskeisimmät epävarmuudet ovat, voidaan tehdä vain, kun lukija on itse pätevä tekemään samantyyppisen analyysin. 

Esimerkeissä toistuu sama rakenne. Kognitiivisten operaatioiden laatu jättää tuotokseen jälkensä, mutta jäljet eivät ole pelkästään tyylillisiä ominaisuuksia. Operaatioiden valinta, eri seikkojen painotukset, ongelman muotoilu ja päätelmien suhde aineistoon ovat sellaisia, että ne nousevat esiin luettavasta tekstistä vain niille, jotka osaisivat ne itse rakentaa. Tuotoksen voi lukea jokainen lukutaitoinen. Tuotoksen arvioinnin kykenee suorittamaan vain siihen pätevä ihminen. Tämä asymmetria ei johdu mittausmenetelmien puutteesta, joka katoaisi paremman työkalun myötä. Se seuraa siitä, mitä kognitiiviset operaatiot ovat ja mitä niiden tuotos tarjoaa lukijalle. 

Onko vieläkään keksitty vakiomenetelmää tietotyön laadun arviointiin? 

Asia ei johdu organisoinnista, joka olisi hyvin johdetuissa organisaatioissa periaatteessa ratkaistavissa. Se johtuu tietotyön rakenteesta. Organisaatiot ovat rakentaneet sen ympärille seurantamittareita (tiedämme kaikki tämän). Niistä jokainen kertoo jotain, mutta pettää siinä kohdassa, jossa työn laadun arviointi olisi tärkeintä. Työpanoksen tunteja ja dokumenttien määriä mittaamalla saadaan kuvaa toiminnasta, ei sen laadusta. Tuplasti kirjoittava asiantuntija ei välttämättä ole tuottavampi vaan tuottamattomampi. Formaatti- ja prosessikuriin nojaaminen kelpaa kelvottoman erottamiseen kelvollisesta, mutta ei kelvollisen erottamiseen erinomaisesta. Lopputulosten vaikutusten seuranta venyy usein liian pitkäksi. Pätevien kollegoiden suorittama arvio on paras mahdollinen, jota muilla menetelmillä pyritään kiertämään.  

Tämän havainnon muotoilu tulee Peter Druckerilta (1999). Druckerin pointti on, että teollisen työn tuottavuus saatiin kohdalleen 1900-luvulla menetelmillä, jotka nojaavat työn näkyvään osaan: työn tulos voidaan nähdä, jakaa osiin, laskea, optimoida ja standardoida. Menetelmät eivät siirry sellaisenaan tietotyöhön, koska tietotyö ei ole samalla tavalla näkyvää. Drucker esittää tämän haasteena, johon tulee vastata. Hänen jälkeensä kertynyt tutkimuskirjallisuus esittää, että haaste on edelleen ratkaisematta. Ei ole vieläkään löytynyt vakiintunutta menetelmää, jolla tietotyön tuotoksen laatu saataisiin mitattavaksi tavalla, joka tavoittaisi työn todellisen luonteen (Xiao, Nembhard, & Dai 2012). 

Generatiivinen tekoäly kohdistuu juuri siihen kohtaan, jossa tietotyön laatu on lähtökohtaisesti vaikein nähdä. 

Yksi seuraus asymmetriasta kannattaa nostaa erikseen esiin. Myös omaa työtä voi arvioida vain oman pätevyyden rajoissa. Insinööri, joka osaa suunnitella tietynlajisen järjestelmän, kykenee arvioimaan oman luonnoksensa sen lajin järjestelmänä. Insinööri, joka ei ole pätevä sellaisella tasolla, jolla suunnitelma pitäisi tehdä, ei pysty näkemään luonnoksensa puutteita. Sama pätevyys vaaditaan tuotokseen ja sen arviointiin. Sama logiikka pätee hoitajaan ja tradenomiin. Riittävän pätevän tekijän kohdalla itsearviointi ja kollegoiden vertaisarviointi paikkaavat rakenteellista arviointiongelmaa siltä osin kuin se on paikattavissa. Mutta jos tekijän pätevyys on jostain syystä rapautunut, hänellä ei ole kykyä nähdä tätä, koska kyvykkyys arviointiin puuttuu. Tätä kutsutaan asiantuntijatyön arviointiparadoksiksi. 

Tämä jälkimmäinen pointti antaa tekoälyn käytölle tietotyössä erityisen haasteen. Sarjan aikaisemmat osat osoittivat, että tekoäly osallistuu juuri siellä, missä tietotyön ajattelu tapahtuu: dokumenteissa ja malleissa. Yhdistettynä arviointiongelmaan tämä tarkoittaa, että tuotoksen pintapuolinen sujuvuus ja sen perustana olevat kognitiiviset operaatiot voivat erkaantua toisistaan. Pinnallisesti näyttää hyvältä, vaikkei asiantuntija itse tee tuotoksen sisältämiä kognitiivisia operaatioita. Ja jos asiantuntijan oman pätevyyden rapautuminen ei tuota näkyvää merkkiä itselleen eikä ulospäin, tekoäly tuottaa kelvolliselta näyttävää tuotosta myös silloin, kun sen takana ei ole kelvollista työtä. Generatiivinen tekoäly kohdistuu juuri siihen kohtaan, jossa tietotyön laatu on lähtökohtaisesti vaikein nähdä. 

Miten AMK:t varmistavat asiantuntijuuden tekoälyaikana? 

Tämä blogiteksti on sarjan viimeinen. Johtopäätöksenä voidaan todeta, että tietotyön luonne, sen sisältämien kognitiivisten operaatioiden läpinäkymättömyys, sen jakautuminen ihmisten ja välineiden kesken ja sen sisältämän arviointiongelman asymmetria yhdessä tekevät tekoälystä teknologian, jonka käyttöönotto nostaa esille kysymyksen siitä, miten ammatillinen pätevyys jatkossa rakentuu, miten sitä jatkossa rakennetaan ja miten se voidaan tehdä nähtäväksi.  

Tämä kysymys koskettaa meitä ammattikorkeakouluna suoraan. Lain meille antama tehtävä on antaa opetusta ammatillisiin asiantuntijatehtäviin. Asiantuntijatehtävät rakentuvat juuri niistä operaatioista, joiden laatu on tämän sarjan mukaan vaikeasti arvioitavissa silloinkin, kun arvioija olisi pätevin mahdollinen. Jos koneapu tulee niihin operaatioihin sisään, kuten se tulee, kysymys ei ole vain mitä opetamme. Se on myös, miten tunnistamme, että opetamme oikein. 

Lähteet 

Drucker, P. F. 1999. Knowledge-worker productivity: The biggest challenge. California Management Review, 41(2), 79–94. 

Xiao, M., Nembhard, D. A. & Dai, C. 2012. A survey of knowledge work productivity metrics. International Journal of Productivity Management and Assessment Technologies, 1(2), 1–18.