11.4.05

Kasvatustieteilijöiden vastaisku

Uusi Tieteessä tapahtuu on ilmestynyt verkkoversiona. Pertti Tötön kirjoitus edellisessä numerossa on kirvoittanut kolme vastinetta, ja vielä Tötön vastauksen vastineisiin. Itselleni tuli vastineita lukiessa lähinnä kiusaantunut olo - koulutetut aikuiset miehet kirjoittavat ilmeisesti ihan vakavissaan moista.

Hannu Virtanen ei vastaa Tötön kirjoitukseen oikeastaan millään tapaa, vaan saarnaa epämääräisin argumentein älykkyystestaamisen vaaroista yleisesti. Mikko Ketokivi varoittelee tekemästä ns. ekologista virhepäätelmää. Varoittelu olisi varmaankin ihan paikallaan jos joku olisi sellaista tekemässä. Töttö ei ollut. Antero Malin ja Juhani Rautopuro ampuvat omassa vastineessaan harhaan väittämällä Tötön puolustelevan arvaamista, kun Tötön argumentti tosiasiassa oli, että Lynnin ja Vanhasen menetelmä ei suinkaan ollut arvaaminen, vaan intrapolointi.

Tunnisteet:

5 Comments:

At maanantaina, huhtikuuta 18, 2005, Blogger Mikko Ketokivi said...

Sanot, että "jos joku olisi [ekologista virhepäätelmää] tekemässä". Ja sitten toteat että Töttö ei ollut. Näytät ajattelevan, että koska Töttö ei tehnyt ekologista virhepäätelmää, niin ei tehnyt lukijakaan. Oman kokemukseni mukaan aivan liian vaarallinen olettamus.

Tötön argumentoinnissa ei ollut mitään loogista virhettä. Olisin ainoastaan toivonut hänen olevan varovaisempi tällaisen sensitiivisen aiheen kanssa.

Teepä seuraava "köyhän miehen testi": mene maailman tehokkaimpaan hakukoneeseen ja katso kuinka monta osumaa "ekologinen virhepäätelmä", "ekologinen harha" tai "ecological fallacy" (suomenkielisillä sivuilla) yhteensä tuottavat. Jos et jaksa, niin tässä vastaus: 8.

Vastineeni ei ollut niinkään osoitettu Pertille, jonka kanssa olen tästä teemasta keskustellut ja tiedän että häntä kiinnostavat aggregaatiotason tulokset. Jos luit vastineeni tarkkaan, niin varmasti tämän huomasit. Vastineeni onkin tarkoitettu mujistutuksena kaikille niille, jotka takuulla sortuivat tekstin luettuaan ekologiseen virhepäätelmään ja ajattelivat, että Pisa-luvut ja ÄO mittaavat samaa asiaa. Tämän muistutuksen tärkeydestä olivat yhtä mieltä sekä päätoimittaja Rydman että Pertti Töttö itse.

ÄO ja Pisa-luvut saattavat mitata samaa asiaa (tai sitten eivät), mutta aggreraatiotason tulokset eivät sitä vastausta anna.

 
At maanantaina, huhtikuuta 18, 2005, Blogger nozick said...

Ymmärrän kantasi. On hyvä kuitenkin pitää mielessä, että mikäli oma olettamasi pitää paikkansa ja lukija on taipuvainen tekemään virhepäätelmiä, niin virhepäätelmät tuskin rajautuvat ekologiseen sellaiseen.

Päinvastoin, sellainen virhepäätelmä lienee vielä yleisempi, jossa lukija kuvittelee sinun kritiikkisi kohdistuvan Pertti Tötön artikkelissa esitettyihin johtopäätöksiin, vaikka se siis tosiasiassa kohdistui hypoteettisen virhepäätelmiin taipuvaisen lukijan päättelyyn.

 
At maanantaina, huhtikuuta 18, 2005, Blogger Mikko Ketokivi said...

Olen eri mieltä. Sanoin ihan suoraan kirjoituksessani, että ekologisten korrelaatioiden käyttäminen Tötön argumentoinnissa on perusteltua. Tietysti jos lukijalta jäi osa vastineestani lukematta, niin sille en voi mitään.

Selvennykseksi: en ole kasvatustieteilijä vaan organisaatioteoreetikko, en ole juonimassa mitään sen kummempaa "vastaiskua"; ainoa agendani on muistuttaa tutkimusmenetelmiä opettavana dosenttina tiedeyhteisöä ja muita lukijoita siitä, että tieteellisessä kirjoittamisessa täytyy aina pyrkiä tulkitsemaan etenkin empiiristä evidenssiä niin tarkasti ja selkeästi kuin mahdollista. Disraelin "valheet, emävalheet ja tilastot" -lausahdus kuvaa minusta kaikkein eniten sitä, että tilastollisia tuloksia on hyvin vaikea ymmärtää, ellei niille ole annettu hyvin selkeää tulkintaa.

Minusta esim. käsitteelle "ryhmätason älykkyys" voisi antaa selkeän teoreettisen tulkinnan, jonka myös satunnainenkin lukija ymmärtää. Tämä auttaisi minuakin ymmärtämään paremmin sitä, miksi aggregaatiotason älykkyys on niinkin relevantti keskustelunaihe.

Muistanemme hyvin myös taannoisen surullisen kuuluisan tutkimustuloksen, että "suomalaiset suhtautuvat epäluuloisesti Venäjään", jolle ei annettu julkisuudessa minkäänlaista tulkintaa. Haastoin kyseisen tutkimuksen tekijät antamaan tulokselle tulkinnan--odotan vieläkin vastausta.

Siinä olet oikeassa, että ekologisia virhepäätelmiä löytyy paljon muualtakin, kuten myös ns. käänteisiä sellaisia (reverse ecological fallacy). Varsinkin jälkimmäisiä on tieteellinen kirjallisuus pullollaan.

Joskus mietin sitä, että miten on mahdollista, että loogiset virhepäätelmät ovat tieteellisessä tutkimuksessa enemmän sääntö kuin poikkeus. Osaatko vastata?

 
At maanantaina, huhtikuuta 18, 2005, Blogger nozick said...

Hyväksyn kyllä, että ekologinen virhepäätelmä on yleinen ja että sellaisen voi Tötön esittämästä datasta helposti tehdä. Ymmärrän myös missiosi varoittaa lukijoita ekologisen virheepäätelmän vaaroista. Se mikä minua jäi vastineestasi harmittamaan, mutta mitä en lyhyessä kommentissani halunnut erityisemmin nostaa esiin on se, että tässä nimenomaisessa tapauksessa ekologisen virhepäätelmän johtopäätös on aivan oikea. Perustelu on siis virheellinen, mutta johtopäätös on oikea.

PISA-testi mittaa nimenomaan aivan samaa asiaa kuin ÄO-testit. Vihjeen tähän voi saada näistä ryhmätason tulosten korkeista korrelaatioista. Vahvistuksen saa kun tutkii PISA:n tehtäviä sekä osatestien tulosten välisiä (yksilötason) korrelaatioita.

Testissä käytettävät tehtävät ovat aivan saman tyyppisiä kuin mitä on vuosikausia käytetty esim. Stanford-Binet ÄO-testissä. PISA:n kotisivuillakin tehtävien kuvataan mittaavan enemmän arkielämän ongelmanratkaisukykyä kuin opetussuunnitelman mukaisen tietomäärän hallintaa.

Testin eri osa-alueiden korrelaatiot vaihtelevat 0,77 ja 0,89 välillä tukien hypoteesia, että kaikki osatestit mittaavat pääosin samaa asiaa.

5.4. päivätyn kirjoitukseni toisessa kappaleessa teen siis ekologisen virhepäätelmän, mutta johtopäätökseni ovat silti oikeat. PISA-testi on älykkyystesti ja älykkyystestin tulokseen ei voi juurikaan koulutuksella vaikuttaa, joten Suomen hyvä PISA-menestys ei voi olla koululaitoksen ansiota.

 
At maanantaina, huhtikuuta 18, 2005, Blogger Mikko Ketokivi said...

Olen itse tehnyt aivan saman johtopäätöksen käytyäni keskustelua Tötön kanssa: ekologinen virhepäätelmä ei tässä yhteydessä välttämättä ole niin vakava, koska myös yksilötasolla löytyy korrelaatioita.

Mutta se ei muuta totuutta miksikään: kyseessä on silti virhepäätelmä, joita tieteellisessä tutkimuksessa ei pidä sallia. Jos halutaan argumentoida, että ÄO ja Pisa-luvut mittaavat samaa asiaa, niin silloin on esitettävä evidenssiä, joka eksplisiittisesti tukee tätä väitettä, eikä evidenssiä joka ei millään muotoa tue väitettä, mutta sattumalta johtamaan samaan johtopäätökseen--kyseessähän on kuitenkin aika puhdas sattuma.

Tosin väite, että testien välinen korrelaatio yksilötasolla tarkoittaa, että kaksi mittaria mittaa samaa asiaa, ei pidä paikkaansa. Tämän totesivat jo Campbell ja Fiske 1959, ja he kehittivätkin systemaattisen tavan tarkastella erilaisten testien variansseja (ja kovariansseja) hiukan yksityiskohtaisemmin. Tänä päivänä näiden periaatteiden pohjalta kehitetyt monimuuttujamenetelmät ovat erittäin pitkälle kehittyneet (MTMM-mallit ym.), joten odottaisin, että tieteellisessä argumentoinnissa ei enää vedottaisi ainoastaan testitulosten korrelaatioihin, koska yksinkertaisilla korrelaatioilla voidaan tehdä ankarasti otettuna johtopäätöksiä ainoastaan reliabiliteetistä, ei validiteetista.

 

Lähetä kommentti

<< Home