<strong>OSAAT</strong> <strong>LUKEA</strong> – <strong>MITEN</strong> <strong>OSAAT</strong> <strong>KIRJOITTAA</strong>?Lomakkeet tarkistettiin vielä Opetushallituksessa ja koulukohtainen palautelähetettiin oppilaitoksille lomakkeiden sisältämän tiedon pohjalta. Otoskoulutsaivat lokakuussa 2002 palautteen, jossa oli esitelty koulukohtaisesti javertailutietona koko maan tulosten osalta* kokeen yhteispistemäärän jakauma* erikseen kirjoitustehtävien, kielentuntemuksen, lukemisen,kirjallisuuden ja tekstitiedon tehtävien keskiarvot suhteellisinaosuuksina enimmäispisteistä* otosoppilaiden opiskeluun liittyvien käsitysten profiili* otosoppilaiden käsityksiä 6. luokan äidinkielen tuntien oppisisällöistäja työtavoista* oppilaiden menestymistä arvioinnissa suhteessa heidänäidinkielen ja kirjallisuuden arvosanaansa 6. luokan keväälläsekä* koulun koetulosten ja otosoppilaiden käsitysten suhdettamuiden otoskoulujen vastaaviin keskiarvotietoihin.Ulkopuoliset lukijat arvioivat satunnaisesti poimitut viisi näytettä jokaisen otoskoulunavovastaustehtävistä, kaikkiaan joka kymmenennen (490) oppilaan koevastaukset.Arviointiin osallistui peruskoulun yläasteen äidinkielen opettajanvirassa eri puolilla maata toimivia lehtoreita. Kaksi ulkopuolista opettajaapisteitti oppilaan vastaukset erikseen käyttämällä samoja arviointikriteerejä,joita oli käytetty tekstejä koulussa arvioitaessa. Lukijat eivät tienneet opettajientai toisen arvioijan antamia pisteitä. Sensoroinnin valmistuttua ulkopuolistenlukijoiden pisteitystä verrattiin oppilaiden koulussa saamiin koepisteisiin.Tehtäväsarjan osiot analysoitiin niiden vaikeustason ja erottelukyvyn selvittämiseksi.A-tehtäväsarjaan sisältyneen moniosaisen aakkostamistehtävän suhteellistapainoarvoa osa-alueen pistekertymästä tasoitettiin kokeen jälkeen niin,että koko aakkostamistehtävän täysin oikeasta vastauksesta annettiin yksi piste.Muussa tapauksessa mainitusta perustehtävästä olisi kertynyt osa-alueellesuhteettoman paljon pisteitä. Vastaavasti muiden lukemiseen ja teksteihin liittyvientehtävien suhteellinen painoarvo osa-alueen pistekertymästä nousi jonkinverran. Yksi B-tehtäväsarjaan sisältynyt osio poistettiin analyysivaiheessaliian vaikeana (vain 3 % oli vastannut oikein).46
<strong>OSAAT</strong> <strong>LUKEA</strong> – <strong>MITEN</strong> <strong>OSAAT</strong> <strong>KIRJOITTAA</strong>?Aineistoa tarkasteltiin osioittain, tehtävittäin ja osa-alueittain muodostettujenfrekvenssijakaumien pohjalta. Tehtävien sisäisen rakenteen ja vastaajienopiskeluasenteiden tarkasteluun käytettiin pääkomponentti- ja faktorianalyysiasekä ryhmittelyanalyysia. Koetulosten ja oppilas- tai koulukohtaisten taustamuuttujienyhteyksiä tarkasteltiin korrelaatioiden pohjalta ja tarpeen mukaanregressio- ja varianssianalyysillä.Muutamissa kohdin tässä raportissa mainitaan tilastollisesti merkitsevistä eroista. 1Tällä tutkimuskäytössä vakiintuneella termillä tarkoitetaan esimerkiksi kahdenryhmän koesuoritusten välistä eroa, joka ei 99 %:n todennäköisyydellä perustusattumaan. Otostutkimuksessa otoksen keskiarvo vaihtelee satunnaisesti senmukaan, keitä otokseen sattuu valikoitumaan. Pienissä otoksissa (esimerkiksiyhden koulun sisäisissä) tämä otoskeskiarvojen keskimääräinen vaihtelu voiolla suurennpuoleista. Suurissa otoksissa se on huomattavasti pienempää jakahden keskiarvon pienikin ero osoittautuu tilastollisesti merkitseväksi. Merkitsevyystestausilmaisee siis sen, millä varmuudella otoskeskiarvojen erot kuvaavatmyös perusjoukossa vallitsevia eroja. Merkitsevyys on yleistyksen luotettavuuttakoskeva käsite.Erojen merkittävyys tulee päätellä muulla tavoin. Arvioija voi tehdä omatpäätelmänsä, ja viime kädessä lukija päättää itse, onko ero hänen mielestäänmerkityksellinen. Tilastollisesti merkitseviä eroja tulee suurten koehenkilöjoukkojenaineistoissa näkyville jo silloin, kun erot ryhmien välillä ovat käytännössävain muutaman prosenttiyksikön suuruisia. Joissakin tilanteissa näinkinpienillä eroilla saattaa olla todellista merkitystä, mutta useammin käytännönkannalta merkitykselliset erot ovat silti huomattavasti suurempia (esimerkiksilähempänä kymmentä kuin viittä prosenttiyksikköä).Tulosten tasoa kuvailtaessa tässä raportissa on pidetty kiitettävänä tasoa, johonovat keskimäärin päässeet ne oppilaat, jotka ovat saaneet yli 70 % kokeenenimmäispistemäärästä. Hyvänä on pidetty vastaavasti 61–70 %:n tasoa, tyydyttävänä51–60 %:n, kohtalaisena 41–50 %:n, välttävänä 31–40 %:n ja heikkona30 %:n tai sitä alemman tason osaamista kokeen enimmäispistemäärästä laskettuna.2____________________1Tässä raportissa on käytetty termiä tilastollisesti melkein merkitsevä osoittamaan todennäköisyyttä(p-arvoa), joka sijaitsee välillä 0,05–0,01, termiä tilastollisesti merkitsevä osoittamaan p-arvoa, joka on edellistä pienempi (välillä < 0,01–0,001). Tilastollisesti erittäin merkitseväksi onkuvattu p-arvoa, joka on pienempi kuin 0,001. P-arvo ilmaisee todennäköisyyden sille, ettäraportoitu tulos perustuisi sattumaan.2Taitotason kuvausten perusteena olevia pisterajoja on lievennetty kymmenen prosenttiyksikköä9. luokan oppimistulosarviointien tasokuvauksissa käytetyistä (Lappalainen 2001, 51),sillä diagnostiseksi suunniteltu koe oli keskimäärin kymmenen prosenttiyksikköä vaikeampikuin 9. luokkien arvioinneissa käytetyt tehtäväsarjat ovat olleet.47