U provođenju testa značaja ili test hipoteze, postoje dva broja koja se lako zbuniti. Ovi se brojevi lako zbunjuju jer su oba broja između nule i jedan, i obje su vjerojatnosti. Jedan se broj naziva p-vrijednosti testne statistike. Drugi broj interesa je stupanj značajnosti ili alfa. Ispitati ćemo ove dvije vjerojatnosti i utvrditi razliku među njima.
Alfa vrijednosti
Broj alfa je vrijednost praga koju mjerimo p-vrijednosti protiv. To nam govori kako ekstremno promatrani rezultati moraju biti kako bi se odbacila nulta hipoteza testa značaja.
Vrijednost alfa povezana je s razinom pouzdanosti našeg testa. Sljedeće navodi neke razine pouzdanosti s njihovim povezanim vrijednostima alfa:
- Za rezultate s pouzdanošću od 90 posto, vrijednost alfa je 1 - 0,90 = 0,10.
- Za rezultate s 95 posto nivo samopouzdanja, vrijednost alfa je 1 - 0,95 = 0,05.
- Za rezultate s 99-postotnom razinom pouzdanosti, vrijednost alfa je 1 - 0,99 = 0,01.
- I općenito, za rezultate sa stupnjem povjerenja u C posto, vrijednost alfa je 1 - C / 100.
Iako se u teoriji i praksi mnogi brojevi mogu koristiti za alfu, najčešće se koristi 0,05. Razlog za to je oboje, jer konsenzus pokazuje da je ta razina prikladna u mnogim slučajevima, a povijesno je prihvaćena kao standard. Međutim, postoje mnoge situacije kada treba koristiti manju vrijednost alfa. Ne postoji niti jedna vrijednost alfa što uvijek određuje statističku važnost.
Alfa vrijednost daje nam vjerojatnost a greška tipa I. Pogreške tipa I nastaju kada odbacimo nijednu hipotezu koja je zapravo istina. Dakle, dugoročno gledano, za test s a nivo značajnosti od 0,05 = 1/20, istinita nulta hipoteza bit će odbačena jedna od svakih 20 puta.
P-vrijednosti
Drugi broj koji je dio testa značaja je p-vrijednost. P-vrijednost je također vjerojatnost, ali dolazi iz drugog izvora nego alfa. Svaka statistika ispitivanja ima odgovarajuću vjerojatnost ili p-vrijednost. Ova vrijednost je vjerojatnost da se promatrani statistički događaj dogodio slučajno, pod pretpostavkom da je nulta hipoteza istinita.
Budući da postoji nekoliko različitih statistika ispitivanja, postoji više različitih načina za pronalaženje p-vrijednosti. Za neke ćemo slučajeve to morati znati raspodjela vjerojatnosti stanovništva.
P-vrijednost testne statistike je način da kažemo koliko je ta statistika ekstremna za naše uzorke. Što je manja p-vrijednost, to je manje vjerovatno promatrani uzorak.
Razlika između vrijednosti P i alfa
Da bismo utvrdili je li promatrani ishod statistički značajan, uspoređujemo vrijednosti alfa i p-vrijednosti. Postoje dvije mogućnosti:
- P-vrijednost je manja ili jednaka alfa. U ovom slučaju odbacujemo ništavnu hipotezu. Kad se to dogodi, kažemo da je rezultat statistički značajan. Drugim riječima, razumno smo sigurni da je i nešto slučajno samo ono što nam je omogućilo promatrani uzorak.
- P-vrijednost je veća od alfa. U ovom slučaju ne uspijevamo odbiti Nulta hipoteza. Kad se to dogodi, kažemo da rezultat nije statistički značajan. Drugim riječima, razumno smo sigurni da se naši promatrani podaci mogu objasniti slučajno.
Implikacija gore navedenog je da što je manja vrijednost alfa, to je teže tvrditi da je rezultat statistički značajan. S druge strane, što je veća vrijednost alfa, to je lakše tvrditi da je rezultat statistički značajan. U kombinaciji s tim, međutim, veća je vjerojatnost da se ono što smo promatrali može pripisati slučajnosti.