Pri splošni obravnavi anketnega raziskovanja (podpoglavje 4.3.4 Anketno raziskovanje) načeloma velja predpostavka, da je vzorec verjetnosten, kar je osnova za statistično sklepanje o celotni populaciji.
Odgovarjajoča verjetnostna izbira se običajno dosega s slučajnim izborom enot na osnovi spiska celotne populacije (npr. register prebivalstva, seznam vpisanih študentov). Pri tem se enote izbirajo z nekim objektivnim slučajnim mehanizmom, ki v osnovi spominja na tombolo, Največkrat se to izvede v obliki računalniško generiranih slučajnih števil ali s sistematičnim izboromo na osnovi spiska vseh enot. Bistveno je, da je celoten proces neodvisen od raziskovalca, anketarja in tudi od respondenta.
Verjetnostna izbira pa je v realnosti pogosto težko izvedljiva, saj ustrezni spiski pogosto ne obstajajo (npr. seznam naslovov e-pošte za celotno splošno populacijo, seznam vseh obiskovalcev določenega spletnega mesta). Če pa obstajajo, želeni seznami za namene anektiranja pogosto niso dostopni. Tako npr. od fakultete ni mogoče pridobiti spiska vseh e-poštnih naslovov študentov, da bi jih uporabili za vabilo v anketo, kjer bi študent za potrebe diplome raziskoval določeno vprašanje, čeprav fakulteta sicer s takim spiskom razpolaga. V primerih, ko seznam obstaja in je načeloma dostopen, pa je pridobivanje pogosto zapleteno, drago, zamudno in zaradi naraščajočih težav z zasebnostjo vse bolj komplicirano. Tako je npr. precej težavno od Statističnega urada pridobiti za potrebe anketiranja naslove za vzorec oseb, saj je potrebno dokazovati znanstveno-raziskovalni nameni, nato pa je treba kriti tudi določene stroške.
Zaradi vrste razlogov, posebej stroškovne in časovne optimizacije, nastajajo v praksi večja ali manjša odstopanja od načel verjetnostnega vzorčenja. V vseh teh primerih imamo opravka z neverjetnostnimi vzorci, kjer osnovna značilnost verjetnostnih vzorcev ne velja več: vnaprej znana in tudi pozitivna verjetnost za vključitev v vzorec za vse enote populacije. V nadaljevanju je navedenih nekaj tipičnih primerov neverjetnostnega vzorčenja v družboslovnem anketnem raziskovanju:
- Priložnostno vzorčenje: anketar za osebno terensko anketiranje izbere poljubne osebe, posebej pogoste so tako imenovane prestrezne ankete mimoidočih na ulici ali v nakupovalnih središčih (ang. mall intercept);
- Kvotni vzorci: anketar za osebno terensko anketiranje izbere poljubne osebe v določenem območju, podobno kot pri priložnostnem vzorčenju, vendar pri tem dodatno upošteva določene vnaprej opredeljene kvote, npr. polovico moških, polovico žensk ali tretjino mlajših, tretjino srednjih let, tretjino starejših ipd.
- Ekspertni vzorci: enote v vzorec izbere ekspert oziroma poznavalec, npr. izbira petih najbolj tipičnih naselij v Sloveniji;
- Namenski vzorci: enote izbere raziskovalec po svojem subjektivnem preudarku, glede na namen raziskave, npr. varovance v najbližnjem domu starejših občanov za anketo med starostniki;
- Samo-rekrutiranje se lahko izvaja preko klasičnih načinov anketiranja: poštnih anket (npr. glasovnice v revijah), SMS anket (npr. online odziv na TV oddajo), telefonskih klicev (televoting), osebnih anket (npr. javni plakat s pozivom vsem mimoidočim za vključitev v anketo, ki poteka v kabinah na ulici) ipd.;
- Spletno samo-rekrutiranje: enote se v spletno anketo odzovejo na osnovi javno objavljenega spletnega oglasa (npr. oglasna pasica, prilagojen oglas, pop-up ipd.), spletne novice, pa tudi na osnovi poziva v klasičnih medijih (TV, radio, tisk, cestni panoji) ipd.
- Spletna družabna omrežja: gre za poseben tip spletnega samo-rekrutiranja, ki se razteza od objave vabil na določenih spletnih družabnih omrežjih, aktivnega pozivanja svojih spletnih »prijateljev«, natančnega ciljnega oglaševanja, pa vse do kreiranja namenskih skupin, ki služijo promociji določene ankete;
- Gverilsko rekrutiranje na spletu: gre za inovativne pristope, s katerimi skušamo na različne načine na spletu zbuditi pozornost in pritegniti respondente. Prijemov je lahko veliko, od viralnega marketinga, kjer ciljne enote zaradi privlačnosti ali intrigantnosti vsebine same nadalje razširjajo vabilo, domiselnih načinov nagrajevanja, pa do delovno intenzivnega agitiranja v spletnih forumih, spletnih družabnih omrežjih in drugih spletnih mestih;
- Spletni paneli: za proučevanje splošne populacije (in tudi za številne posebne pod-populacije) postajajo spletni paneli glavni vir anketnih podatkov. Večinoma so paneli neverjetnostni (angl. acces panel). Sestavljeni so iz članov, ki so bili rekrutirani na najrazličnejše načine (npr. na koncu neke klasične ali spletne ankete, preko oglasa na internetu, ob nakupu izdelkov ipd.), in so na samem začetku pristali na pogoje sodelovanja, pri čemer so za sodelovanja praviloma tudi nagrajeni (npr. denar, prispevek v dobrodelne namene, loterijski listek, trgovinski boni ipd.). V Sloveniji imajo spletne panele vsa večja marketinško-raziskovalna podjetja (Aragon, GFK, Valicon, Mediana, Episcenter ipd.), obstajajo pa tudi globalni paneli z deset milijoni članov. Dodati velja, da poleg običajnih komercialnih spletnih panelov, ki so neverjetnostni, obstajajo tudi verjetnostni paneli, vendar so redki in bistveno dražji. Zaradi nizke stopnje sodelovanja, ki sumarno običajno ne presega 20 %, pa je lahko tudi sicer vprašljiva njihova verjetnostna narava.
Neverjetnostni vzorci se ne pojavljajo le v družboslovju, ampak tudi na področju tehnike in biotehnike, če npr. študiramo učinek ali uporabo določene tehnologije na ljudi, in posebej v medicini, kjer analiziramo npr. vpliv določenih dejavnikov na človeško zdravje. Pri tem pogosto ne gre za ankete, ampak za opazovanje enot ali za poskuse, pri čemer enote niso nujno osebe. V naravoslovju je namreč enota, ki jo izberemo v vzorec opazovanja ali v poskus, lahko vzorec snovi (npr. voda), v tehniki je to npr. en primerek naprave (npr. avto), v biotehniki je lahko npr. naključno izbrana rastlina (npr. sadika), v medicini pa tudi vzorec npr. krvi določene osebe. V vseh navednih primerih se upravičeno predpostavlja, da so priložnostno (torej neverjetnostno) izbrane enote tako zelo tipične, standardizirane in »reprezentativne«, da verjetnostno vzorčenje ni potrebno, pogosto pa je tudi neizvedljivo (npr. verjetnostni vzorec vse krvi določene osebe ali verjetnostni vzorec vse vode sveta). Neverjetnostno vzorčenje se v posebej velikem obsegu uporablja tudi pri kliničnih študijah v medicini, kjer se zdravila preverjajo na samo-rekrutiranih prostovoljcih in na priložnostnih oziroma zatečenih bolnikih, ki so trenutno na zdravljenju. Čeprav osebe niso izbrane slučajno, pa dejstvo, da določeno zdravilo ugodno deluje na npr. nekaj deset bolnikih, obolelih za določeno boleznijo, v eni bolnici, nudi dobro osnovo za sklepanje, da bo delovalo na vseh tovrstnih bolnikih v vseh bolnicah. Podobno sklepamo, da bi v primeru, ko ima določena snov učinek na nekaj deset laboratorijskih miši, imela zelo verjetno enak učinek na vse tovrstne miši na svetu. Tovrstno sklepanje velja tudi npr. za vzorce rastlin, kjer preizkušamo vpliv določene nege na njihovo rast. V še večji meri velja vse to v primeru, ko dokazujemo značilnosti določeno spojine oziroma snovi: če smo zakonitost dokazali le na majhnem vzorcu določene snovi, zaključki veljajo za vso tovrstno snov na planetu.
Zgornji primeri dokazujejo, da neverjetnostna izbira enot zadošča (oziroma je robustna) na celi vrsti znanstvenih področij. V nekoliko manjši meri velja to v družboslovju in humanistiki, saj se osebe v svojem družbenem delovanju med seboj bistveno bolj razlikujejo kot pa se osebe med seboj razlikujejo v svojem biološkem ustroju. Še neprimerno bolj se seveda osebe razlikujejo v primerjavi z enotami v naravoslovju, kjer so npr. vsi atomi vodika povsem enaki, zato je za analizo primeren katerikoli vodikov atom. Na drugi strani pa priložnostno izbrana oseba (ali pa priložnostno izbran vzorec) v družboslovnem smislu nikakor ne more predstavljati kar vseh enot v populaciji. To lahko dosežemo le s kvalitetnimi verjetnostnimi vzorci. Tveganja pri uporabi neverjetnostnih vzorcev so zato v družboslovju zelo velika.
Izrecno velja zato ponoviti, da vedno, kadar imamo neverjetnostni vzorec, obstaja tveganje, da se pri sklepanju oziroma posploševanju na celotno populacijo motimo. Pri tem je tveganje – za razliko od tveganja, ki ga pri verjetnostih vzorcih (natančnosti, interval zaupanja) lahko izračunamo vnaprej –, pri neverjetnostnih vzorcih načeloma neznano.
V tem okviru zato neverjetnostna izbira v anketnem raziskovanju (npr. priložnostno anketiranje ljudi na eni ulici) načeloma ne more biti dobra osnova za statistično sklepanje o celotni populaciji (npr. vseh Slovencev). Kljub temu tudi v družboslovju za določene probleme oziroma namene neverjetnostni vzorci povsem zadoščajo. Kakovost podatkov iz neverjetnostnih vzorcev – čeprav je v splošnem seveda slabša kot pri verjetnostnih vzorcih – namreč pogosto zadošča za celo vrsto namenov, posebej marketinških in stališčnih, kar je bilo obravnavno že v okviru obravnave koncepta robustnosti (glej zaključek podpoglavja 4.3.4 Anketno raziskovanje). Zato ne preseneča, da neverjetnostni vzorci danes visoko prevladujejo. Nekaj primerov:
- mnenje priložnostno anketiranih obiskovalcev ljubljanske tržnice je lahko informativno za oceno trendov na področju gibanja cen zelenjave na ljubljanski tržnici, morda tudi v celi Sloveniji;
- v spletnih panelih so številne marketinške karakteristike lahko zelo dobro ocenjene (tržni deleži gaziranih pijač, tržni deleži ponudnikov mobilne telefonije), posebej pa se lahko dobro ocenjene povezave med spremenljivkami (npr. vpliv spola na izbiro blagovne znamke gaziranih pijač ali izbiro ponudnika mobilne telefoniji); v manjši meri pa so spletni paneli primerni za mnenjske spremenljivke s področja politike, saj običajno močno precenjujejo deleže levih strank;
- ankete prek fiksnega telefona pogosto zadenejo politično razpoloženje, čeprav je v njih običajno preveč delovno neaktivnih oseb (npr. upokojenci, brezposelni ipd.), čeprav so na drugi strani v primeru, ko proučujemo spremenljivke, ki so povezane z npr. upokojenskim statusom, dobljeni rezultati lahko napačni.
- ankete prek spletnih družabnih omrežij, ko študent povabi k izpolnjevanju ankete vse svoje omrežne »prijatelje«, so lahko primerne za merjenje razpoloženja ali obnašanja med določenimi študenti, npr. konzumiranje kanabisa ali poslušanje določene glasbe. Na tej osnovi pa verjetno ne bo mogoče pravilno oceniti populacijskega deleža Slovencev, ki npr. konzumirajo kanabis ali poslušajo določeno zvrst glasbe. Kljub temu pa bo na osnovi takega vzorca mogoče razmeroma dobro oceniti povezanost, ki obstaja (posebej v mlajši populaciji) med spolom in uživanjem kanabisa oziroma med spolom poslušanjem določene glasbene zvrsti.
Kot rečeno imajo verjetnostni vzorci posebej velike prednosti v stroških in času. Tako je lahko npr. minuta respondentovega časa v spletnem panelu nekajkrat cenejša (npr. 0.2 €) kot pri telefonskem (npr. 0.6 €) ali terenskem anketiranju (1.0 €). V časovnem smislu pa je prihranek lahko še bistveno večji (npr. tri dni ali celo tri ure v spletni anketi nasproti trem mesecem v verjetnostnem vzorcu osebnega terenskega anketiranja).
Posebej pogosti so neverjetnostni vzorci v diplomah. Študenti namreč nimajo sredstev niti časa, da bi izvedli verjetnostne vzorec, pogosto pa zaradi narave problema to tudi ni potrebno. V pogledu stroškov so lahko za študente posebej ugodni podatki na osnovi neverjetnostnih spletnih panelov, saj je mogoče minuto respondentovega časa kupiti že za nekaj deset centov. Deset kratkih vprašanje je zato mogoče na vzorcu okoli 200-300 enot dobiti že za manj okoli 100€ ali celo manj. Navedeni strošek je v bistvu tako majhen, da neredko odtehta napore, ki bi jih študent porabil, če bi hotel preko spleta v anketo pritegniti 200-300 oseb. Zaradi zasičenost s spletnimi dražljaji se namreč na običajna vabila »prijateljem« na spletnih družabnih omrežjih odzove manj kot 5 % enot. Tudi gverilsko rekrutiranje, npr. z agitiranjem v spletnih forumih in spletnih omrežjih je lahko, glede na porabljen čas, primerjalno gledano manj učinkovito. Pri ambicioznih diplomah v družboslvoju, ki imajo pomembno empirično komponento, je sicer smiselno pretehtati tudi telefonske ankete, saj je nekaj ključnih vprašanj, za katere želimo preveriti razpoloženje v celotni populaciji, lahko glede na kvaliteto informacije še vedno razmeroma poceni. Pretehtati velja tudi priložnostno terensko osebno anketiranje, posebej v primeru zelo specifičnih populacij. Kratka anketa o vandalizmu nad avtomobili, ki jo izvedemo na parkiriščih, nam lahko v nekaj urah dela, ali največ v nekaj dnevih, omogoči, da pridobimo več sto kakovostno izpolnjenih vprašalnikov, kar bi sicer na druge načine težko pridobili.
V nadaljevanju je podanih nekaj ključnih usmeritev, ki jih velja upoštevati, kadar v diplomi uporabljamo neverjetnostno vzorčenje:
- Splošna priporočila za izboljšanje kakovosti neverjetnostih vzorcev. Koristni so lahko naslednji prijemi: uporabimo kombinacijo z verjetnostnimi metodami (npr. šole izberemo v vzorec verjetnostno, učence znotraj šol pa neverjetnostno), povečamo razpršenost rekrutiranja (npr. oglašujemo na različnih spletnih mestih, gverilsko agitiramo v različnih spletnih forumih, uporabimo tudi klasično oglaševanje, npr. letake), vnaprej določimo kvote (npr. ženske, moški), z ustrezno strategijo izbora vnesemo določeno slučajnosti (npr. vključitev v vzorec vsake n-te enote, obiskovalca, mimoidočega), predvsem pa uporabimo kakovostno uteževanje in morebitnega modeliranja podatkov. V primeru spletnih panelov to pomeni predvsem premišljeno vnaprejšnjo izbira enot iz celotne baze spletnega panela, ki mora seveda biti čim večja, čim bolj kakovostna in čim bolje upravljana (npr. reguliranje obremenitev, nagrajevanje). Na tej osnovi lahko s stratifikacijo ali uparjanjem (angl. matching) izberemo želeno strukturo vzorca oziroma enote, ki so najbolj podobne želenim enotam.
- Razumevanje narave neverjetnostnega vzorčenja. Zavedati se je treba, da neverjetnostno vzorčenje ni znanstveno vzorčenje in torej ni znanost (angl. science), ampak umetnost, veščina, umetelnost oziroma obrt (angl. art), kjer štejejo predvsem izkušnje, občutek, intuicija, upravljanje s tveganji in promocijska strategija. Posebej pomembno je pridobivanje občutka, s katerim razmejujemo, za katere probleme je določen neverjetnostni vzorec primeren in za katere ne. Kot je bilo že omenjeno, so taki vzorci bistveno bolj primerni za proučevanje odnosov, saj so korelacije razmeroma robustne za odstopanja od načel verjetnostnega vzorčenja, manj pa so primerni za ocenjevanje populacijskih deležev ali povprečij.
- Razumevanje nevarnosti pri uporabi neverjetnostnega vzorčenja. Pri neverjetnostnih vzorcih vnaprej ne moremo napovedati, kakšno je tveganje, da se motimo, kot je bilo to mogoče pri verjetnostnih vzorcih, kjer smo navedeno tveganje lahko kvantificirali preko preko intervalov zaupanja. Na osnovi preteklih izkušenj sicer lahko domnevamo, kakšna bo kakovost ocen na osnovi določenega neverjetnostnega vzorca, in na tej osnovi tudi domnevamo ali verjamemo (ironična oznaka za neverjetnostni vzorčenje je tudi »faith-based sampling«), da so rezultati pravilni, vendar tveganja vnaprej ne poznamo. Če so npr. podatki določenega spletnega panela zadoščali za analizo problematike mobilnih operaterjev v preteklih letih, kar smo redno preverjali in potrdili s preverjanjem uradnih tržnih deležev, potem je spletni panel primeren tudi za naslednjo raziskavo na tem področju. In obratno, če se je spletni panel izkazal za neprimernega pri vsem dosedanjem ocenjevanj volilnih izidov, potem tudi v bodoče verjetno ni pričakovati nenadnih sprememb.
- Zavedanje problematičnosti statističnega sklepanja na osnovi neverjetnostnih vzorcev. Statistično sklepanje (npr. intervali zaupanja, preverjanje domnev) na osnovi neverjetnostni vzorcih načeloma ni mogoče niti to ni dovoljeno. Običajno vzorčno povprečje, ki ga izračunamo na osnovi enot v (neverjetnostnem) vzorcu, namreč ne more oceniti populacijskega povprečja, če ne poznamo dejanskih verjetnosti za izbiro enot v vzorec. Posploševanje enostavnega izračuna povprečja iz vzorca na populacijo namreč avtomatično predpostavlja, da poznamo verjetnost za vključitev v vzorec za vse enote in hkrati s tem tudi predpostavlja, da so vse verjetnostni tudi enake. To je pa seveda zelo nerealna predpostavka. Če smo npr. enote izbrali priložnostno na eni sami ulici ali na eni sami spletni strani, potem je jasno, da ne poznamo verjetnosti za vključitev za nobeno enoto, poleg tega pa ima večina enot verjetnost nič. Če statistično sklepanje kljub temu izvajamo – kar je sicer postala že povsem običajna praksa – moramo opraviti naslednje:
- Podrobno moramo opisati postopek izbire enot v vzorec, in to z večjo natančnostjo kot pri verjetnostnih vzorcih.
- Odkrito moramo navesti, da verjetnosti za vključitev enot v vzorec v resnici ne poznamo, vendar kljub temu izvajamo statistične izračune (npr. povprečja, deleže, variance, intervale zaupanja) in s tem brez neke prave osnove predpostavljamo, da so te verjetnostni znane in celo enake. Ob tem je treba odkrito navesti, da je zaradi take predpostavke tveganje, da se motimo, znatno in povsem neznano.
- Če obstajajo kakšna dejstva (npr. primerjava strukture vzorca in populacije) ali pretekle izkušnje (npr. uspešna prejšnja anketa), ki dokazujejo ali nakazujejo, da so bili na tak način pridobljeni pravilni rezultati, je to treba izčrpno navesti oziroma dokumentirati.
- Primer metodoloških pojasnil pri uporabi neverjetnostnega vzorca. Če smo za potrebe diplome enote rekrutirali v neverjetnostni vzorec, je smiselno, da odgovarjajoče metodološko pojasnilo vključuje, smiselno prilagojene, naslednje elemente:
a) V spletno anketo sem povabil 660 svojih Facebook prijateljev (navesti je treba nadaljnje podrobnosti, kdaj, kako, koliko vabil). Najbližjih pet kolegov sem dodatno zaprosil, da še oni povabijo vse svoje Facebook prijatelje, kar so tudi storili in poslali še 2,100 vabil (navesti je treba nadaljnje podrobnosti, kdaj, kako, koliko vabil). Pri tem so se določene osebe seveda prekrivale. Poleg tega sem v anketo povabil tudi izbor 350 e-poštnih naslovov v svojem e-poštnem imeniku (nadaljnje podrobnosti, kdaj, kako, koliko vabil), kar se ravno tako v določeni meri prekriva s Facebook prijatelji. Vabilo sem objavil tudi v forumu SloTech (navesti je treba nadaljnje podrobnosti, kdaj, kako, koliko vabil).
b) Na URL ankete je kliknilo 500 enot, pri čemer je 250 enot odgovorilo vsaj na eno vprašanje. Na osnovi analize spletne ankete lahko razberem, da je Facebook generiral 120, SloTech 50, e-poštna vabila pa 80 odgovorov. Od skupno 250 enot z odgovori je 150 enot odgovorilo na celoten vprašalnik, ostale pa so anketo predčasno zapustile.
c) Enote, ki so odgovorile, niso bile zbrane z verjetnostnim mehanizmom, ampak so bile rekrutirane zelo na specifičen način. Običajno statistično sklepanje iz vzorca na populacijo zato ni mogoče. Izračunana povprečja oziroma ocene deležev se nanašajo zgolj na lastnost respondentov, ki so v raziskavi sodelovali. Odnos ocen iz mojega vzorca do lastnosti oziroma parametrov celotne populacije je načeloma neznan. Navedeno velja tudi za vse ostale statistične izračune.
d) Tveganje, če bi – kljub neverjetnostnemu vzorcu – rezultate posploševali na celotno slovensko populacijo, je zato neznano. V nekoliko manjši meri velja to tudi pri posploševanju rezultatov zgolj na mlajšo generacijo 19-25 let. Glavnino vzorca namreč predstavlja moj socialni krog, ki je sestavljen predvsem iz generacije 19-25 let, čeprav ne odraža vseh mladih v Sloveniji. V mojem socialnem krogu namreč visoko (95 %) prevladujejo študenti družboslovja ter študenti uporabniki SloTech, ki so računalniško oziroma tehnično nadpovprečno orientirani. Primerjava s splošno populacijo pokaže, da študenti v Sloveniji predstavljajo polovico celotne generacije 19-25 let. Ravno tako je v mojem vzorcu preveč moških (75 %), saj jih je v odgovarjajoči slovenski populaciji okoli polovica.
e) Kljub temu lahko dobljeni rezultati v določeni meri odražajo stališča in ravnanja študentov ter računalniško orientiranega dela mlade generacije. Izkušnje podobnih anket, ki so bile opravljene na verjetnostnem vzorcu (navesti je treba vir), namreč kažejo, da se analiza dejavnikov obravnavane ciljne spremenljivke dobro ujema z rezultati moje raziskave. Ravno tako se socio-demografska (npr. regije) struktura mojega vzorca – razen spola in deleža študentov – ujema s populacijsko strukturo mlade generacije (primerjave je treba navesti v prilogi).
f) Splošne izkušnje tovrstnih anket (glej npr. Callegaro et al. 2015) kažejo, da je analiza povezanosti med spremenljivkami – v primerjavi s kvaliteto ocenjenih povprečij oziroma deležev – praviloma robustna, zato so odgovarjajoče statistične analize (korelacije, preverjanje domnev, regresija), ki analizirajo povezanost z mojo ciljno spremenljivko, lahko informativne za celotno mlajšo populacijo. Še vedno seveda obstaja določeno (neznano) tveganje, da rezultatov ni mogoče posploševati, je pa v primeru ocenjevanja povezanosti (korelacij) tveganje kljub vsemu manjše kot pri ocenjevanju povprečij oziroma deležev.
Nadaljnja razprava je v Vehovar, Toepoel and Steinmitz: Nonprobabilty sampling.
<< Nazaj | Naprej >> |