V nadaljevanju so predstavljena priporočila za izdelavo raziskovalnih poročil, s poudarkom na empiričnem družboslovju. Osnovni predlog priporočene strukture je tukaj: Template_2021X.

Veliko spodaj navedenih priporočil je sicer že vključenih v podpoglavja Statistične analize, Tabele in grafi. Analitičnost, Jezik in izražanje, kjer so odgovarjajoče vsebine obravnavana podrobno in celovito.

Priporočila so v osnovi nastala nastajala za potrebe projekta RIS www.ris.org, kjer je bilo potrebno hitro in učinkovito uvesti študente v praktično pisanje raziskovalnih poročil. Dokončno so se oblikovala pri nekaterih empiričnih predmetih programa Družboslovna informatika v smislu priporočil za izdelavo empiričnih seminarskih nalog in projektnih nalog.

———————————————

I. Nekaj splošnih usmeritev

  1. Poročilo mora biti celovito, koherentno, teče naj logično in mora biti kompetentno.
  2. Pri izražanju morajo biti stavki premišljeni in koncizni, kar v prvi vrsti pomeni, da morajo biti ideje strnjene in urejene, brez odvečnega ponavljanja.
  3. Za izdelavo poročila je potreben čas, da se snov in struktura usede. Tega ne moremo nadomestiti z nobeno tehniko.
  4. Najbolje je, če v postopku izdelave poročila sodeluje tudi nekaj zunanjih oseb, ki berejo osnutke. Komentarji sodelavcev in kolegov so pri nastajanju poročila bistveni in neprecenljivi. V kar največji meri je zato treba komunicirati in izmenjavati osnutke. Pri tem ne gre le za sodelavce, ki delajo na istem poročilu, ampak tudi za tretje osebe, ki lahko, neobremenjene z raziskavo, hitro vidijo pomembne pomanjkljivosti.

II. Stil in izražanje

Smiselno velja upoštevati priporočila o jezikovni urejenost, ki se nahajajo v poglavju Jezik in izražanje. V tem okviru velja posebej izpostaviti naslednje vidike:

  1. Stavki naj ne bodo dolgi, izogibamo se žargona, odvečnih besed, izumetničenosti.
  2. Če je le mogoče, pišemo v prvi osebi množine ali v pasivu; izogibamo se prve osebe ednine.
  3. Če je le mogoče, uporabljamo sedanji čas.
  4. Stil naj bo živahen. Izogibamo se besednih klišejev, kot npr. trditve, ki so trivialne in tavtološke. Nobenih praznih besed, fraz, trivialnosti in mašil.
  5. Pri citatih je potrebna natančnost in korektnost. Vse kar navedemo od drugih virov in avtorjev, moramo tudi citirati, in obratno.
  6. Jezikovno mora biti poročilo brezhibno. Enako velja za tehnične detajle. To najlažje preverimo, če poročilo preberejo tretje osebe.
  7. Obvezno spustimo slovenski črkovalnik, tudi za osnutke.
  8. Nikoli ne začenjamo stavka s številko, npr. z odstotkom.

III. Oblika

Oblikovanje besedila je podrobno obravnavano v poglavju Format. Izpostavljamo ključne poudarke;

  1. Dobrodošla je lepo oblikovana naslovnica. Vendar: če nismo oblikovalec oziroma nimamo sredstev, da bi ga najeli, je bolje ostati pri tehnicističnemu minimumu, kjer so zgolj funkcionalni elementi in nič odvečnega.
  2. Ni odveč poudariti, da je oštevilčevanje pomembno že od prvega osnutka naprej.
  3. Dobrodošli so grafični poudarki določenih besed, vendar jih ne sme biti preveč (naj jih bo npr. največ zgolj nekaj na stran). Pri tem se uporablja predvsem italics in bold, nikoli pa ne podčrtavanje. Pri uporabi poudarkov moramo biti seveda konsistentni.
  4. Koristno je lahko nekaj barve v besedilu, vendar to nikakor ni nujno. Načeloma pa uporabimo ne več kot dve barvi, razen, če imamo sredstva, da najamemo profesionalno grafično oblikovanje.
  5. Med odstavki dajemo dosledno prazno vrstico, vedno na enak način. Če ni določeno drugače, tudi ne zamikamo prve vrste odstavka.
  6. Tekst naj ima obojestranko (angl. justified) poravnavo, slike in tabele pa so centrirane.
  7. Pri naštevanju dajemo na koncu vsake alineje konsistenten znak, bodisi vejico (če gre za kratke navedbe) bodisi podpičje, če gre za stavke ali odstavke.
  8. Poskrbimo za running head (header – tekoče poglavje, footer – publikacija in copyright).
  9. Skrbno pregledamo prelom strani. Pri prelomu ne varčujemo s stranmi in ne izgubljamo časa, če je na eni strani samo en odstavek ali samo ena tabela. Odstranimo le največje ekstreme (npr. na novi strani je le en stavek ali na dnu strani le naslov), sicer pa imamo raje dve strani kot eno.
  10. Končni izpis vedno pregledamo še enkrat; prelistamo v miru, če je printer izpisal pravilno.
  11. Črke naj bodo načeloma »font 12«, nadnaslovi so lahko večji. Privzeto uporabljamo tip »times new roman«. Obstajajo seveda izjeme, če so utemeljene s priporočenim oblikovalskim stilom raziskovalnih poročil določene organizacije. Pri običajnih poročilih nikakor ne eksperimentiramo s črkami. Privzet razmik naj bo 1.5pt.
  12. V primeru obsežnejšega poročila (več kot cca 60 strani) so v primeru tiskanja primerne mape z ušesi. Med obsežnejša poglavja lahko v takem primeru dajemo prazne liste (z morebitnim naslovom poglavja).
  13. Izogibamo se opomb pod črto (angl. footnote); uporabimo jih izjemoma za opis kake manj pomembne podrobnosti. Vse kar je pomembno, mora biti v glavnem tekstu*.

IV. Tabele

  1. Tabele morajo biti pregledne in razumljive v nekaj deset sekundah, sicer niso dobro zastavljene. Dosledno jih oštevilčujemo. Pri vzročni/kavzalni povezavi jih obrnemo tako, da je možno za kategorije neodvisne spremenljivke v vrsticah razbrati odstotke za vsako kategorijo odvisne spremenljivke.* Pri tem morajo biti razvidne tudi frekvence v posameznih tabelah.
  2. V tabelo zapišemo vse možne vrednosti posamezne spremenljivke (vključno z vrednostmi “ne vem”, manjkajočimi vrednostmi, ipd.). Če je možno (in smiselno), izračunamo in zapišemo tudi absolutne vrednosti (N).
  3. V naslovu tabele ali slike vedno zapišemo od česa je izračunan odstotek, npr. … med mesečnimi uporabniki interneta. ** (DL)
  4. V tabelah uporabljamo nekoliko manjši font, običajno 10 pt, razen če je uradno predpisano drugače. Po potrebi ga lahko za večje tabele še nekoliko zmanjšamo, da so predstavljene na eni strani. Če niso vodoravna polja v več vrsticah, uvedemo zebre (vsako drugo vrstico razlo osivimo).
  5. Uporabimo avtomatsko oštevilčevanje (caption) – (prikaz načinov označevanja v Wordu). Posamezno tabelo označimo tako, da na njo kliknemo z desnim klikom in izberemo ‘Insert caption’. Tabele označimo dvonivojsko, kar pomeni, da prva številka pomeni poglavje, druga pa je zaporedna številka tabele. To naredimo tako, da v oknu ‘Caption’ kliknemo na ‘Numbering’ in označimo ‘Include chapter number’. Najprej izberemo Heading 1, kot separator pa izberemo piko. Če se na tabele in grafe tudi sklicujemo imamo na voljo dve strategiji:
    • ali uporabimo opcijo Crossreference, ki je v Wordu tik pod ukazom Caption, s tem se bo tudi referenca ustrezno spremenila
    • ali pa se nikoli eksplicitno ne sklicujemo na določeno tabelo ali sliko, ampak zgolj implicitno (V spodnji tabeli….)
  6. Tabele in grafe vrinemo v tekst tako, da se premikajo s praznimi vrsticami tako kot celoten ostali text in ne da jih moramo pozicionirati posebej (v Excelu je treba uporabiti ukaz overfloat, ki je sicer že default opcija).*
  7. Za grafe v Excelu poskrbimo, da je v ozadju tabele/grafa v Wordu tudi Excell razpredelnica, iz katere smo naredili graf.*
  8. Med tabelami in tekstom dajemo prazne vrstice. Enako velja tudi za prostor med tabelo/sliko in legendo – vmes je prazna vrstica.
  9. NAD tabelo je jasno navedeno Tabela (bold), zaporedna številka poglavja, zaporedna številka tabele, naslov tabele, vir, datum in po možnosti tudi velikost vzorca, npr.: Tabela 3: Delež uporabnikov interneta v slovenski populaciji 10– 75 let ( Vir: Telefonska anketa RIS, junij 2001, n=1000.)
  10. V naslovu tabele napišemo poudarjeno, kaj je v tabeli pravzaprav enota, kaj klasificiramo in kaj tabela sporoča. Tako se pri analizi podjetja ne reče npr. “Dohodek podjetij….”, ampak so “Podjetja glede na dohodek…”** Navedba naj bo po potrebi nekoliko daljša, tako da je tabela tudi sama po sebi razumljiva. Če je v tabeli prikaz podatkov glede na filter (npr. samo podjetja, ki so pred tem rekla, da imajo internet) je treba to jasno povedati. Tabela mora imeti toliko informacij, da je razumljiva tudi izven konteksta poročila.
  11. Ob tabeli (pred ali za njo) navedemo njeno bistveno sporočilo, za kar je seveda potrebno tabelo pred tem v celoti doumeti. Nikakor pa mehanično ne navajamo množice zapletenih odstotkov iz tabele, kar je nadvse pogosta napaka. Če že navedemo kak odstotek, ga običajno navedemo v oklepaju za vsebinsko trditvijo, npr. »…polovica respondentov (52%) je mnenja…«.
  12. Pri tabeli, če le ni povsem trivialna, vedno interpretiramo vsaj eno številko iz tabele (npr. »… odstotek 32% v prvi vrstici pomeni delež žensk med bralci …«). To je posebej pomembno pri zahtevnejših tabelah, kjer je veliko številk. V vsaki tabeli, kjer so odstotki, tudi vedno navedemo stolpec ali vrstico, kjer so vsote 100.**

Kategorije oz. spremenljivke vedno sortiramo glede na najbolj primeren kriterij. Če imamo npr. podjetja po dohodku, sortiramo bodisi po prihodku, lahko pa tudi po abecedi (odvisno od konteksta), vendar običajno sortiramo po ciljni spremenljivki (torej prihodku). Podobno sortiramo tudi npr. komponente, ki smo jih ocenjevali na skali 1-5. Nikakor pa ne pustimo sortirane tako, kot je bila generirana, npr. v SPSS-u*.

V. Grafi

Podobna priporočila veljajo tudi za grafe oziroma slike, kjer pa je legenda včasih lahko POD sliko. Pri tem pišemo Slika in ne Graf. Pri grafih nikoli ne delamo stolpcev (histogram), če je pojav urejen, npr. za podatke po letih vedno naredimo poligonsko črto. In obratno, nikakor ne delamo linij (poligonov), če je pojav nominalen, npr. političnih strank ne moremo prikazati povezanih z grafom, ampak samo s stolpci.

  1. Pri izdelavi grafov uporabimo vse opcije, ki jih nudi Excell* za povezovanje več grafov in za učinkovito predstavitev več dimenzij. Pri časovnih vrstah mora biti abscisna os v časovnem formatu, s čimer se izdelajo pravilni razmiki. Pri strukturnih stolpcih mora bit legenda orientirana tako, kot je sam graf, v istem vrstnem redu; ne smejo biti stolpci navpično, legenda pa vodoravno, posebej če je tisk črno-bel*?
  2. Pri grafih poskrbimo za pošteno skalo. Če ni prevelika, je najbolje kar celotna skala, npr. celotna lestvica 1-5 za mnenja, četudi se naš pojav giba med 3.1-3.4. Podobno velja tudi za ocenjevanje odstotkov, kjer začnemo z 0 in končamo s 100. Če imamo le eno dimenzijo, npr. mnenje 1-5, potem vedno naredimo (vodoravni ali navpični strukturni stolpec) in ne histograma.
  3. Pri histogramih se v grobem držimo priporočila o 5-8 grupah, česar ne presežemo niti pri strukturnih krogih.
  4. Če so v tabeli strukturni odstotki, vedno navedemo eno kolono ali vrstico, kjer je zadeva 100%. To bistveno pripomore k hitremu branju.*
  5. Dihotomk seveda nikoli ne prikazujemo kot povprečja .*
  6. Pri grafih z linijami vedno sortiramo legendo glede na zadnjo vrednost abscise (od zgoraj navzdol).
  7. Navesti velja tudi usmeritve FDV (Navodila za pisanje strokovnih besedil) glede grafov in tabel, ki jim morajo upoštevati študetni FDV:
    • Zaželene so tiste tabelarične in slikovne ponazoritve, ki pripomorejo k razumljivosti in preglednosti dela; njihov smisel je sintetični prikaz zbranih podatkov ali ugotovitev.
    • Uporabljamo samo generični poimenovanji “tabela” in “slika” in ne poimenovanj, kot so graf, skica, shema ipd. (to so slike) ali preglednica (to je tabela).
    • Tabele in slike morajo biti opremljene z natančnimi naslovi s čim večjo pojasnjevalno vrednostjo.
    • Naslovi so nad tabelo ali sliko in so oštevilčeni.
    • Tabele in slike številčimo ločeno, številčenje obojih pa je dvomestno: prva številka označuje številko glavnega poglavja, druga pa zaporedno številko tabele ali slike v tem poglavju. Za naslovom tabele ali slike ni pike.
    • Vsaka tabela ali slika mora biti v besedilu vsaj enkrat omenjena (npr.: gl. Tabelo 2.1, Na Sliki 2.1 je razvidno, da …) in po potrebi širše pojasnjena. V besedilu naj bodo tabele in slike
      vstavljene čim bližje mestu, na katerem se nanje sklicujemo (ne pa npr. dve strani za tem).
    • Če je tabela ali slika prevzeta iz drugega vira, mora biti neposredno pod tabelo ali sliko naveden njen vir, in sicer v obliki navedenke (o tem gl. v poglavju 4 in 5). Pod tabelo napišemo besedo Vir, tej pa za dvopičjem sledi sklic.

VI. Struktura poročila

  1. Zelo pomembno: poročilo čim bolj podrobno strukturiramo, saj pripomore k berljivosti, privlačnosti in komunikativnosti poročila. Pri tem uporabljamo tako kazalo* kot tudi ustrezno označevanje odstavkov (Bullets and Numbering) in alinej. Pri tem seveda ne pretiravamo (običajno pa je strukturiranost premajhna in ne prevelika) in pazimo, da je strukturiranost logična in konsistentna na vseh nivojih.
  2. K dobri strukturi posebej veliko pripomore tudi ustrezno vključevanje celostne grafike. Pri tem ne gre le za statistične grafe in tabele, ampak tudi za splošno oblikovanje in siceršnje grafične vložke. Tako npr. lahko v samem poročilu vključimo slike potrošnikov v restavraciji, če obravnavamo to področje, čeprav seveda niso povezane z nobenimi statističnimi ugotovitvami. Seveda pa bogatejša vključitev grafike zahteva bistveno večji vložek časa in profesionalnega dela. Slednje je običajno pri javnih publikacijah, promocijskih materialih in predvsem pri letnih poročilih podjetij. Običajna raziskovalna poročila, ki so namenjena le enkratnemu branju nekaj osebam, so običajno – če seveda ne gre za javno poročilo – v pogledu grafičnega oblikovanja skromnejša (posebej nesprejemljiva je »bogata«, vendar neprofesionalna, nekonsistentna in neizdelana grafična podoba). Kadar pa se raziskovalno poročilo distribuira širše, je celosten grafični izgled izjemno pomemben, saj je pri večjem številu bralcev učinkovito grafično komuniciranje statističnih rezultatov nenadomestljivo. Pogosto lahko dober izgled dramatično izboljša slabo raziskovalno poročilo. In obratno.
  3. Strogo se držimo naslednje strukture: povzetek, kazalo, vsebina (ki jo praviloma strukturiramo naprej), bibliografija, dodatki.
  4. Kazalo naredimo avtomatsko*. Pri tem pazimo, da na prvem nivoju ni preveč poglavij (tipično okoli 3-7), enako velja za ostale nivoje. Nikakor ne moremo imeti le enega samega podpoglavja oziroma podrazdelka. Le izjemoma so poglavja ali razdelki krajši od ene strani, vendar je v takem primeru priporočljivo strukturirati z ukazom Bullets and Numbering in ne s kazalom oziroma naslovom.
  5. Formule, morebitne obsežnejše in zapletene tabele ter tehnične vidike in dokumentacijo damo v dodatke in z njimi v glavnini ne obremenjujemo.
  6. Povzetek (executive summary) naj bo na eni sami strani ali, še bolje, na polovici strani (cca 200 besed). Nahaja se pred kazalom, torej na samem začetku. V njem so povzeti ozadje, cilji raziskave, odločitve, ki so s tem povezane, osnovni oris raziskave, glavni rezultati, temeljni zaključek in priporočila. Upoštevamo, da večina uporabnikov prebere le ta povzetek/summary, zato mora biti nadvse dorečen, tako vsebinsko kot oblikovno. V povzetku trditve kar najbolj dokazujemo s številkami. Primerno je povzetek pisati na več nivojih: pol strani na prvi strani za top managerje in naročnike ter nekaj strani glavnih ugotovitev za glavnega naročnika (kjer povzamemo vse, kar je relevantnega v poročilu) na samem začetku še pred kazalom.
  7. Za kazalom dodamo tudi kazalo oz. seznam tabel in grafov.
  8. V glavnini vsebine imamo naslednja podpoglavja: najprej navedemo metodologijo, sledijo rezultati (ki so lahko nadalje strukturirani), obravnava omejitev in relevantnih primerjav ter zaključek, kjer podajamo splošno interpretacijo.
  9. Pri metodologiji navedemo vse, kar predpisujejo mednarodni standardi kot nujni del vsakega poročila: velikost vzorca, način vzorčenja, stopnja neodgovorov, način vzorčenja in anketiranja, interval zaupanja za pomembnejše ocene, ipd. Če je metodologija obsežnejša – npr. več kot ena stran v krajšem poročilu – jo damo kot dodatek. Posebej se dotaknemo problema nenatančnih ocen.
  10. V zaključku povzamemo celotno novo informacijo, ki smo jo izvedli v poročilu – ponovimo torej vse bistvene ugotovitve – in jo komentiramo ter dajemo v širši kontekst. Zaključek je torej bistveno bolj obsežen od razširjenega povzetka oziroma glavnih ugotovitev na začetku. Včasih – posebej pri preglednemu poročilu o anketah, kjer ne podajamo nobenih drugih vsebinskih kontekstov in analiz, ampak zgolj obdelujemo anketna vprašanja – damo pregled vseh pomembnih ugotovitev kar na začetek, s čimer zaključek seveda odpade. Tudi v takem primeru pa to seveda ne nadomesti povzetka, ki izlušči in izpostavi najbolj bistvene ugotovitve.
  11. Vedno jasno ločimo statistično interpretacijo od vsebinske.

VII. Anketne raziskave

  1. Če imamo predhodno predlogo poročila, se ga držimo, v vsakem primeru pa na začetku jasno skiciramo kazalo. Pri obravnavi anketnih raziskav je najbolje enostavno slediti anketnim vprašanjem, zato lahko tudi podpoglavja oziroma razdelke poročila na zadnjem nivoju imenujemo/označujemo kar z naslovi vprašanj. Posebej v primeru obsežnejše ankete lahko dajemo poglavjem na zadnjem nivoju tudi drugačne določene (domiselne) vsebinske naslove.
  2. Preden se lotimo analize podatkov, njihovo kvaliteto pregledamo **ZELO NATANČNO po naslednjem postopku:
    • Podrobno si ogledamo frekvence (frequencies),
    • analiziramo vse opisne spremenljivke (descriptives) (min, max, sd, mediana, mean),
    • pri preverjanju gledamo logične vrednosti (npr. ali je skala 1-5 res v intervalu 1-5),
    • preverimo vsebinsko (npr. ali je možno, da je plača 10 mio) in v kontekstu zdrave pameti in vsega kar vemo presodimo pravilnost (npr. je možno, da je povprečno zadovoljstvo 2, ali imamo narobe obrnjeno skalo),
    • predvsem pogledamo število enot, ki so odgovarjale, in jih primerjamo z vprašalnikom in preskoki,
    • jasno nam mora biti, kako se ločujejo oznake za neodgovor, ne vem, manjkajoči podatek in “not applicable”.
  3. Pri izdelavi osnovnega pregleda upoštevamo naslednje:
    • Vedno navedemo/citiramo točno tako vprašanje kot je bilo postavljeno v anketi. Če to ni pomembno za interpretacijo v tekstu, poskrbimo, da je v prilogi to priloženo na koncu, tako v obliki frekvenčnih statistik in deskriptivnih analiz, kot tudi v obliki samega vprašalnika, ki ga vedno priložimo na koncu poročila.
    • Običajno v poročilu predstavimo v obliki tabele ali grafa vse spremenljivke, ki smo jih upoštevali v analizi (ne pa nujno vse spremenljivke vključene v anketo). To je torej obvezno predvsem za vse spremenljivke, ki jih v poročilu omenjamo oziroma vsebinsko pojasnjujemo. Če nekoliko pomembna tabela, strukturni stolpec, povprečje (oziroma druga ustrezna deskriptivna statistika) za določeno spremenljivko ni navedeno že v samem poročilu, vstavimo v prilogo (Appendix). V primeru pomembnosti analize po podskupinah, prikažemo še po podskupinah.
    • Deleže dihotomnih spremenljivk običajno prikazujemo v strukturnih stolpcih, največkrat glede na podskupine (npr. delež glede na spol).
    • Podobno velja tudi za ordinalne spremenljivke, pri čemer za ordinalne spremenljivke vedno izračunamo in navedemo tudi povprečje. Pogosto se v vsebinskem delu poročila pravzaprav omejimo le na povprečje, frekvenčno porazdelitev pa damo v prilogo.
    • Za razmernostne spremenljivke poleg povprečja rutinsko izračunamo še standardni odklon in standardno napako, vendar ju navedemo le, če je to res pomembno za analizo (npr. pri t-testu). Pri tem izrazite outlierje običajno izločimo, seveda ob ustreznem komentarju.
  4. Če gremo v bolj poglobljeno analizo – in ne le v reproduciranje tabel/crosstabov in frekvenc z minimalnim komentarjem – je potrebno običajno narediti bolj celovite grafe, npr. serijo, radar, stolpce več spremenljivk ali pa kako multivariatno analizo.
  5. Če ne gre za izjemne primere in za velike populacije (več kot 1,000 ali celo 10,000), odstotke zaokrožujemo brez decimalke. Navajanje podrobnih decimalnih mest, npr. dvomestna decimalka za deleže v anketi n=300, razkriva metodološki diletantizem. Vzorčna napaka je namreč v takih primerih lahko tudi 10x večja od decimalnih vrednosti, zato navajanje podrobnih odstotkov samo povečuje nepreglednost rezultatov v tabelah in v tekstu.
  6. Decimalke pišimo na ameriški način 3.24, tisoče pa 3,249,888. Če pa gre za formalno ali uradno besedilo (npr. diploma), je pač trena upoštevati slovenski pravopis, ki ima decimalno vejico, piko pa za tisočice.
  7. Pri številkah običajno upoštevamo, da ne navajamo in ne interpretiramo ničesar, kar se nanaša na manj kot 10 enot. V takem primeru bi bilo potrebno izrecno opozorilo, ali še bolje, navedemo znak “.” kar pomeni “ne nič, ampak nenatančno”. Sproti tudi kontroliramo, če so analizirane skupine premajhne. Izjemoma lahko navedemo take rezultate z izrecnim opozorilom, da so ilustrativni, ob tem pa uporabimo dikcijo “nakazuje se, da…”.
  8. V metodološkem uvodu je potrebno tudi formalno opozoriti na previdnost pri rezultatih, ki se nanašajo na skupino manjšo od 30 – najbolje je, da upoštevamo načelo dodeljevanja oklepajev, ki temelji na koeficientu variacije kot indikatorju natančnosti ocene (Kalton&Vehovar, str 127). Pri tem so formalni mejniki za normalno porazdeljene spremenljivke v stroki, kjer ne želimo navajati tveganih ocen, običajno 10, 30, 100 enot. Na tej osnovi naredimo oklepaje oziroma pike. V primeru normalno porazdeljenih spremenljivk to pomeni: pike za ocene, ki temeljijo na manj kot 10 enotah, dva oklepaja za 10-29 enot in en oklepaj za 30-99 enot. V primeru, ko je enot zelo malo, pa običajno izberemo skrajni pristop: pri 6-9 enotah navedemo en oklepaj. Tako npr. povprečje 3.2, ki je izračunano na 9 enotah, označimo (3.2). Pri izračunu za 4 ali 5 enot pa navedemo dva oklepaja, npr. ((3.2)). Kadar imamo manj kot štiri enote, izračuna ne navedemo, ampak damo piko, ki pomeni, da ocena/vrednost ni nič, ampak da je preveč nenatančna (angl. nonzero but unreliable) in bi uporabnike zavajala. Imamo torej oklepaj za (9), (8), (7), (6), ter dva oklepaja za ((5)), ((4)), v primeru števila enot pod 4 pa imamo piko “.” Tudi če oklepajev v navedenem smislu dosledno ne postavaljamo, pa je smiselno, da se zgornjih načela držimo in ne prikazujemo v tabelah vrednosti, ki se nanašajo na premajno število enot. Z drugimi besedami pa tudi pomeni, da ne moremo delati prepodrobnih tabel, kjer je zato preveč celic premajnih ali praznih. Zgornje omejitve se nanašajo na povprečja za normalno porazdeljene spremenljivke (Kalton&Vehovar, tabela 12), v primeru deležev pa je situacija še bistveno manj ugodna, predvsem pa je odvisna od deleža samega (Kalton&Vehovar, tabele 13),
  9. Statistični testi:
    • Za najpomembnejše ocene navedemo okvirno natančnost ocen v smislu 95% intervala zaupanja. Napišemo kar v obliki npr. 5±1.
    • Ko pa govorimo o razlikah, povezavah in vplivih, lahko govorimo o povezavi le, če so odgovarjajoče ocene statistično značilne. Posebej pri primerjavi odstotkov v dveh skupinah (npr. moški, ženske) ali povprečji (npr. zadovoljstvo), rutinsko izvedemo izračun standardne napake za razliko. Smiselno je, da imamo kalkulacijo že nastavljeno v Excelu, kjer je npr. za deleže standardna napaka razlike enaka korenu iz (p1q2/n1+p2q2/n2), nakar razliko (p2-p1) primerjamo s to standardno napako in jo imamo za značilno če je koeficient večji od 2. Lahko pa seveda izvedemo tudi odgovarjajoči t-test v odgovarjajočem programu SPSS, Splus, SAS, … Enostavna Excel tabelica za izračunavanje statistično značilnih razlik pa je tudi med Pripomočki.
    • Smiselno je interpretirati tudi razlike, ki niso statistično značilne, saj npr. pri t-testu z vrednostjo t=1.75 – kjer sicer ne moremo govoriti o značilni razliki pri 5% tveganju- kljub temu obstaja le cca 7% tveganje (signifikanca), da se motimo, če zavračamo domnevo o nepovezanosti. Še vedno je torej razmerje signifikanc 7/93 oziroma 13 krat bolj verjetno, da je značilno kot da ni. V vsakem primeru pa moramo biti pri tem previdni. Pri množici majhnih deležev je smiselno upoštevati Bayesov pristop (glej Kalton, Vehovar: Vzorčenje v anketah stran 138)

VIII. Analitičnost

  1. Bistvo vsake kvalitetne analize pa je analitična pronicljivost. To je v določeni meri osebnostna lastnost, ki jo imamo ali pa je nimamo, deloma pa se je da tudi priučiti. Iz množice podatkov je namreč treba izluščiti bistvo.
  2. Gre predvsem za to, da najdemo smiselno razlago za naše številke. Tipično osnovno ugotovitev povzamemo v kar najbolj enostavno povezavo dveh spremenljivk (npr. »moški pogosteje kupujejo kot ženske«) ali pa navedemo bistveni trend v podatkih (»npr. velika podjetja so skoraj v celoti začela z uporabo interneta že pred tremi leti, mala pa bodo šele letos«).
  3. Iz podatkov moramo torej izluščiti novo informacijo, ki jo podatki prinašajo uporabniku. Vedno se sprašujemo, kaj je novega. Če naše ugotovitve zgolj potrjujejo siceršnje stanje na področju, to eksplicitno povemo, enako velja, če se razlikujejo. Ne smemo navajati in ponavljati nobenih trivialnih ugotovitev.
  4. Posebej pazimo, če imamo tri spremenljivke, kjer je pravilna interpretacija precej bolj težavna in je zato posebej pomembno, da jo poljudno predstavimo (npr. »med mladimi so ženske bolj izobražene kot moški, med starejšimi pa imajo moški v povprečju boljšo izobrazbo kot ženske«).
  5. Statistični interpretaciji, ki se nanaša zgolj na pravilno navedene odstotke in druge statistične kazalce, vedno – če le ni ugotovitev povsem trivialna – dodamo tudi smiselno vsebinsko razlago pojava. V zgornjem primeru bi to pomenilo: »Včasih so bile možnosti za šolanje ženskam bistveno bolj zaprte, zato so med starejšimi generacijami moški bolj izobraženi. Danes pa so možnosti šolanja izenačene; ker pa šolski sistem nagrajuje vestnost in marljivost, so dekleta pri formalni izobrazbi uspešnejša kot fantje«. Pri vsebinski interpretaciji smo seveda razmeroma svobodni in lahko navedemo drugačne razloge za tako stanje, vendar moramo upoštevati tudi teoretična izhodišča. Običajno namreč obstaja več možnih vsebinskih interpretacij (ne pa tudi več statističnih interpretacij). Paziti moramo le, da naša interpretacija ni v nasprotju s podatki, s splošno sprejetimi spoznanji na določenem področju in z zdravo pametjo.
  6. Pri proučevanju vzrokov in povezav pa se moramo zavedati, da vedno lahko obstaja spremenljivka, ki povsem spremeni naše ugotovitve (tako bi v zgornjem primeru zgolj bivariatna analiza spola in izobrazbe – npr. »moški so enako izobraženi kot ženske« – močno zavajala oziroma poenostavljala). Pred tovrstnimi učinki se pri vzročni/kavzalni analizi v neeksperimentalnem raziskovanju (ki pa vključuje skoraj vse običajne ankete) sploh ne moremo v celoti zavarovati, največ kar lahko naredimo je, da vedno vključimo relevantne spremenljivke, posebej izobrazbo, spol in starost.
  7. Največja vrednost kvalitetne in pronicljive analize pa je stalno povezovanje dobljenih ugotovitev z drugimi splošnimi znanji (splošno poznavanje problematike, teoretska literatura) in z vsemi relevantnimi informacijami (npr. prejšnja poročila, drugi relevantni viri, novice iz medijev) o proučevanjem pojavu, predvsem pa vzpostavljanje odnosa med ugotovitvami iz analiziranih podatkov in osnovnim raziskovalnim oziroma marketinškim problemom. Posebej v primeru, da obstaja podobno vsebinsko poročilo za kako preteklo obdobje, je obvezno izdelati časovne primerjave, najbolje v grafikonu.
  8. V določeni meri se lahko zgledujemo po novinarjih, ki imajo izjemno razvit čut, da razumljivo skomunicirajo bistveno ugotovitev iz podatkov. Ugotovitve morajo zato vedno biti enostavne in razumljive, seveda ne na škodo strokovnosti, kar pa je skoraj vedno mogoče izpeljati, čeprav to terja nekoliko več dela.
  9. V primerih, ko so podatki čudni ali nekonsistentni, za kar nismo našli nobenega metodološkega niti vsebinskega razloga, je najbolje, da jih take tudi pustimo, hkrati z navedbo, da so pač nekonsistentni oziroma se problem še raziskuje. Spreten analitik bo znal to izvesti na eleganten in sprejemljiv način. Seveda pred tem v celoti raziščemo, ali gre morda za napako v anketnem postopku ali analizi. Ravno tako izrecno preverimo, če gre morda za malo število enot, in lahko odstopanje pripišemo 5% statističnemu tveganju, do katerega imamo pravico. Običajno je tak razkorak celo izjemno koristen, saj je ilustrativen za kvaliteto raziskave in hkrati tudi za vsebinske interpretacije – realnost je namreč nemalokrat dejansko drugačna od naših predstav. Potvarjanje podatkov ali izpuščanje nekonsistentnih podatkov pa je ne le v nasprotju z vsemi etičnimi kodeksi (npr. Statistično društvo), ampak tudi zavaja uporabnika in slabša komunikacijo oziroma odnos med raziskovalci in naročniki.

IX. Povzetek

Glavnina raziskave je povzetek. Skiciramo ga že na začetku, vanj pa na koncu vnesemo glavne ugotovitve.

  1. Povzetek običajno obsega pol strani, največ eno stran, pogosto je omejen na 150-250 besed. Lahko pa je povzemanje dvonivojsko in povzetku sledijo še glavne ugotovitve (glej točko X). Pri obsežnejših raziskavah (npr. 50 strani in več) so dvo-nivojski povzetki pravzaprav običajni.
  2. Glavnina uporabnikov – predvsem pa glavni uporabnik – bo prebrala običajno samo povzetek, zato je ta izjemno pomemben. Za dober povzetek se lahko – če gre za obsežen projekt – porabi tudi po več dni, vsekakor pa povzetek zasluži, da mu posvetimo cca. najmanj 5-10 % resoursov. Če je le mogoče, ga damo prebrati več osebam, da dobimo povratno informacijo.
  3. Ko pišemo povzetek, je koristno imeti pred očmi top nadrejenega v hierarhiji naročnika (npr. direktor/ravnatelj/dekan zavoda – resorni minister – predsednik vlade, če gre za javnega naročnika, ali npr. predstavnik naročnika – direktor oddelka – predsednik uprave, če gre za podjetje). Kako bo on to bral, kaj potrebuje, kaj išče, kaj ceni, s čim ga ne bi nadlegovali, kaj bi ga pa zanimalo, kaj je res relevantno? V povzetku zato ne sme biti nekih razmeroma nepomembnih podatkov. Poleg tega morajo biti vse navedbe približno enako tehtne in pomembne.
  4. V povzetku nikakor ne sme biti napak, typotov in nejasnosti.
  5. Najprej zelo na kratko (en stavek) povzamemo namen, izziv raziskave ter kontekst problematike.
  6. Nato navedemo bistvene metodološke elemente, katere metode smo uporabili in njihove karakteristike (npr. velikost, reprezentativnost vzorca, tip ankete, čas zbiranja podatkov ali pa število in velikost fokusnih skupin).
  7. V nadaljevanju povzetek naniza glavne ugotovitve. Zaželeno je, da so umeščene in komentirane v širšem vsebinskem okviru problematike in se s tem navezujejo na odločitveni problem.
  8. Gre torej za neko novo informacijo, ki jo prinaša raziskovalno poročilo.
  9. Vsako ugotovitev, če je le mogoče to izvesti na kratko, podkrepimo s številko (odstotkom, povprečjem), ki je praviloma v oklepaju.
  10. Izogibamo se nejasnih delov poročila, ampak izpostavimo najbolj udarne nove informacije, za katerimi v celoti stojimo.
  11. Poleg samih povzetkov empiričnih ugotovitev skušamo podati tudi splošni analitični povzetek trendov in gibanj v kontekstu drugih virov, ki obravnavajo to problematiko. Sintetiziramo torej nove kvalitativne ugotovitve.

X. Glavne ugotovitve

Glavne ugotovitve – imenujemo jih lahko tudi osnovne/temeljne/ključne ugotovitve ali razširjen povzetek – pripravimo predvsem v obsežnejših poročilih. V njih sistematično, pregledno in izčrpno predstavimo dodano vrednost našega poročila. Primeri: RIS ali PRP 2021, pa tudi večina drugih poročil PRP in RIS. Nekaj usmeritev:

  1. ugotovitve navedemo v alinejah,
  2. formalno ne izhajamo in raziskovalnih vprašanj, ampak navajamo vse, kar je novega in zanimivega,
  3. osnovni kriterij je, da so ugotovitve pomembne za poročilo in da so v grobem vse tudi približno enako pomembne,
  4. v primeru daljših glavnih ugoitev, jih strukturiramo po sklopih,
  5. ugotovitve povemo kratko in jih – če je mogoče – vedno podkrepimo z neko pomembno oziroma udarno številko (odstotkom, povprečjem), ki je pogosto v oklepaju določene trditve,
  6. navajamo torej predvsem empirično podkrepljena dejstva; ko pa gre za možne interpretacije, to izrecno navedemo (npr. možna razlaga je…, nakazuje se…).

XI. Uteži

  1. Običajno za uteži poskrbi nekdo drug in ne analitik oziroma pisec vsebinskih poročil.
  2. Na začetku analize navddemo, če se uporabljajo uteži, in na kakšni osnovi so izračunane (npr. spol, starost, izobvrazba)
  3. Če pa smo odgovorni tudi za uporabo uteži, upoštevamo:
    • Če so podatki uteženi, vsekakor vedno uporabimo uteži (data–>weight by utež).
    • Ključne spremenljivke poženemo uteženo in neuteženo.
    • Dobro je pred uporabo uteži pognati neutežene descriptive od uteži. Kakšen je razpon? Minimum, maximum? Običajno jih omejimo na razpon 10, npr. največja utež je 3-kratnik povprečne, najmanjša pa 0.3. Običajno opredlimo zgolj zgornjo mejo, praviloma npr. 2, 3 ali 4. Lahko omejimo tudi drugače.
    • Če kvadriramo koeficent variacije: KV = SD(w)/mean(w) dobimo porast variance zaradi uteževanja. Običajno je majhen, če pa je velik (npr. večji od 0.3), velja to tudi upoštevati pri interpretacijah.