В категории:Анализи / Общество

Как социолозите „измериха“ успехите на европредседателството

В стремеж да се харесат на управляващите или просто да влязат в новинарския поток, социологически агенции подложиха малък статистически шум на свръхинтерпретация

Снимка: eu2018bg.bg

Има много начини да направите социологическо проучване, което едновременно да се харесва на клиентите и да отговаря на всички професионални стандарти. Обикновено става дума за методологически тънкости, които убягват на публиката, или внимателен избор на начина на поднасяне на информацията. Агенциите, които проучваха успехите на правителството в последните месеци, прибегнаха и към двата подхода. Например когато Министерството за българското председателство на Съвета на ЕС си поръча изследване на нагласите сред населението за работата му, социолозите от „Алфа Рисърч“ откриха, че:

„Почти всеки втори български гражданин заявява, че е получил достатъчно информация през тези шест месеца – ръст от 10 на сто спрямо навечерието на Европредседателството. Хората с по-високо образование и в активна възраст от големите градове виждат повече възможности за себе си в ЕС. Точно те най-много са търсили и получавали информация. По-високото образование дава повече възможности, а информацията разширява тези възможности.”

Интересното е, че ако напишете името на това министерство, което се справя толкова добре с информацията, в Гугъл, просто няма да можете да намерите сайта му (не е eu2018bg.bg). Ако все пак го намерите, ще откриете, че прилича на националния отбор по футбол – донякъде адекватен през 1998 г., но не и по съвременните стандарти. Зареждането му отнема цяла вечност, тъй като вероятно става от сървър в някое мазе на Министерски съвет. Процесът отнема 5-6 секунди (опитайте тук) в една от страните с най-бърз интернет в света. Ако го отворите от Берлин, ще отнеме близо 10 секунди или два пъти повече от нужното за пълното зареждане на сайта, в който се намирате в момента, при приблизително една и съща тежест.

Но всичко това няма голямо значение, защото скоро след като достигнете сайта на това министерство, ще откриете, че сте си загубили времето. Търсачката му, която е още по-бавна, може да каже колко е струвало всяко досегашно Председателство на Съвета на ЕС, но не и българското. В секция „бюджет” има множество таблици с отчети, но не и наистина четим бюджет. Няма как да се разбере какви са били разходите за констатираните информационни успехи и на кои медии се дължи той, защото те стоят в колонката за външни услуги в отчетите. Това може да се разбере от сайта за обществени поръчки чрез търпеливо преглеждане на зле сканирани pdf файлове

Но да се върнем към социологията. Въпросното проучване констатира „ръст от 10 на сто” на информираността в хода на европредседателството. Преди всичко, социолозите говорят за 10-процентно изменение, а всъщност имат предвид 10 процентни пункта, което не вдъхва увереност в статистическите им възможности. Ако и вие не правите разлика, отворете страницата на Евростат, посветена на статистиката за начинаещи, особено ако се занимавате със социологически проучвания.

Изследването на „Алфа рисърч” пропуска да посочи в сбутаната накрая методологическа справка стандартното отклонение (ще се върнем към това по-надолу), което би могло да наведе някого на мисълта, че част от въпросните 10 пункта може да се обяснят с проста случайност. Дори и да не е така, остава странно да считаме за постижение факта, че доста повече хора знаят за 6-месечно събитие, след като то се е провело, отколкото преди това.

Накрая, 81% отговарят, че България се е справила много добре (19%) или по-скоро добре (62%) с председателството. По принцип данните могат да бъдат повлияни от поредицата предходни въпроси (въпросникът не е публикуван), например: „Смятате ли, че събитието ни носи международен престиж, самочувствие или икономически ползи от посетителите?”. Отговорите може да са наклонени в една посока от начина на набиране на информация чрез посещения по домовете, вместо обаждания по телефона. За да си го представим, може да сравним нещата, които казваме на Топлофикация по телефона, и поведението ни при среща лице в лице.

Все пак тези резултати вероятно са доста точни, макар че когато клонят към 80-те процента, започват да приличат на резултати от избори в Русия – реалистични, но и някак подозрителни. Българите надали се съмняват, че правителството може да се справи с европредседателството. Все пак става дума за няколко по-големи срещи в сграда, наследена от „соца“, която само трябва да се ремонтира. Не е като да завършиш магистрала Хемус. Така че няма защо да сме много взискателни спрямо социолозите – само маркираме някои методологически съображения, през които си струва да се разглеждат иначе логичните резултати.

Същото важи и за актуалното изследване на „Галъп Интернешънъл”, което е проведено от различни компании в 6 страни от Западните Балкани, „по методите лице в лице и телефонно интервю при извадки от около хиляда души във всяка страна”. Така набрани данни трудно могат да бъдат съпоставяни, тъй като част от резултатите ще се окажат обясними с различните методи или контекста в съответната страна. Но това не е проблем, когато социолозите се опитват да измерят само изменението на настроенията спрямо България в тези страни в хода на европредседателството.

Стига да са се придържали към едни и същи методи в двете проучвания, те вероятно са стигнали до адекватни резултати. След това просто е трябвало да ги предоставят на медиите с необходимите методологически забележки, така че да ги предпазят от риска от свръхинтерпретация, който се оказва фатален при повечето социологически проучвания.

Вместо да направят това, от „Галъп” сами подлагат данните си на свръхинтерпретация. Затова не можем да виним журналистите (които често имат само няколко минути, за да предадат информацията), че не са помислили внимателно дали в нея има новина, или не. Това е все едно да подадете шоколад на дете, което закъснява за училище, разчитайки, че то ще откаже и ще изтича до хладилника за ябълка. Нека разгледаме твърденията:

„Делът на онези, които виждат помощта на България, расте осезаемо спрямо предходната година и това е резултат от акцентът, който България постави върху темата за Западните Балкани.” (правописът е запазен)

Осезаемият ръст е от 54 на 58% в подкрепа на българския принос. Това е свръхинтерпретация и социолозите го знаят много добре. За разлика от колегите им в горния пример, те са написали, че извадката им съдържа стандартно отклонение ±3.1%. Какво означава това? Когато правите проучване, не можете да се допитате до цялото население, затова взимате една извадка. Да кажем, че преглеждате приятелите си във фейсбук и откривате, че 80% от тях ще гласуват за любимата ви партия, която накрая получава около 2%. Социолозите се опитват да избегнат това чрез т.нар. представителни извадки. Колкото по-големи и адекватни на действителната структура на обществото са те, толкова по-малко вероятно е значително отклонение. Но то все пак съществува, така че трябва да се изчисли размера му, за да се избегне свръхинтерпретацията на незначителни разлики.

Обикновено се използват т.нар. 95-процентови доверителни интервали, което означава, че ако направите 20 пъти същото проучване, в 19 от тях резултатите ще бъдат в рамките на стандартното отклонение. Всичко отвъд него би било шокиращо, но понякога се случва, както показа Александрия Окасио-Кортес във вътрешните избори на демократите в Ню Йорк.

Колкото до споменатата вече разлика с 4 процентни пункта, тя е в рамките на стандартното отклонение, така че „осезаемият” ръст е просто малко статистически шум. Но агенциите искат медиите да ги цитират, така че шумът е добре дошъл.

По-натам четем:

„Българските усилия за Западните Балкани са довели до ръст в последната година на запознатостта с Бойко Борисов. Неразпознаваемостта му намалява чувствително с 16 пункта за една година. Това означава, че България получава активна роля в масовото съзнание на тези страни. Така през 2018 г. общата положителна минус общата отрицателна оценка за Борисов дава резултат от +22, с което Борисов е в най-изгодна позиция спрямо лидерите в региона.”

Тази интерпретация пропуска факта, че преди Бойко Борисов да стане толкова разпознаваем, общата положителна минус общата отрицателна оценка за него е била +25, така че повечето хора, които са се запознали с него, са решили, че не го харесват. Можете ли да повярвате? Аз мога.

Все пак сред лидерите на България, Турция, Гърция и шестте страни от изследването, премиерът Борисов е най-високо оценен в Западните Балкани. Но това надали е изненада, ако предположим (подробните данни не са споделени), че негативните оценки на лидерите на Сърбия и Македония идват от Косово и Албания и обратното. Всеки от тези лидери е получил и вътрешен негативен вот от опозицията, ако данните от собствената му страна са били включени. Това не важи за лидерите на Гърция и Турция, чиито граждани не участват в допитването. Първата напоследък не се радва на добро име в Македония, а втората – потенциално в целия свят. За да се сравнят тези резултати смислено, трябва да се изчисли каква част от тях се обяснява с други фактори.

Остатъкът ще бъде чистото постижение на Бойко Борисов. Освен това вероятно ще бъде статистически незначителен, но това няма да е проблем за никого, готов да свръхинтерпретира.

Ако този материал ти е харесал, можеш да подкрепиш съществуването на "Барикада". Нуждаем се от теб! Виж как можеш да помогнеш–тук!

Оставете коментар