Мислете като респондент, за да подобрите качеството на данните от анкетни проучвания*
От началото на 20-ти век структурираният въпросник – анкетата, е неизменна част от социалните науки и проучванията на пазара. Маркетинговите изследователи разчитат на данните от тях, за да стигнат до прозрения, които водят до по-добри бизнес решения. Трябва да сме уверени, че данните от проучванията, върху които основаваме решенията си, са надеждни и валидни.
Практиката на анкетните проучвания е изминала дълъг път от гледна точка на разбирането и управлението на източниците на грешки, като например индивидуалните различия при възприемане на предложените скали, но натрупването на изследвания на недоловими когнитивни процеси, които обаче играят роля при попълването на въпросници, показва, че не е лесно да конструираш въпроси, които надеждно да извличат информацията, за която си мислим, че питаме. Всъщност въпросът в анкетата може да се окаже най-слабото звено във веригата от компоненти, изграждащи типичното количествено маркетингово проучване.
Като общо правило, изследователите без специализация в дизайна на проучвания са в голяма степен незапознати с новостите в когнитивните аспекти на попълването на въпросници. Още повече, мисля, че като цяло не сме наясно с фундаменталната асиметрия в начина на мислене на автора на въпросите и на човека, който ще ги попълва. Когато авторката на проучването използва фраза като „Вашето домакинство“, тя знае какво точно има предвид. Същата фраза обаче може да провокира различни специфични или общи асоциации в съзнанието на друг и това може да създаде проблем за изследователя.
Тъй като е малко вероятно средностатистическия респондент да отдели време, за да се научи да мисли като автор на проучвания, ключът към подобряването на данните от изследването е тези, които пишат въпросите, да се научат да „мислят като респонденти“. Това започва с разбирането на някои фундаментални принципи на комуникацията. Британският философ-езиковед Пол Грайс предлага принципа на сътрудничество с три максими, който обяснява как стигаме до общо разбирателство по време на разговор. Принципът и максимите се подразбират – ние не мислим за тях, докато разговаряме, но те представляват неписани правила и очаквания.
Основно, очакваме останалите да си сътрудничат с нас до достигането на общо разбиране за това какво си казваме. За да го постигнем, разчитаме на максимите количество (дай достатъчно информация, но не и прекалено), качество (не казвай нещо, за което знаеш, че не е вярно, или което не може да докажеш), и свързаност и изказ (казвай релевантни неща и бъди ясен). Прилагането на тези максими ни помага да преодолеем двусмислието и объркването. Например ако в проучването се пита колко сте щастливи от брака си или от друг значимо взаимоотношение, последвано от въпрос колко сте щастливи като цяло, е по-вероятно да се дадат различни оценки, отколкото ако редът на въпросите се размени или ако въпросите са зададени по различно време в различни анкети. Причината е, че в първият случай допускате, че „цялостното“ щастие не включва брака, тъй като за него е имало отделен въпрос.
Какво означава това за авторите на въпроси в анкети? Първо на първо, респондентите приемат, че ако включите нещо във въпроса, то е от значение за интерпретацията им на въпроса (съответно, ако нещо „липсва“, то не е релевантно). Второ на второ, респондентите очакват въпросът да съдържа цялата им нужна информация, за да предложат отговор.
След няколко изследвания, проведени от Норбърт Шуорц, Сиймор Съдман и Роджър Туранго (и много други), изниква рамка за разбиране на когнитивния произход на измервателната грешка при анкетите. В допълнение към нарушенията на принципа на сътрудничество такива грешки възникват от взаимодействието между характеристиката на въпроса и специфичните когнитивни процеси.
Да вземем например спомнянето – определено ключов когнитивен процес при попълванията на анкети. Въпросниците често изискват автобиографични детайли и информация за житейската история („Колко често през изминалата година сте...?“), както и друга фактологична информация. Сега вече знаем, че с изключение на „хронично достъпните“ обекти на паметта като датата на раждане или телефонния номер, спомените в голяма степен се реконструират наново, а не просто се завръщат. Тъй като тази реконструкция обикновено се случва несъзнавано, ние имаме усещането, че сме „извикали“ спомена в неговата цялост. И така изискваме от респондентите фактология, сякаш паметта ни е като джубокс или дигитален компютър – „заявката“ за информация да води директно до някакво място в паметта ни, където тя се съхранява.
Когнитивната психология демонстрира, че процесът по реконструиране на паметта далеч не е перфектен. Психологът от Харвард Даниел Шахтър например идентифицира така наречените „седем гряха на паметта“ - преходност, разсеяност, блокиране, грешно приписване, внушимост, уклони и упорство. Нека разгледаме по-отблизо преходността (известно още като „забравянето“). Многобройни експерименти с паметта показват, че, поне при задачите за научаване на устен материал, можем да забравим до 50% от това, което сме научили няколко часа, след като сме ги упражнили (но скоростта на забравянето намалява значително след този период). За щастие, също така знаем кои фактори влияят на преходността и това познание може да ни помогне да пишем по-добри въпроси в анкетите. Най-вече като включим към въпросите в анкетата подходящи напомнящи подсказки, ще помогнем на респондентите да извлекат нужната ни информация. Например, мултимодалните подсказки (като изображения, допълващи думите) могат да засилят извличането. И можем да избегнем задаването на въпроси относно събития, които най-вероятно не са особено запомнящи се като конкретни случаи на иначе повтарящо се поведение или детайли от ежедневни разговори.
Да се научим да мислим като респонденти
Средностатистическият зает изследовател в маркетинга няма време, което да посвети на това да стане експерт по когнитивна психология на анкетите. Дори и да е така, някои прости стъпки могат да ни помогнат да повишим ефективността на въпросниците си (и съответно възвращаемостта на инвестициите в маркетинговите проучвания).
Първо, можем да се научим да гледаме на всеки въпрос, който пишем, взимайки предвид четиристепенния модел на отговаряне на анкети. Този модел е предложен от Роджър Туранго и колеги (Tourangeau, Rips & Raisinski, 2000). Четирите стъпки са разбиране, извличане, преценка и съотнасяне към отговорите.
Разбирането съчетава цялото мисловно усилие по разбиране значението на въпроса. Проблеми при него могат да изникнат най-вече когато авторът на проучването погрешно допусне, че респондентът споделя неговото разбиране на термините във въпросите. Други проблеми произлизат от употребата на размити понятия („голямо правителство“) или размити количества („няколко“ и „често“). Респондентите винаги се опитват да разрешат двусмислието така, че да отговорят на въпроса, но може и да не успеят да го постигнат по начина, по който авторът би искал.
Извличането представлява процесът на търсене из нашите спомените на мисловни представи, релевантни към въпроса. Щом веднъж сме извлекли набор от такива представи, ще ни трябва начин да ги оценим и интегрираме в отговора на въпроса от анкетата – стъпката преценка. Най-накрая, трябва да отнесем нашия вътрешно изграден отговор към някой от предложените отговори.
За да разберете как действа това, представете си, че току-що са ви помолили да оцените цялостната си удовлетвореност от скорошна покупка от онлайн магазина Amazon. Разбирането едва ли ще е проблем освен ако Amazon не са прекалено конкретни при дефинирането на „скорошна“. Тъй като поканата споменава продукта, който сте закупили, естествено ви идват мисли за него. Това дали първоначално ще си помислите за нещо позитивно или негативно, най-вероятно ще повлияе върху последващите мисли. След няколко секунди ще имате цял куп спомени и мисловно ще ги претеглите, за да решите дали като цяло сте доволни или не. Ще придадете повече тежест на емоционалните си спомени (как сте се почувствали) и по-малко на фактологичните. Накрая, ще заключите, че сте „по-скоро удовлетворени“, и ще се върнете към въпроса в анкетата. За съжаление, обаче няма опция „по-скоро удовлетворени“. Вместо това ще трябва да изберете число между 1 и 10, където 1 ще означава „напълно недоволен“, а 10 означава „напълно доволен“.
Може и да не успеете да премислите нещата по този начин, докато пишете въпроса, но можете да се тренирате да мислите за тези условия, докато преглеждате въпросите, които вие или други изследователи сте написали.
Можете да започнете да „наблюдавате“ процеса на мислене на респондентите, като организирате предварителни тестове с разсъждаване на глас (известни като „когнитивни интервюта“). При такъв предварителен тест респондентите правят точно това – вербализират онова, което мислят, докато отговарят на въпросите в проучването. Проведете няколко предварителни теста с разсъждаване на глас и със сигурност ще започнете да мислите като респондент, когато съставяте въпросници.
Д-р Дейвид Дж. Бакен е Инсайт директор в KJT Group.
* Статията е преводна и се препубликува с любезното разрешение от RW Connect, цифроватата платформа на ESOMAR's за споделяне на най-добрите изследователски подходи и методологии. Може да прочетете и коментирате оригиналното заглавие на техния уебсайт.