Основные недостатки контент-анализа
Мы должны постараться правильно оценить степень доступности интересующих нас сообщений. Обеспечена ли нам возможность свободного отбора материалов для анализа? Доступны ли нам все материалы в неискаженном виде или же нам навязан некий контроль извне? Имеем ли мы доступ, например, только к рассекреченным документам (к газетам, издаваемым в расчете на иностранных читателей; к стенограммам только официальных заседаний правительственных комиссий)? Здесь мы имеем дело с проблемой обобщаемости результатов: вопрос в том, насколько репрезентативна исследуемая совокупность сообщений, не говоря уже о выборке из нее. Если совокупность непредставительна, то исследователь при отсутствии у него должной бдительности может быть, самое малое, введен в заблуждение, а то и хуже: может стать объектом сознательной манипуляции.
В каждом из этих случаев основная сложность заключается в том, что информация, необходимая для адекватной оценки, может быть нам просто недоступна. Мы можем не знать и не иметь возможности уточнить цели сообщений, сферу их распространения и реальную степень своего доступа к ним. За этим скрываются весьма многообразные опасности, и контент-аналитик должен быть наготове, чтобы вовремя с ними справиться. Нельзя строить свои оценки на первом впечатлении; напротив, надо сохранять здоровый скептицизм в отношении имеющихся данных, До тех пор пока не будут получены ответы на все обсуждавшиеся выше вопросы. Сказанное, конечное, не означает, что в условиях неопределенности проведение контент-анализа исключается; оно значит только, что, приступив к анализу, исследователь не должен забывать об этой неопределенности.
Наконец, следует сказать несколько слов о надежности интеркодирования. За исключением полностью компьютеризованных контент-аналитических процедур (существует целый ряд программ, специально разработанных в расчете на составление словарей ключевых слов, а также на поиск в тексте и числовую обработку последних), контент-анализ целиком опирается на суждения совершенно определенного человека о содержании сообщения. В конце концов, информация сама себя не анализирует. Она изучается, обрабатывается, обсчитывается и классифицируется человеком в лице конкретного исследователя. При этом разные исследователи могут расходиться между собой в понимании данного сообщения. Однако измерения могут считаться достаточно надежными лишь тогда, когда относительно их содержания между исследователями достигнут определенный уровень консенсуса. Надежность интеркодирования - термин, используемый в политологии для описания степени такого консенсуса. Чем она выше, тем лучше. Повысить надежность интеркодирования можно с помощью следующих правил:
1. К операционализации любой переменной следует подходить с осторожностью и тщательностью. Удостоверьтесь в том, что все значения сформулированы ясно и по возможности недвусмысленно. На деле такая мера поможет формированию общих критериев оценки, которые можно будет последовательно использовать при классификации и измерении содержания.
2. Используйте услуги как можно большего числа наблюдателей (кодировщиков). Чем больше людей участвует в достижении консенсуса, тем он более значим. Конечно, это может привести к сильному увеличению объема работы (а в случае если наблюдатели плохо подготовлены, то и к риску увеличения ошибки измерения), но и отдача от этой меры может быть очень велика. Ограничивающим фактором здесь обычно выступает нехватка денежных средств.
3. Всячески способствуйте тому, чтобы наблюдатели как можно больше взаимодействовали между собой. Проводите совместные практические занятия с обязательным обсуждением всех нюансов в интерпретации данных; это приведет к достижению консенсуса не только в отношении самих данных, но и в отношении истинных значений операциональных определений.