Владимир Паниотто, д.ф.н, генеральный директор
Киевского международного института социологии,
профессор ун-та «Киево-Могилянская Академия»

Статья Натальи Паниной «Экзит-полл в Украине 2004 года: социология или политика?» меня, честно говоря, очень расстроила. Наталья Панина – один из 2-3-х ведущих украинских методологов, я испытываю к ней глубокое уважение и самые дружеские чувства, поэтому особенно обидно. К тому же это опубликовано на сайте ФОМ-Клуба, который читают все мои московские друзья. Я во многом согласен с Натальей, но в целом статья даёт совершенно неправильное представление о том, что происходило с экзит-полами в этих выборах (особенно для тех, кто не следил ежедневно за событиями). Если бы это было опубликовано в Киеве, где социологи знают ситуацию и переживали всё по ходу событий, то ещё куда ни шло. А в Москве с весьма своеобразным отражением наших событий в российских СМИ... Очень не хотелось заниматься полемикой по проблеме, где методологию трудно отделить от политики, но я не вижу другого выхода.

Статья не даёт представления о ситуации выборов, о беспрецедентных масштабах фальсификации их результатов и давления на социологов и о первом, вероятно, в истории профессиональной социологии Украины «грехопадении» некоторых ведущих социологов, связанном с фальсификацией результатов экзит-пола.

События, факты и интерпретации.

Президентские выборы 2004 г. – наиболее принципиальные и жестокие выборы в истории независимой Украины, для прежней украинской власти это была не только и не столько борьба за власть и богатство, сколько за то, чтобы избежать ответственности за нарушение законов, для многих из них это была борьба за жизнь и свободу. После поражения на выборах некоторые представители власти покончили с собой или убиты (например, министр транспорта, министр внутренних дел), некоторые арестованы, некоторые скрываются и объявлены в розыск. И если для власти выиграть выборы было вопросом жизни и смерти, то трудно было предполагать, что выборы пройдут честно и демократично. Какой окажется в этом вопросе прежняя оппозиция, которая стала властью, покажут следующие выборы, но то, что тогда её ресурсы по фальсификации выборов не шли ни в какое сравнение с ресурсами власти – совершенно очевидно.

Анализ аномалий выборов, проведенный американскими и московскими коллегами, с использованием независимых от экзит-полов данных тоже показали, что «хотя у оппонента Януковича, возможно, тоже не совсем чистые руки, количество голосов, «приписанных» к общему количеству голосов за Януковича, в четыре раза превышает приписки к голосам за Виктора Ющенко» (М.Мягков, ун-т Орегона, П.Ордешук, Калифорн.технолог.ин-т, Д.Шакин, ин-т открытой экономики, Москва. Фальсификации или домыслы: опыт выборов в России и в Украине. – Социология: теория, методы, маркетинг, 2005, N 2, стр.119).

Ирония Н.Паниной «Особенность действия под названием "экзит-полл в Украине 2004 года" заключалась в том, что заведомо подвергалась сомнению достоверность результатов выборов, которые будут оглашены Центризбиркомом..» мне не очень ясна. Значит ли это, что результаты выборов никогда не должны ставиться под сомнение и экзит-пол вообще не должен использоваться как контроль выборов? Мне кажется, что при авторитарном режиме, контроле власти над наиболее влиятельными СМИ, зависимости локальной власти от центра (губернаторы в Украине не выбираются, а назначаются) и т.д. есть достаточно много оснований сомневаться, что выборы пройдут честно. Тем более, что до этого уже было два случая фальсификации – фальсификация результатов референдума (см., например, Паниотто В.И., Харченко Н.Н. Социологические исследования как способ контроля результатов виборов и референдумов// Социология: 4 М (методология, методы, математические модели).– Институт социологии РАН, Москва, 2003.– №17.– С.34-56.) и фальсификация выборов в Мукачево. В Мукачево по результатам экзит-пола В.Балога (62%) выиграл у Э.Нусера (30%), а официальные результаты выборов показали победу Э.Нусера примерно с таким же соотношением голосов, т.е. отличие данных выборов и экзит-пола составило больше 30% (см. Мукачево-2004: экзит-пол. Дем.инициативы, 2004, 60 стр.).

Обычно основные функции экзит-пола – материал для шоу на телевидении и получение социально-демографических характеристик избирателей. Кроме того, социологи проверяют свою выборку и работу сети, сравнивая полученные данными с результатами выборов. Мне кажется абсолютно ненормальной ситуация, когда экзит-пол используется для контроля выборов, а не наоборот, но что делать, если мы живём в ненормальном обществе? Не рассматривать экзит-пол как способ контроля результатов выборов? Слепо верить ЦИК и считать всё, что отклоняется от данных ЦИК, ошибкой социологов?

Но как бы там ни было, объективно экзит-пол вовсе не направлен против власти, тем более, что с середины сентября - после удвоения выплат по самым массовым пенсиям и обещания В.Януковичем официального статуса русскому языку, права на двойное гражданство с Россией и отказа от вступления в НАТО - его рейтинг стремительно вырос и он превысил рейтинг В.Ющенко. В случае победы Януковича экзит-пол был бы на руку власти. Так, во время парламентских выборов результаты нашего экзит-пола отличались от результатов выборов менее, чем на 1.8% для 2-х партий и менее 0.7% для всех остальных партий, поэтому когда некоторые представители оппозиции стали утверждать, что выборы сфальсифицированы, социологи доказывали, что это не так. Волна критики быстро сошла на нет.

Фонд «Демократические инициативы» (ДИ) привлек деньги нескольких международных фондов и посольств на проведение экзит-пола и организовал консорциум, в состав которого вошло 4 ведущих центра, проводящих львиную долю всех политических исследований в Украине: Центр «Социальный мониторинг» (ЦСМ), который был ближе к власти, центр им. Разумкова (ЦР), который был ближе к оппозиции и два более нейтральных коммерческих центра – СОЦИС и Киевский международный институт социологии (КМИС), проводивших исследования по заказам и власти и оппозиции. Такая композиция должна была способствовать нейтрализации возможного восприятия консорциума как политически ангажированного и повысить доверие к результатам экзит-пола. Кроме того, были приглашены аудиторы, участвовавшие в каждом туре (некоторые во всех трёх, некоторые только в одном или двух) – украинские (О.Кузякив, А.Горбачик, Н.Панина) и зарубежные (Юрий Левада, Алесей Гражданкин, Наталья Зоркая, Елизавета Дюк из Левада-центра, Ryszard Pienkowski, Maciej Kochanowicz, Elzbieta Wolkiewicz из польской компании PBS, а также Анна Андреенкова из ЦЭССИ).

Это, однако, не помогло, власть рассматривала организацию экзит-пола как происки оппозиции. В провластных СМИ обсуждался сценарий, по которому с помощью экзит-пола оппозиция объявит свою победу и захватит власть. Оппозиция относилась к экзит-полу более лояльно, но высказывались также опасения, что будут фальсифицированы и выборы и экзит-полы. Публикации рейтингов ещё до экзит-пола сопровождались грубыми нападками то со стороны власти, то со стороны оппозиции, в зависимости от динамики рейтингов. С приближением даты выборов ситуация всё более накалялась. Взрывы на рынке «Троещина» с обвинением в этом оппозиции, отравление Ющенко, аресты активистов «Поры» и т.п. показывают, что в этой борьбе могли быть использованы любые средства. Психологическая атмосфера была очень напряжённой (мы с женой обсуждали «эвакуацию» внучки на время выборов). И когда появилась информация об альтернативных экзит-полах – экзит-пол Украинского института социальных исследований (УИСИ) и экзит-пол ФОМа – у меня отлегло от сердца. Стало ясно, что с экзит-полом будут бороться, скорее всего, «мирными» средствами, без применения методов физического воздействия. Однако, и мирные средства создавали экстремальную атмосферу. Директор УИСИ, Александр Яременко, организовавший альтернативный экзит-пол, умер три недели назад от сердечного приступа – я думаю, что стрессы в период выборов тоже внесли свой вклад в его болезнь.

В ходе выборов мы проводили эксперименты по сравнению рейтингов, полученных в обычном опросе и путём имитации выборов, т.е. методом тайного голосования (у интервьюеров были коробки, в которые респонденты бросали анкеты) . С приближением выборов нападки на Ющенко в СМИ становились всё интенсивнее, давление на избирателей усилилось, рейтинг Ющенко в методе тайного голосования стал выше рейтинга в обычном интервью на 3-4%. Кроме того, увеличилось количество отказавшихся или затруднившихся ответить на вопрос об электоральном выборе. Стали активно использоваться технологии выявления сторонников оппозиции под видом социологических опросов и исключение их из списков избирателей, что тоже не способствовало желанию отвечать. Стало ясно, что искренность ответов падает, поэтому в обсуждении предстоящего экзит-пола ЦР предложил использовать метод тайного голосования, который хорошо себя зарекомендовал и активно используется при проведении экзит-полов во всём мире (Bishop S. and Fisher J. "Secret ballots" and Self-Reports in an Exit-Poll Experiment. // Public Opinion Quarterly, Volume 59: 568-588.

Perry P. Certain Problem in Election Survey Methodology. // Public Opinion Quarterly Volume 1979, issue 5 и др.).

Наш институт – КМИС это предложение поддержал, а СОЦИС и ЦСМ не его не приняли, мотивируя это неуверенностью в подготовке интервьюеров.

Наконец, наступил день выборов. Экзит-пол проходил в присутствии аудиторов и в целом прошёл удачно, но дальше разгорелся скандал.

Во-первых, при взаимном обмене массивами данных сразу после закрытия опроса СОЦИС и ЦСМ прислали нам по электронной почте данные, показывающие победу Ющенко, а через два часа по телевидению объявили другие, показывающие победу Януковича, которые затем и отстаивали на последней совместной пресс-конференции пяти членов консорциума. Через четыре дня споров в консорциуме о недопустимости такой манипуляции данными руководитель СОЦИСа Н. Чурилов признал победу Ющенко, вернулся к первоначальным данным и, как окончательные, были опубликовал данные, представленные в статье Н.Паниной.

Во-вторых, прямо на пресс-конференции СОЦИС и ЦСМ объявили о выходе из консорциума и о проведении во 2-м туре собственного экзит-пола «Выбор народа». В целом консорциум получил данные, показывающие победу Ющенко, а альтернативные экзит-полы – данные, показывающие победу Януковича. При этом результаты УИСИ не отличались от ЦСР, а что касается данных ФОМа, то Г.Павловский днём объявил, что по предварительным данным на 14 часов преимущество имеет Янукович, но через некоторое время заявил, что экзит-пол остановлен из-за большого числа отказов .

Таблица 1. Сравнение результатов экзит-полов и ЦИК в 1-м туре

Опубликованные данные экзит-пола (с учётом числа недействительных бюллетеней) значимо отличались от данных ЦИК лишь по Ющенко. Причём данные Консорциума в целом отличались на 2.9%, а данные КМИС и ЦР, использовавших метод «тайного голосования», - на 4.7% . Результаты разных центров отличались максимум на 4.5%, которые, скорее всего, объясняются тем, что при интервью, как и во время предвыборных опросов, часть респондентов опасалась признаться в поддержке Ющенко.

Но наиболее драматические события произошли, на мой взгляд, во 2-м туре выборов. ФОМ не проводил экзит-пол во втором туре, УИСИ заявил, что их экзит-пол не состоялся из-за большого числа отказов (больше 50%). Результаты сравнения данных других экзит-полов приведены в таблице.

Таблица 2. Сравнение результатов экзит-полов и ЦИК во 2-м туре

Уменьшившийся на две организации Консорциум (остались фонд ДИ, КМИС и ЦР) обнародовал результаты, показывающие уверенную победу Ющенко. (Различия в результатах КМИСа и ЦР были менее полутора процентов, доля отказов составила лишь 21%), экзит-пол «Голос народа» (СОЦИС и ЦСМ) почему-то сразу распался и давал данные отдельно - ЦСМ показывал победу Ющенко с разрывом в 3%, а вот с результатами СОЦИСа, как и в первом туре, стали происходить метаморфозы. В предварительных результатах побеждал Ющенко, во время телевизионной передачи в 20.00 Н. Чурилов, директор СОЦИСа, объявил о преимуществе Януковича, но сказал, что данные ненадёжны из-за большого числа отказов, однако на сайте СОЦИСа эти данные были представлены уже как надёжные. Потом данные экзит-полов 2-го тура исчезли с сайтов и СОЦИСа и ЦСМ.

После обнародования данных ЦИК, показывающих победу Януковича с разрывом 3%, оппозиция призвала народ выйти на площадь и началась «оранжевая» революция.

В конце концов Верховный суд отменил результаты выборов как фальсифицированные и назначил переголосование (для полноты картины я привёл сравнение результатов экзит-полов во время переголосования в приложении, но это уже несущественно для рассматриваемых нами вопросов).

Вопрос, на который я не знаю ответа – была бы «революция», если бы Янукович выиграл выборы (и экзит-полы показали бы это)? Был ли революционный сценарий заранее запланирован? Но я точно знаю, что мы бы обнародовали именно те данные, которые получили.

В любом случае все проведенные экзит-полы, кроме СОЦИСа, который сомневался в своих данных, показали победу Ющенко во 2-м туре, эти результаты были на тот момент единственным индикатором проблем с результатами выборов. При этом, с моей точки зрения, социологи не вмешиваются не в свою область, они обращают внимание ответственных лиц на возможные проблемы. Верховный суд рассмотрел поступившие уже потом многочисленные свидетельства массовых фальсификаций и принял решение не на основе результатов экзит-пола (про который к этому времени уже все забыли), а на основании свидетельств о фальсификациях.

Слухи и гипотезы.

Незадолго до 1-го тура выборов и между первым и вторым туром прошло много публичных и тайных событий, судя по всему, с социологами активно «работали». КМИС тоже получал очень выгодные предложения, которые мы (я и мой партнёр и друг В. Хмелько) отклонили, так как они требовали выхода из Консорциума, то есть отказа от заключенного ранее соглашения о совместной работе членов Консорциума (все наши соглашения оглашались публично и размещались на сайте). Слухи, которые кажутся мне правдоподобными, состоят в следующем.

1. ФОМ не прекратил опрос, а довёл его до конца и результаты, полученные ФОМом в экзит-поле 1-го тура выборов, были близки к нашим данным и показывали победу Ющенко, но заказчик ФОМа обнародовал их, поменяв местами Ющенко и Януковича (об этом говорит в интервью на интернет-сайте «Украинская правда» А.Вишняк, ссылаясь на неназванного сотрудника компании UMG, сводившей вместе результаты экзит-пола ФОМа). Поэтому ФОМ дезавуировал свои результаты, сославшись на низкую долю ответов.

2. Результаты, полученные УИСИ во втором туре выборов, показывали победу Ющенко и руководитель УИСИ А.Яременко, под давлением властей не стал публиковать эти данные, сославшись на низкую долю ответов (но и не стал их фальсифицировать, что, по-видимому, от него требовали).

3. Результаты, полученные ЦСМ во 2-м туре выборов, показывали преимущество Ющенко в 9% (но ЦСМ уменьшил его до 3%), а результаты, полученные СОЦИСом, показывали преимущество Ющенко в 8% (а СОЦИС обнародовал данные о победе Януковича с преимуществом 1.4%). Эти сведения получены мной от социального окружения сотрудников этих компаний (экзит-пол – это коллективная деятельность, результаты экзит-пола известны, по крайней мере, нескольким сотрудникам в каждой из компаний, у них есть дети, родители, друзья, скрыть такую информацию очень сложно).

Почему я верю этим слухам (или, скажем, этой гипотезе)? Гипотеза полностью согласуются с полученными нами данными, а я достаточно уверен в их качестве. Предыдущие экзит-полы показали хорошее соответствие полученных данных результатам выборов, а за это время мы усовершенствовали выборку, увеличили число точек опроса и методологию опроса. До сих пор наши результаты и результаты СОЦИСа не расходились больше, чем на несколько процентов (до этого мы провели вместе несколько экзит-полов и ряд других исследований) . Впрочем, доказать фальсификацию результатов экзит-пола практически невозможно. Если СОЦИС или ЦСМ подаст на меня в суд за клевету, и сотрудники этих организаций будут вызваны в качестве свидетелей и если они захотят говорить правду (что маловероятно, так как они почти наверняка лишатся работы), то только тогда может быть установлен факт фальсификации.

Во время выборов социологи постоянно подвергаются нападкам со стороны политиков и журналистов, их регулярно обвиняют в разнобое данных и продажности. Я много раз проверял эти обвинения и написал несколько статей, где показывал, что все рассогласования связаны с некорректным сопоставлением либо данных за разные периоды либо разных показателей (например, рейтинг по отношению ко всем опрошенным или по отношению к тем, кто планирует участвовать в выборах, см., например, «Грустные раздумья перед экзот-полом» или «Не надо втягивать социологов в политику» (http://www.kiis.com.ua/index.php?id=4&sp=1&num=12). Я неоднократно писал также, что фальсификация данных возможна лишь центрами-однодневками, созданными к той или иной избирательной компании, а не профессиональными центрами, дорожащими репутацией и намеренным работать и после выборов. Так вот, если моя гипотеза верна, то впервые произошло беспрецедентное событие – фальсификация результатов исследования профессиональными социологическими центрами!

В чём, на мой взгляд, главный недостаток статьи Н.Паниной? Она пишет почему-то преимущественно только о 1-м туре и совсем ничего о драматических событиях 2-го тура (а также ничего о 3-м туре), анализирует небольшие различия данных 1-го тура и «не замечает» радикальных различий 2-го тура. Собственно, статья Н.Паниной - это доклад на круглом столе "Научное знание и власть: социологические исследования и политическая практика", Киев, 17 марта 2005 г.) , на который я не пошёл, несмотря на настойчивые приглашения организаторов. А не пошёл именно потому, что мне было бы тяжело видеть глаза наших бывших коллег по консорциуму, которых вынудили фальсифицировать данные и поставить под удар репутацию своих центров (я не могу их осуждать, так как не знаю, что им грозило, и что им пришлось пережить). Кроме того, странно рассуждать о методологии, которая привела к различиям данных, когда эти различия связаны совсем не с методологией, а с насилием над социологами. Этот круглый стол во многом способствовал тому, чтобы «заболтать» реальную проблему, сделать вид, что ничего не произошло, что всё нормально. Есть недостатки в подготовке экзит-полов, все центры самонадеянны, директора стремятся на публичную сцену, на экраны. Вот и получилось, что плохо сделали экзит-полы, не совпадают они ни с результатами выборов, ни между собой. Как пишет Н.Панина, «качество информации, как видно из подготовки к опросу, мало кого интересовало из широкого круга участников действа "Экзит-полл в Украине-2004». Если бы нас действительно не интересовало качество наших данных и наша репутация, то в финансовом отношении мы могли обеспечить себя на несколько лет вперёд...

Очень обидно получается. Прожить жуткие несколько месяцев в неимоверном напряжении, выдержать критику и оскорбления в СМИ, устоять под давлением, которое не все выдержали, и всё же провести в этих сложных условиях 3 экзит-пола с максимально возможной точностью. А близкий тебе человек, как Наталья Панина, не видит разницу в том, кто кому солгал, и считает, что это не важно. Ты украл или у тебя украли – всё равно ты замешан в краже.

Критерии валидности результатов экзит-пола

Но рассмотрим по существу претензии Н.Паниной к экзит-полам.

Группа "Консорциум" вступила на сцену первой. Она включала пять центров, четыре из которых должны были проводить экзит-полл. Роль пятого центра была обозначена как руководящая и координирующая. Странная структура для крупномасштабного социологического опроса. Четыре центра систематически занимаются опросами населения и имеют квалифицированных дипломированных руководителей и персонал. А в качестве руководителя и координатора проекта выбирают центр "Демократические инициативы"...Результаты особенностей такой структуры не могли не сказаться на уровне и особенностях подготовки к проведению экзит-полла (Н.Панина).

Фонд «Демократические инициативы» («ДИ») сумел собрать деньги на проведение экзит-пола (как и 4-х предыдущих экзит-полов), деньги дали 8 посольств и 4 международных фонда, «Дем.инициативы» были, фактически, заказчиком экзит-пола, занимались преимущественно общением з донорами и прессой (даже решение чисто финансовых отношений 12 доноров с 5 исполнителями – это большая координационная работа, да и с прессой у руководителей центров не было времени общаться), но в меньшей мере также и координацией взаимодействия центров между собой. Хочется подчеркнуть всю сложность координации работы профессиональных и финансово успешных исследовательских центров, которые, как правило, выступают конкурентами в различных тендерах и имеют собственные стандарты в менеджменте и методологии, поэтому действительно в 1-м туре с координацией работы центров были некоторые проблемы, тут можно отчасти согласиться с Н.Паниной. Во 2-м и 3-м туре координацию осуществлял наш институт (хотя нам было легче, так как объектов координации стало меньше).

М.Погребинский как-то в полемике довольно точно назвал руководителя фонда «ДИ» И.Кучерива продюсером социологических проектов, по-моему, это очень важная и уникальная функция (менеджмент научных исследований). Я не согласен с Н.Паниной в оценке структуры консорциума (особенно в распределении работ во 2-м и 3-м турах), по-моему, «Дем.инициативы» выполняли очень важную функцию .

Проблемы подготовки к экзит-полу были связаны не с неудачной структурой, а с тем, что к тому моменту, когда деньги уже были собраны, оставалось мало времени на подготовку. А при предвыборной перегрузке центров начинать подготовку к исследованию, когда ещё не известно, будет ли оно, просто нереально. Да и то речь шла не столько о самой подготовке, сколько о документации для аудита (это типичный упрёк академического учёного, который не имеет опыта организации крупномасштабных исследований типа экзит-пола в реальном режиме времени). Кстати, описание методологии экзит-пола во 2-м туре было уже очень подробным и составляло 70 страниц.

Решение о привлечении аудиторов было принято донорами проекта на конечных этапах подготовки исследования, так как началась дискредитация консорциума и отдельных его участников. Мы стояли перед выбором: качественно подготовить исследование или понравиться аудиторам - и выбрали первое. К сожалению, в статье Н.Паниной ничего не говорится о реальных методологических проблемах, которые больше всего беспокоили нас накануне проведения экзит-пола. Например:

• Как найти информацию об избирательных участках, попавших в выборку (физический адрес, численность избирателей и т.п.), которая исчезла с официального сайта ЦВК?


• Каким образом организовать отбор респондентов на спаренных участках, то есть таких, где в одном помещении голосуют избиратели 2 и более участков?


• Как обеспечить своевременность передачи информации в труднодоступных селах? Следует отметить, что несколько ведущих мобильных операторов отказались предоставить помощь в организации экзит-пола из-за боязни быть вовлеченными в политический конфликт.


• Как обеспечить безопасность работы интервьюеров? К сожалению, предыдущие экзит-полы убедили нас в необходимости таких мер. Во время 1-го и 2-го туров выборов 2004 ситуация была очень напряженной. Официальные лица и «добровольцы» препятствовали работе интервьюеров, пытались подкупить их, чтобы узнать результаты, были зафиксированы случаи задержания интервьюеров милицией, попытки отобрать результаты исследования и оскорбления и попытки физического насилия.


• Как спрогнозировать явку избирателей, чтобы представить результаты экзит-пола? И т.д. и т.п.

Так или иначе при всех недостатках координации работ эти проблемы были решены, а приблизительно та же структура консорциума дала очень хорошие всеми признанные результаты в предыдущих выборах (см. Общенациональные опросы exit-poll:

Выборы 1998, 1999, 2002. – К.: Заповит, 2002. – 120 с. на украинском языке). Поэтому состав консорциума не имеет никакого отношения к причинам возникшего скандала, не при чём здесь также надежность или валидность полученных данных, тут я совершенно не могу согласиться с Н.Паниной.

«Именно в отсутствии соответствующей подготовки к исследованию следует искать социологические причины того, что результаты опросов у всех центров не соответствуют критериям надежности и валидности социологической информации. Именно необоснованная самонадеянность ведущих фирм, занимающихся опросами общественного мнения, является латентной причиной публичных скандалов, погасить которые пытались, неуклюже ссылаясь на различия в методах проведения опроса, причины и обоснованность выбора которых малопонятны широкому читателю (телезрителю).» (Н.Панина)

Три из самонадеянных ведущих фирм к этому времени уже провели несколько экзит-полов, отличающихся от результатов выборов не более, чем на 2 процента, и получивших высокую оценку международных экспертов по экзит-полу (например, У.Митофского). Данное исследование проводилось по такой же методологии, как в предыдущих парламентских выборах (за исключением того, что в прошлых выборах выборку для экзит-полов разрабатывал КМИС, а в этих – СОЦИС), поэтому нехватка документации ещё не означает неправильность методологии. У меня, как и аудиторов из центра Левады и польской компании PBS, тоже есть некоторые претензии к выборке СОЦИСа, разработанной Николаем Чуриловым (всякий директор центра считает, что выборка его центра лучше), поэтому во 2-м и 3-м туре мы использовали нашу (КМИСа) выборку. Однако уничтожающая критика Н.Паниной выборки Н.Чурилова совершенно несостоятельна.

Рассмотрим аргументы Н.Паниной. В таблице 2 статьи Н.Паниной приведены данные 4-х центров, входящих в консорциум, отдельно по каждой области. Далее данные сравниваются (по каждой области) и делается вывод о несоответствии этих данных:

Было бы если не смешнее, то, во всяком случае, честнее, если бы каждый из этих центров (имеются в виду КМИС и Центр Разумкова) поместил свои результаты (отдельно). По крайней мере, читатель имел бы возможность догадаться, что результаты экзит-полла не являются истиной в последней инстанции.

Выборка Н.Чурилова строилась так, чтобы быть репрезентативной для Украины в целом по данным каждого центра и репрезентативной по областям Украины по данным ВСЕХ ЧЕТЫРЕХ ЦЕНТРОВ ВМЕСТЕ. Ошибка многоступенчатой выборки, в частности ошибка выборки для экзит-пола, зависит от числа первичных единиц отбора PSU (primary sample units), в данном случае населённых пунктов, затем избирательных участков и затем числа респондентов на каждом избирательном участке. При этом решающим является отбор населённых пунктов и избирательных участков на первых этапах. Именно этим определяется величина дизайн-эффекта выборки (т.е. отличие выборки от простой случайной). При небольшом числе населённых пунктов ошибка на первом этапе настолько велика, что никакое увеличение числа респондентов не исправит ситуацию (50 тысяч опрошенных планировалось для того, чтобы напугать возможных фальсификаторов. Расчетная ошибка выборки при том же числе избирательных участках и при 10 тысячах опрошенных была бы практически такой же). Здесь Н.Панина делает типичную методологическую ошибку, ориентируясь на число опрошенных и не обращая внимания на число населённых пунктов (к сожалению, игнорирование дизайн-эффекта выборки доминирует среди отечественных социологов). Всего в выборке был 151 город и 400 сёл, в среднем около 6 городов и 15 сёл в области, т.е. в больших областях было больше 10 городов и 20 сел, а в маленьких 3-4 города и 8-10 сёл. Этого едва достаточно, чтобы получить репрезентативность по отдельной области при объединении данных всех центров вместе (и то с большой ошибкой). Не нужно быть большим экспертом по статистике, чтобы понять, что в большинстве областей при случайном распределении 3-4 городов и 10 сёл по 4-м центрам различия могут быть очень большими, в какой-то из выборок может вообще не быть ПГТ, в другой попасть специфический город и т.д. Ни Н.Чурилов и никто другой не в состоянии разделить 3 или 4 города на 4 выборки так, чтобы, скажем, данные по городскому населению были эквивалентны. Например, в нашей выборке для маленькой Сумской области попался район – родина Ющенко – где поддержка Ющенко «зашкаливала», в итоге различия были достаточно большими. Однако для выборки в целом – которую исполняли бы четыре центра - эти отклонения погашаются. Удививший Н.Панину факт – «Причем, если по одному из кандидатов в какой-то области значение у центра Разумкова на 5-10% выше, чем у КМИС, то в этой же области по какому-либо другом кандидату, на эти же 5-10% ниже, и наоборот» - это не просчёты выборки Н.Чурилова, а обычная статистическая закономерность. Для определения надёжности (согласованности результатов) нужно брать 4 репрезентативные выборки, а не делить одну репрезентативную выборку на 4 части, как это сделала Н.Панина, рассматривая каждую область отдельно для каждого центра (кстати, КМИС был против публикации данных по каждой области даже для 2-х центров, считая их недостаточно репрезентативными, журналисты раздобыли эти данные, пользуясь стремлением консорциума сделать работу как можно более прозрачной). В частности, сравнение данных для Украины в целом по 4-м центрам является вполне корректным.

Желающим понять статистическую суть сказанного можно предложить ещё одно упражнение . Выделим из таблицы, приведенной Н.Паниной, большие области, в частности, все области, где было больше 10 городских населённых пунктов (получится 7 областей).

Как видим, согласованность результатов намного выше. Если мы рассчитаем среднеквадратичную разность результатов центров, работавших с помощью одинаковых методик (КМИСа и Центра Разумкова – тайные бюллетени, СОЦИС и ЦСМ – интервью), то получим следующую картину.

При этом разность данных КМИС и ЦР меньше 3% (ещё раз напоминаю, что при этом части общей выборки, выпавшие каждому отдельному центру, для отдельно взятых областей НЕ РЕПРЕЗЕНТАТИВНЫ. Поэтому сравнивать их для получения содержательных выводов некорректно. Здесь это просто упражнение на понимание статистики). Таким образом, проверку по критерию согласованности данные экзит-пола (по крайней мере, данные КМИС и ЦР), вполне выдерживают.

Вернемся теперь к вопросу, поставленному Паниной – что является критерием валидности результатов. Н.Панина рассматривает 3 критерия:

1) соответствие данных экзит-пола данным Центризбиркома,

2) соответствие данных экзит-пола данным параллельного подсчёта голосов,

3) согласованность результатов экзит-полов, проведенных разными центрами.

По поводу этих трех критериев необходимо отметить следующее:

1) соответствие данных экзит-пола данным ЦИК в качестве критерия неприемлемо, в виду признанной Верховным судом Украины фальсификации результатов голосования во 2-ом туре, а также надежно идентифицированных двух предшествующих случаев фальсификации результатов голосования - на референдуме 2002 года и на выборах в Мукачево в апреле 2004 года;

2) соответствие данных экзит-пола данным параллельного подсчёта голосов (совпадающим с данными ЦИК) не может служить критерием, так как почти все фальсификации осуществлялись на этапах, предшествующих составлению тех самых протоколов на избирательных участках, по которым проводился параллельный подсчет голосов. Так, при проведении опроса в 3-м туре мы поручили интервьюерам собрать результаты голосования во 2-м туре, зафиксированные в протоколах на участках, где мы проводили опрос (эти официальные результаты 2-го тура выборов по каждому участку в соответствии с инструкциями ЦИК должны были висеть на избирательных участках. Просуммировав официальные данные по всем участкам, где проходил наш опрос, мы получили отличие от результатов ЦИК всего в 0.3%, в то время как данные опроса отличались значительно больше; это, как раз, подтверждает высокое качество выборки и высокий уровень фальсификации выборов);

3) согласованность результатов в качестве критерия работает, если данные экзит-пола не фальсифицируются; наш анализ показывает, что данные КМИС и ЦР - и по первому туру, и по двум последующим - полностью согласованы.

Однако обратим внимание ещё на два – весьма существенных - критерия валидности, которые не назвала Н.Панина.

1. Соответствие данных, полученных в экзит-полах теми же центрами в предыдущих выборах. Если 4 раза данные экзит-полов совпадали с результатами выборов, а новый экзит-пол проводится тем же составом участников почти по той же методологии, то это является одним из критериев валидности. Отличие данных выборов от предыдущих, которое могло сказаться на результатах, – более интенсивное давление на респондентов. Но мы учли это, предусмотрев процедуру тайного голосования.

2. Логическая валидность – контроль правильности процедуры на каждом этапе (если использование этой методологии во всём мире даёт хорошее совпадение с результатами выборов, а анализ показывает, что у нас нет систематических отклонений от общепринятой методологии, то это тоже критерий валидности результатов).

Аудиторы и эксперты (кроме Н.Паниной были приглашены эксперты, имеющие опыт проведения собственных экзит-полов, из польской компании PBS, российской компании ЦЭССИ и Левада-центра), которые оценивали преимущественно именно правильность процедуры, дали высокую оценку работы консорциума (особенно во 2-м и 3-м туре опроса).

В целом, с моей точки зрения, проведенные экзит-полы (по крайней мере, КМИСа и Центра Разумкова) отвечают применимым здесь критериям валидности 3,4 и 5 и проведены даже на более высоком профессиональном уровне, чем всеми одобренные экзит-полы во время предыдущих парламентских выборов.

Провал или успех?

Во многом можно согласиться с Натальей Паниной. Сезонность интереса к социологии, целесообразность разделения социологов и поллстеров и т.п. С чем-то можно спорить. Например, при том, что я согласен с разделением социологов и поллстеров, трудно согласиться с некоторым оттенком превосходства первых над последними, которая сквозит в статье (речь идёт о том, что поллстеры пытаются использовать высокий авторитет социологии как науки). Мне кажется, что эти отношения намного сложнее, а высокий авторитет науки часто базируется на том, что социологические работы не имеют такого общественного резонанса и не контролируются до такой степени как предвыборные исследования. Публикации, теоретические посылы которых не находят эмпирического подтверждения и не имеют связи с общественной практикой, часто по сути неверифицируемы. Поэтому такие данные, публикации не подвергаются такому глубокому общественному контролю как данные екзит-пола или рейтинги. Для подавляющего большинства социологических исследований нет результатов выборов или референдумов, с которыми эти данные будут сравнивать. Вы можете безнаказанно утверждать, что уровень толерантности населения по сконструированному Вами индексу составляет, скажем, 23% - и никто вас не будет обвинять по всем каналам телевидения или в газетах и утверждать, что по-настоящему он 25% (разве что в какой-нибудь научной статье, которую прочтут только социологи). В то же время высокие требования к качеству данных предвыборных исследований (например, определить, какие партии пройдут в парламент, если проходной «балл» 3%, что требует точности в 1%) стимулируют развитие методологии исследований.

Но главное, что меня расстраивает в статье Н.Паниной – попытка замолчать реальную драму, которая произошла, и рассмотреть полученные результаты так, как будто они получены в результате каких-то методологических особенностей работы социологов. Наталья возглавляла Комитет по этике Социологической ассоциации Украины, но как только появилось первое обращение к этому комитету (связанное с выборами и экзит-полами) , – тут же подала в отставку. И такую позицию я очень хорошо понимаю, мне ужасно не хочется ни в чём этом разбираться, я очень не хотел писать и эту статью и отказывался участвовать в обсуждениях этой проблемы. Но зачем тогда Наталья написала этот доклад и опубликовала его, вводя в заблуждение наших российских коллег?

Результатом выборов стал раскол украинских социологов, взаимные обвинения, ухудшение отношений между ними. Судя по всему, впервые некоторые профессиональные социологические центры фальсифицировали полученные ими данные. И с этой точки зрения – это провал.

С другой стороны, социологи выдержали давление (некоторые из них объявили свои экзит-полы несостоявшимися, но не стали публиковать фальсифицированные результаты), в сложных условиях модифицировали методику так, чтобы минимизировать систематические ошибки, обнародовали надёжные данные, которые поставили перед обществом вопрос о легитимности выборов – и Верховный суд подтвердил сомнения социологов. Можно по разному относиться к деятельности новой власти, но что является их несомненным плюсом – отсутствие командования СМИ.

Таким образом, в целом, как профессиональное сообщество, социологи способствовали очередному шагу в становлении демократии в Украине – и это большой успех.

Приложение 1. Третий тур выборов (переголосование 2-го тура)

Участники Консорциума.
Те же, что и во втором туре выборов – Фонд «Демократические инициативы» (координатор проекта), Киевский международный институт социологии (КМИС - координатор непосредственно екзит-пола) и Центр экономических и политических исследований имени Александра Разумкова.

Выборка

Методология проведения экзит-пола во втором туре состояла в определении распределения голосов избирателей в опросе и последующем взвешивании на явку, которая дана ЦИК (Центральной избирательной комиссией) . Верховный суд Украины в ходе судебного разбирательства подтвердил, что данные о явке являются неточными и были фальсифицированы. Поэтому мы собирались провести равномерный случайный отбор избирательных участков и отбирать на каждом участке респондентов с единым шагом (именно это советовали нам эксперты Центра Левады и польской компании PBS). Это позволило бы оценить явку независимо от данных ЦВК. К сожалению, имеющиеся ресурсы и ухудшение погодных условий (снежные заносы) не позволили реализовать эту идею, введение новой методологии могло привести к риску срыва опроса на ряде участков. Более надёжной была стратегия сохранения тех же участков, это облегчало работу интервьюеров. Поэтому возникла задача определения явки при сохранении выборки 2-го тура – участков с вероятностью, пропорциональной численности населения (PPS). Была разработана специальная процедура расчёта явки при том, что избирательные участки отбираются не с помощью равномерного случайного отбора, а с использованием в каждой области PPS.

Таким образом, исследование проводилось точно так же, как и во 2-м туре. Но использовались данные о численности участков, которые нам удалось получить к этому времени, чтобы определить явку (процент тех, кто пришел голосовать, по отношению ко всем зарегистрированным избирателям).

Процедура и инструмент исследования

В целом опрос проходил точно так же, как и во втором туре. Отличительной особенностью было только то, что во втором туре интервьюрам задавались и шаг отбора респондентов и число респондентов, которых необходимо было опросить. Поэтому при возникновении конфликтов этих двух требований интервьюеры ориентировались больше на количество респондентов, в частности, при угрозе недостатка количества респондентов, интервьюеры уменьшали шаг. В третьем же туре интервьюерам вообще не было сказано, сколько респондентов они должны были опросить, им задавался только шаг и в инструкции подчёркивалась необходимость его неукоснительного выполнения.

Оценка ошибки выборки

31 декабря в день 2-го тура выборов были получены обобщённые (по каждому участку) результаты, которые диктовались по телефону и вводились в компьютер. Через несколько дней были получены уточнённые данные уже по анкетам, присланным с избирательных участков.

Сравним результаты с данными ЦИК. Непосредственное сравнение результатов (см. таблицу 1), однако, некорректно, так как в экзит-поле неправильно заполненных анкет почти нет, а количество бюллетеней, признанных недействительными, составляет около 1.5%.

Таблица 1. Сравнение с данными ЦИК без исключения недействительных бюллетеней

Более корректным является сравнение результатов при устранении недействительных бюллетеней и неправильно заполненных анкет, т.е. сравнение именно доли голосов, отданных за Ющенко, Януковича и против всех.

Таблица 2. Сравнение результатов экзит-пола с данными ЦИК (по отношению к правильно заполненным анкетам и действительным бюллетеням)

Как видим, различие составляет почти 4% . Чем можно объяснить это различие?

Рассмотрим несколько возможных факторов.

1. Голосование категорий населения, неучтённых в экзит-поле.

Опрос на выходе из избирательных участков не включает те категории населения, который голосовали вне участков. В таблице 4 приведена численность тех категорий населения, по отношению к которым экзит-пол не даёт никакой информации

Таблица 4. Приблизительные данные о количестве избирателей голосующих на «закрытых участках» или дома

К сожалению, точно известно лишь количество проголосовавших на дому, эти данные приведены на сайте ЦИК, какая часть заключенных и военнослужащих, а также лежащих в больнице проголосовала мы не знаем.

Что касается заключённых и военнослужащих, то доля проголосовавших должна быть не меньше, чем для остальных категорий населения, так как «явку» этих категорий населения легче организовать. Можно предположить, что в голосовании приняло участие не менее 75% от численности этих категорий, т.е. 1.2% от всех проголосовавших. Можно предположить также, что большая часть из них проголосовала за Януковича, например, 60%, т.е. около 0.7% за Януковича и около 0.5% за Ющенко.

Что касается проголосовавших на дому, то это инвалиды, а также избиратели, которые имеют трудности с передвижением, это большей частью пожилые люди, голосующие более активно за Януковича, чем другие возрастные группы. Если разделить 1.8%, проголосовавших на дому, в такой же пропорции как заключённых и военнослужащих, то получим 1% за Януковича и 0.8% за Ющенко.

Что касается голосовавших в больницах, то у нас нет оснований считать, что они голосуют иначе, чем те, кто голосовал на участках. Таким образом, сравнение наших данных с данными ЦВК при вычитании процентов, отданных за Ющенко и Януковича вне избирательных участков, даёт следующее:

Таблица 5. Сравнение результатов экзит-пола с данными ЦИК (по отношению к правильно заполненным анкетам и действительным бюллетеням)

2. Стохастическая ошибка выборки

Расчёты показали, что стохастическая ошибка выборки с вероятностью 0.95 не может превышать 1.8% (теоретическая ошибка выборки 0.6%, дизайн-эффект 3)

3. Ошибка за счёт неответов

Используя ту же методику расчёта, что и во втором туре, и при доле ответивших 81% можно показать, что за счёт поло-возрастных различий ответивших и неответивших их различия по ориентациям могут составлять до 0.7% .

Отличие ситуации 3-го тура от ситуации 2-го тура могло состоять также в том, что после 2-го тура и после «оранжевой революции», во многом связанной с результатами екзит-пола, представители власти критиковали екзит-пол и рассматривали его как полит-технологию оппозиции. Поэтому екзит-пол мог частью избирателей уже не восприниматься как обычный опрос, а больше связываться с оппозицией, чем с властью. Это означает, что среди отказавшихся отвечать сторонников Януковича могло быть больше, чем среди ответивших. Оценить возможную дополнительную ошибку сложно, но учитывая, что информацию об экзит-поле вообще имели далеко не все респонденты, а оценку екзит-полов только часть тех, кто что-то знал об екзит-полах, эта доля не могла быть высокой. Если принять во внимание формулу (1) данного раздела, то маловероятно, дополнительная ошибка может превысить 1-2%.

4. Ошибка за счёт неискренности тех, кто ответил

Как уже указывалось, эту ошибку можно считать несущественной, так как во-первых, в экзит-поле гораздо легче отказаться от ответа, чем в обычных исследованиях, во-вторых, мы использовали метод тайного анкетирования.

Таким образом, скорее всего общая ошибка экзит-пола с вероятностью 0.95 не превышает 1.8%, но даже при очень осторожных предположениях не превышает 3.9% (статистическая ошибка плюс ошибка за счёт неответов). Указанная величина может объяснить разницу в 3.5% в таблице 5.

Если же взять другую крайность и предположить, что ошибка за счёт неответов была не более 1%, а ошибка нашей выборки не более 1%, то мы можем объяснить 2% из 3.5% разницы в таблице 5.

Таким образом, существенные фальсификации при проведении выборов либо вообще отсутствовали либо не превышали 1.5%

Перейти к обсуждению статьи