Home

Advertisement

Customize
Maxim Pshenichnikov - Любителям статистики 4
January 18th, 2008
09:22 pm

[Link]

Previous Entry Add to Memories Tell a Friend Next Entry
Любителям статистики 4

Глубокоуважаемый [info]podmoskovnik опубликовал забавный график, из которого следует, что бог любит троицу цифру пять. Я его, во-первых, пересчитал с более мелким шагом, а, во-вторых, применил к нему методы спектроскопического анализа. Вот что получилось.

(кликабельно)


Верхний график - гистограмма распределения явки по количеству УИКий. (Вертикальная ось сильно подрезана: максимум 4788 приходится на 100%). На всякий случай, я сделал гауссовый фит на левую половину до максимума и дорисовал его справа (зеленый пунктир). На спадающей стороне явно виден какие-то флуктуации. Однако, поскольку флуктуации происходят на довольно приличном фоне, они не слишком заметны. Тут нам на помощь приходит спектроскопия, которая постоянно сталкивается с обнаружением слабых линий на фоне засветки. Рецепт известен: надо взять производную. Тогда фон, который меняется медленно, даст некий более-менее постоянный уровень, а узкие линии дадут резкие всплески. 

Именно это и проделано на графике нумер 2 (красная кривая). Теперь видите всплески? вот это и есть наши флуктуации, выделенные из фона. И чё это они происходят на 60-70-80-90% явки, не знаете? 

Но теперь мы можем пойти дальше и вычесть медленно меняющийся фон. Как это конкретно сделать, неважо; я, например, сделал честный фит всего-всего восемью гауссами, а потом оставил фоновый (синяя кривая). Теперь из красного вычитаем синий и избавляемся от фона. А теперь интегрируем, т.е. проделываем операцию, противоположную первому шагу - дифференцированию. То есть, не произведи мы вычитание фона, мы должны были бы получить ровно то, с чего начали -- т.е. верхний график (и мы его получили бы, я проверял), но мы хитрые: мы предварительно убили фон. Я начал обратное интегрирование с 55%, поскольку до этого особенностей не было -- именно поэтому до 55% сплошной ноль.

Результат показан на нижнем графике: шаги теперь видны совершенно явно. Интересно, что к уже полученным 10%-шагам явно добавились промежуточные 5%. Амплитуда у них, конечно, поменьше, но за вычетом фона они стали совершенно явными.

UPD: В комментариях меня поправили, что распределение НЕ должно быть гауссовым, как показано зеленым пунктиром на верхнем графике. Полностью согласен: не должно.

Все это мне напоминает движение кинезина по микротубуле  альпиниста: сделал шаг - четыре вдоха - а на пять следующий шаг... Г-н Ч. случайно не альпинист?

(Leave a comment)

Comments
 
[User Picture]
From:[info]vba_
Date:January 18th, 2008 09:26 pm (UTC)
(Link)
Вот такие умники не дают жить нашему народу. Скажу одно:

Ну-ка, враг, ты нас лучше не трогай,
Не волнуйся у наших ворот!
А не то станет грозный и строгий
Наш хозяин -Советский народ!

Мы сами у себя разберемся с дифиринцированием.
[User Picture]
From:[info]oude_rus
Date:January 18th, 2008 09:32 pm (UTC)
(Link)
Нашему народу мое диффиринцирование глубоко пофигу!
From:[info]xpl01t
Date:January 19th, 2008 10:53 pm (UTC)
(Link)
ппц, наш хозяин советский народ, ггг, жжошь, таварисч. =))))
[User Picture]
From:[info]alisa_lebovski
Date:January 19th, 2008 01:22 pm (UTC)
(Link)
Явно "дотягивали" до круглых цифр. ;)
[User Picture]
From:[info]oude_rus
Date:January 19th, 2008 01:40 pm (UTC)
(Link)
Вы знали, вы знали!
[User Picture]
From:[info]ammosov
Date:January 19th, 2008 04:30 pm (UTC)
(Link)
Максима, а почему до 30% - НОЛЬ ?
[User Picture]
From:[info]oude_rus
Date:January 19th, 2008 05:28 pm (UTC)
(Link)
Вопрос правильный, мне следовало бы указать. Я начал обратное интегрирование с 55%, поскольку до этого особенностей не было.
[User Picture]
From:[info]andrewjazz
Date:January 19th, 2008 07:27 pm (UTC)
(Link)
оч занятно!
математическое доказательство бытия Путена
[User Picture]
From:[info]thelof
Date:January 19th, 2008 08:59 pm (UTC)
(Link)
Очень убедительно!

Вот у меня, у конченного троечника, возник только один вариант объяснения. Что в стране есть масса микроучастков, в которых число зарегистрированных избирателей каким-то хитрым образом доведено строго до 10 или 20. Вероятность этого кажется минимальной.
From:[info]lzhl
Date:January 20th, 2008 01:56 am (UTC)
(Link)
http://www.vybory.izbirkom.ru/region... — в конце списка много участков с числов зарегистрированных избирателей 10—11 человек. Это около трети всех участков ТИКа.
[User Picture]
From:[info]sergey_shulgin
Date:January 19th, 2008 10:33 pm (UTC)
(Link)
прикольный график! пики на числах кратных 10% это просто улёт :)

Вы правы в своих комментариях, что "серой массе людей" ("толпе") нет никакого дела до подобных картинок

а думающим людям довольно прозрачна природа таких пиков и их происхождение.

[User Picture]
From:[info]podmoskovnik
Date:January 19th, 2008 11:54 pm (UTC)
(Link)
Отлично! А г-н Чуров - как и некоторые другие :) - физик, и это говорит о многом. Суровая школа физпрактикума даром не проходит.
[User Picture]
From:[info]oude_rus
Date:January 20th, 2008 08:51 am (UTC)

Все кредиты отходят к Вам

(Link)
Я стою на плечах титанов!
From:(Anonymous)
Date:January 20th, 2008 01:05 am (UTC)
(Link)
Тут нам на помощь приходит спектроскопия, которая постоянно сталкивается с обнаружением слабых линий на фоне засветки. Рецепт известен: надо взять производную. Тогда фон, который меняется медленно, даст некий более-менее постоянный уровень, а узкие линии дадут резкие всплески.

Именно это и проделано на графике нумер 2 (красная кривая). Теперь видите всплески? вот это и есть наши флуктуации, выделенные из фона. И чё это они происходят на 60-70-80-90% явки, не знаете?

Но теперь мы можем пойти дальше и вычесть медленно меняющийся фон. Как это конкретно сделать, неважо; я, например, сделал честный фит всего-всего восемью гауссами, а потом оставил фоновый (синяя кривая





Что можно почитать человек с мехматовоской подготовкой чтоы в этом разбираться
[User Picture]
From:[info]oude_rus
Date:January 20th, 2008 08:53 am (UTC)
(Link)
Я даже не знаю... по-моему, это все совершенно очевидно и даже сильно тривиально.

Или разговор идет про фиты? тигда, видимо, "Численные методы и программирование на С" (по-моему, так называется). И вообще полезная книжка.
[User Picture]
From:[info]katsumizer
Date:January 20th, 2008 04:18 am (UTC)
(Link)
Просто и изящно. Единственный закон, на который нам остается уповать - закон больших чисел.
[User Picture]
From:[info]vlkamov
Date:January 20th, 2008 06:23 am (UTC)
(Link)
> Г-н Ч. случайно не альпинист?

Борода мешает, четырех вдоха - на пятый отплевывается и опять. Обещал сбрить если что...

[User Picture]
From:[info]bert_msk
Date:January 20th, 2008 08:17 am (UTC)
(Link)
Вместо того чтобы просто верить, эти пидорасы еще и проверяют математически! Охальники! Как теперь суверенное ядерное православие построить если его адепты будут всё проверять?
[User Picture]
From:[info]oude_rus
Date:January 20th, 2008 08:54 am (UTC)
(Link)
Прошу прощения, но я ничего не проверяю. Скорее, я играюсь с числами.
[User Picture]
From:[info]k_s_b
Date:January 20th, 2008 10:06 am (UTC)
(Link)
красивые картинки :)
Самое смешное, что примерно 50%, проголосовавших по-честному "ЗА" ЕР - это ничего не скажет.
А подгонка результатов... Вы лабораторные работы в институте делали? ;)
Вот именно. Тупые студенты всегда подгоняют график "под то, как должно быть", а умные - "под примерно так могло получиться на этих приборах"...
Расстраивает не столько вброс "ЗА" кого-то, а то, что пики "как должно быть" очень выражены...
From:(Anonymous)
Date:January 20th, 2008 11:17 am (UTC)

Вопрос от человека с улицы.

(Link)
А можно какими-либо именно статистическими методами сделать следующий анализ. Какими были бы результаты выборов, если бы этих факторов, обусловивших пики, не существовало?
[User Picture]
From:[info]oude_rus
Date:January 20th, 2008 11:45 am (UTC)

Re: Вопрос от человека с улицы.

(Link)
Дык это же на графике показано: 1200 УИКий из чуть менее 100000, т.е. около 1%.

Сразу подчеркну, что пик на 100% я анализировать отказываюсь.
From:(Anonymous)
Date:January 20th, 2008 11:27 am (UTC)

рекомендую еще регрессию попробывать

(Link)
Если все-таки собиретесь писать стать, рекомендую еще регрессию вставить, я это делал для этих и прошлых выборов. В результате можно увидеть, а сколько было бы голосов у каждой партии, если бы связь между явкой и долей ЕР отсутствовала, т.е. условно "чистые" доли. К сожалению, получается, что ЕР в основном отобрала голосва у ЛДПР, СР и КПРФ. Также регрессия позволяет посмотреть связь между долей ЕР и долей открепительных талонов на участке, и голосований вне участка. Результаты интересные.
Вот, что получилось у меня, попробуйте на вашей выборке, возможно, она более полная.
http://vkontakte.ru/board.php?act=topic&tid=186913
http://vkontakte.ru/board.php?act=topic&tid=876449
From:(Anonymous)
Date:January 20th, 2008 11:41 am (UTC)

+ небольшое дополнение

(Link)
К предыдущему посту могу добавить, что регрессию по предыдущим выборам (в парламенты регионов) опубликовал в газете Деловой Петербург, а через примерно месяц главного редактора уволили, назвались конечно другие причины, но все-таки. Причем в статье нигде не было слов, типа "подтасовка", "брос" и т.п. Просто типа интересные статистически закономерности :)
[User Picture]
From:[info]e_drakon
Date:January 20th, 2008 11:44 am (UTC)
(Link)
Позволю себе не согласиться. Сразу оговорюсь, что лично я вовсе не сторонник властей, и полагаю, что выборы были «свободными, но нечестными» - то есть нарушения были допущены в ходе избирательной компании. Плюс сам характер политического режима и распределение власти/собственности накладывает ограничение на возможность демократических выборов.

НО! С чисто формально-математической точки зрения, выборы были почти совершенно честными. То есть вброс, возможно и был, но в пределах крайне небольших цифр. Почему я так считаю? Очень просто. Результаты («Наши выборы», ФОМ, ВЦИОМ) как минимум трех разных экзитполов и результаты как минимум трех предвыборных прогнозов предсказали (А. Ослон, ФОМ, ВЦИОМ).

Да и что собственно такого в большом количестве участков с высокой явкой? Это городские густо населенные районы — там явка традиционно высокая. У меня перед глазами есть живой пример людей, которые первые на этих выборах проголосовали за ЕдРо, хотя раньше всегда голосовали за «демократов». Это мои родители. Просто в условиях тотального господства ОРТ в информационном поле с нагнетанием истерии в духе «отечество в опасности» сделало свое дело. А внимание к телевидению выше и СМИ в городских густо населенных регионах. Посмотрите рейтинги программы «Время», они прекрасно объясняют Ваш график.

Я с уважением отношусь к мат. методам, но нельзя применять их к обществу слишком «в лоб».
[User Picture]
From:[info]oude_rus
Date:January 20th, 2008 11:53 am (UTC)
(Link)
А не могли бы Вы сформулировать, с чем именно Вы не согласны? Например, "в строчке 2 второго абзаца аффтар произвел операцию дифференцирования, хотя каждому козлу понятно, что..."

//Это городские густо населенные районы — там явка традиционно высокая.

Вышисления Вас опровергают: http://oude-rus.livejournal.com/53112.html
[User Picture]
From:[info]signamax
Date:January 20th, 2008 10:59 pm (UTC)
(Link)
прекрасно и главное пошагово
мне особенно понравилось что разные люди применяют разные инструменты для последовательного анализа ситуации
не хватает биоинформатики
но мне лень:(
From:[info]sleepingtoss
Date:January 28th, 2008 09:16 pm (UTC)
(Link)
А можешь ли подобные расчёты привести для предыдущих думских выборов? А то сами по себе эти данные не так интересны. Или слишком много времени займёт.
[User Picture]
From:[info]oude_rus
Date:January 28th, 2008 09:41 pm (UTC)
(Link)
С моей точки зрения, это как раз тот редкий случай, когда данные вполне интересны сами по себе, без ансамбля.

Что же касается всевозможных сравнений, то, я думаю, тема богатая, и вполне потянет на кандидатскую (а то и две). К сожалению, эта тема слишком далека от области моей экспертизы и моих интересов.
[User Picture]
From:[info]davader
Date:February 8th, 2008 03:59 pm (UTC)

и где где лопата???

(Link)
Может, кто-нить объяснит, что это значит? Красивый график я тоже могу нарисовать, напишите, может, пояснения длоя идиотов, четкие выводы в развернутом виде, а то не понятно вообще ничего.....
[User Picture]
From:[info]kipsmiling
Date:March 8th, 2008 02:09 am (UTC)
(Link)
Забавно!

Но, справедливости ради, должен Вам сказать, что я Вашу статью с этими графиками, будучи рецензентом, отфутболил бы мгновенно. Результат получен в предположении, что распределение должно быть гауссовым. А это предположение не верно:-) Извините, коллега:-)
[User Picture]
From:[info]oude_rus
Date:March 8th, 2008 12:22 pm (UTC)
(Link)
Где это предположение, Вы не могли бы указать?
(no subject) - (Anonymous)
From:(Anonymous)
Date:August 12th, 2008 04:48 am (UTC)

развлечение для взрослых

(Link)
http://koktel.biz.ua/
сайт для взрослых, просьба несовершеннолетним лицам не заходить
Powered by LiveJournal.com

Advertisement

Customize