October 16th, 2015

Про натурный эксперимент Алмаза-Антея

Напомню, что АА взорвал ракету рядом с кабиной ИЛ86 в конфигурации, вычисленной DSB с партнерами.
Выглядит, конечно, эффектно: че-то там бабхает, ошметки летят во все стороны... какой русский не любит танчиков?

zzz

Однако на какой именно вопрос отвечает этот эксперимент? Я сейчас даже не обсуждаю, насколько статический эксперимент на поверхности земли эквивалентен динамическому на высоте в 10 км. Пусть будет эквивалентен.

Предположим, что вся картина поражений оказалось ровно такой, как предсказано DSB. О чем это говорит? Только о том, что такое положение не противоречит эксперименту. Но было ли положение ракеты ровно таким? а кто его знает...
Теперь предположим, что картина поражений оказалось не такой, как предсказано DSB (как и утверждает АА). О чем это говорит? Только о том, что данный эксперимент не подтвердил картину поражений. То есть такое положение ракеты невозможно? а кто его знает...

То есть как ни крути, а ответ полюбому будет "а кто его знает". Опять эта проклятая неопределенность.

И дело здесь в очень простом факте, известном каждому экспериментатору: для того, чтобы сделать некое утверждение с какой-то вероятностью, необходимо набрать статистику реализаций. Взорвали, например, 10 ракет -- уже можно считать средние, стандартные отклонения, p-values вот это все. А по единственной реализации взрыва какая может быть статистика? да никакой.

Спросить себя "а что именно мне даст этот эксперимент?" всегда крайне полезно. И Алмазу-Антею стОило бы задать этот вопрос, прежде чем затевать натурные эксперименты.