Питер Доннелли рассказывает как статистика одурачивает присяжных
Оксфордский математик Питер Доннелли демонстритует распространенные ошибки, которые люди совершают, интерпретируя статистику — и ужасающее влияние эти ошибки могут иметь на результаты уголовных процессов.
Как уже говорили другие докладчики, это довольно трудная задача — особенно трудная задача — выступать перед этой аудиторией. Но в отличие от других докладчиков, я не собираюсь рассказывать вам о тайнах вселенной, или о чудесах эволюции, или о очень изобретательных, новых способах борьбы со значительным неравенством в нашем мире. И даже не о трудностях национальных государств в современной глобальной экономике. Моя задача, как вы только что слышали, рассказать вам о статистике — а точнее, рассказать вам что-то захватывающee о статистике. А это (Смех) — а это гораздо более сложная задача и чем у всех докладчиков до меня, и чем у всех после. (Смех) Один из моих старших коллег сказал мне, когда я был еще юнцом в этой профессии, с долей гордости, что статистики это люди которым нравятся числа, но у которых не достаточно общительности, чтобы стать бухгалтерами. (Смех) Еще одна профессиональная шутка среди статистиков: «Как отличить статистика‐интроверта от статистика-экстраверта?» Ответ: «Статистик-экстраверт это тот кто смотрит на ботинки собеседника.» (Смех) Но я хочу рассказать вам кое‐что полезное — и сейчас начну, так что сконцентрируйтесь. Сегодня вечером будет прием в Музее естественной истории при университете. Это замечательное место, я надеюсь вы в этом убедитесь, и замечательный символ лучшего в Викторианской традиции. Маловероятно — в этих особых обстоятельствах, и в этой группе людей — но может оказаться что вы разговариваете с кем‐то, с кем вам бы не хотелось разговаривать. Вот что вам следует сделать. Когда собеседник спросит вас: «Кто вы по профессии?» — скажите «Я статистик.» (Смех) Правда теперь он был предупрежден, так что он будет знать что вы врете. И тогда произойдет одно из двух. Либо он обнаружит давно потерянную двоюродную сестру в углу комнаты и убежит поговорить с ней. Либо он неожиданно почувствует жажду или голод — а часто и то и другое — и помчится за едой и напитками. И оставит вас в покое чтобы вы смогли поговорить с кем хотели.
Одна из сложностей нашей профессии в том, чтобы объяснить чем мы занимаемся. Мы не возглавляем списки приглашаемых на званые обеды, собеседников и так далее. Я так и не придумал как это делать. Но моя жена — тогда она еще была моей девушкой — преуспела в этом намного лучше чем я когда‐либо мог. Много лет назад, когда мы только начали встречаться, она работала на Би‐би‐си в Великобритании, я в тот момент работал в Америке. Я собирался навестить ее. Она рассказала об этом коллеге, и та спросила, «А чем занимается твой парень?» Сара поразмышляла над тем что я ей объяснял — тогда она в основном слушала. (Смех) Не говорите ей что я это сказал. Она подумала о моих занятиях по разработке математических моделей для изучения эволюции и современной генетики. И когда ее коллега спросила «Чем он занимается?» она, после паузы, сказала «Он работает с моделями.» (Смех) Тогда ее коллега заинтересовалось сильнее чем я мог бы ожидать, и спросила, «С какими моделями?» Сара подимала еще немножко о моей работе и сказала, «Генетическими.» (Смех) «Он занимается генетическими моделями.»
Это моя первая любовь, и я вам немножко об этом расскажу. В целом, я хочу заставить вас задуматься о месте неопределенности, случайности и шанса в нашем мире, как этому относиться, и о том насколько правильно или неправильно мы об этом думаем. Так что до сих пор все было довольно просто — несколько шуток, в таком духе — в предыдущих докладах. Вам прийдется думать, и я буду задавать вам вопросы. Вот ситуация про которую будет первый вопрос. Представьте себе многократное подбрасывание монетки. И по какой‐то причине — которая останется невыясненой — нас интересует определенная последовательность. Например такая - решка, затем орел, затем снова орел.
Итак представьте что мы подбрасываем монетку многократно. Тогда последовательность решка‐орел‐орел, на которой мы внезапно сконцентрировались, встречается здесь. И вы можете посчитать: раз, два, три, четыре, пять, шесть, семь, восемь, девять, десять — она появляется после десятого броска. Вам может показаться, что есть занятия и поинтересней, но уважьте меня на время. Представьте, что эта половина аудитории достала монетки и начала их бросать до тех пор как они впервые не увидят последовательность решка‐орел‐орел. Когда они сделают это в первый раз, может быть это случится после десятого броска, как здесь. Во второй раз, может быть после четвертого броска. В следующий раз, после пятнадцатого. Они сделают это много раз, и посчитают среднее этих чисел. Эта половина пусть думает об этом.
Другой половине аудитории не нравится решка‐орел‐орел — они считают, по глубоким культурным причинам, что это скучно — и их гораздо больше интересует другая последовательность — решка‐орел‐решка. Так что, на этой стороне, вы достаете свои монетки, и начинаете подбрасывать. И считаете количество бросков до появления последовательности решка‐орел‐решка и усредняете. ОК? Итак, эта сторона получила число — и вы сделали это много раз, так что подсчет довольно точный — среднее число подбрасываний до решка‐орел‐орел. На этой стороне, вы получили число среднее число подбрасываний до решка‐орел‐решка.
Есть глубокий математический факт — если у вас есть два числа, то верно одно из трех. Либо они одинаковы, либо это больше, чем это, либо это больше, чем то. А что получится здесь? Подумайте об этом, и проголосуйте — мы дальше не пойдем. Я не хочу получить две минуты молчания чтобы вы могли подумать об этом, пока каждый не выразил свое мнение. ОК. Вам нужно сравнить среднее количество бросков до первого появления решка‐орел‐решка со средним количеством бросков до первого появления решка‐орел‐орел.
Кто считает что верен ответ А — что, в среднем, до решка‐орел‐решка ждать дольше чем до решка‐орел‐орел? Кто считает что правильный ответ B — что, в среднем, они одинаковы? Кто считает что ответ C — что, в среднем, меньше ждать до решка‐орел‐решка чем до решка‐орел‐орел? ОК, кто еще не проголосовал? Какие непослушные — я сказал что все должны. (Смех) ОК. Большинство считает, что верен вариант B. И вас может быть утешит что даже достаточно выдающиеся математики так считают. Но это не верно. Правильный ответ A. Это занимает дольше, в среднем. На самом деле, среднее количество бросков до решка‐орел‐орел 10, а среднее количество бросков до решка‐орел‐решка 8. Как так может быть? Есть какая-то разница между двумя последовательностями? Есть. Решка‐орел‐решка пересекается сама с собой. Если у вас появится решка‐орел‐решка‐орел‐решка, вы хитрым образом получили два появления последовательности за пять бросков. С решка‐орел‐орел так не сделаешь. Оказывается, что это важно.
Есть два способа это понять. Я расскажу вам один из них. Итак представим что мы занимаемся этим. На этой стороне — помните, нас интересует решка‐орел‐орел, вас интересует решка‐орел‐решка. Мы начинаем бросать монетку, и получаем решку — и вот вы уже сидите на краю сиденья потому что что-то замечательное и великолепное, потрясающее, может вот-вот случиться. При следующем броске выпадает орел — и вы очень взволнованы. Шампанское поставлено на лед, стаканы охлаждены, все готово к празднованию. Вы затаив дыхание ждете последнего броска . И если выпадет решка, отлично. Процесс окончен, пора праздновать. Если орел — вы разочаровано убираете бокалы и возвращаете на место шампанское. И продолжаете бросать, ожидая следующей решки чтобы снова обрадоваться.
У этой стороны дело происходит по-другому. Все то же самое в первые два подбрасывания. Вы немножко взволнованы после первой решки — и значительно более взволнованы после последующего орла. Затем вы подбрасываете монетку. Если орел, вы открываете шампанское. Если решка, вы немного разочарованы, но вас уже опять есть треть вашей последовательности. Неформально говоря, именно в этом разница. По-другому об этом можно подумать так — если мы подбросим монетку восемь миллионов раз, можно ожидать миллион последовательностей решка‐орел‐решка и миллион последовательностей решка‐орел‐орел — но решка‐орел‐решки могут выпадать кучками. Если вы разбросаете миллион объектов среди восьми миллионов позиций и некоторые из них могут пересекаться, то кучки будут дальше друг от друга. Вот так еще можно интуитивно это представить.
Что я хочу этим показать? Это очень очень простой пример, вопрос по теории вероятностей, который легко сформулировать, и отвечая на который все — вы в хорошей компании — все ошибаются. Это мое небольшое отступление в предмет моей страсти, в генетику. Есть связь между решка‐орел‐решка и решка‐орел‐орел и генетикой, и она в следующем. Когда вы бросаете монетку, вы получаете последовательность орлов и решек. Когда вы смотрите на ДНК, видите последовательности не двух вещей — орлов и решек — а четырех букв — A, G, C и Т. И есть такие химические ножницы, они называются эндонуклеазы рестрикции, которые разрезают ДНК когда видят определенные последовательности. Это невероятно полезный инструмент в современной молекулярной биологии. И вместо того чтобы спросить "Сколько пройдет пока я увижу решка-орел-решка?" можно спросить "Насколько большие кусочки получатся когда я использую эндонуклеазу рестрикции которая разрезает когда видит последовательность G-A-A-G, например? Какой длинны будут эти кусочки?"
Это довольно тривиальная связь между теорией вероятности и генетикой. Есть более глубокая связь, говорить о которой у меня нет времени, и которая состоит в том что современная генетика это захватывающая научная область, и мы услышим несколько докладов как раз об этом позже на этой конференции, но оказывается, что чтобы раскрыть секреты информации получаемой современными экспериментальными технологиями, ключевой частью этого процесса являются достаточно сложные — будьте покойны, я на работе занимаюсь таки чем-то полезным — значительно более сложные чем история про решка-орел-решку — сложные компьютерные модели и математические модели и современные статистические приемы. Я расскажу два маленьких отрывка — два примера — проектов в которые вовлечена моя группа в Оксфорде, которые оба, по-моему, довольно интересны. Вы слышали о проекте «Геном человека». Это проект целью которого было прочесть одну копию генома человека. После того как вы это сделали, естественно перейти к — и в этом идея этого проекта, проекта «HapMap», совместной работы лабораторий в пяти или шести различных странах. Считайте что суть проекта «Геном человека» узнать, что нас объединяет, а проект «HapMap» попытка понять в чем различия между разными людьми.
Почему нас это интересует? Ну, на это много причин. Самая насущная из которых в том чтобы понять как некоторые различия делают одних людей более подверженными одному заболеванию — диабету 2-го типа, например — а другие различия увеличивают риск сердечных заболеваний, или инсульта, или аутизма и так далее. Это один большой проект. Есть еще один большой проект, недавно профинансированный в Великобритании трастом Вэлкома, связанный с очень большими исследованиями — тысячи человек, с каждым из восьми различных заболеваний, распространенных заболеваний вроде диабета 1-го и 2-го типа, коронарной болезни сердца, биполярного расстройства и так далее — чтобы попытаться понять генетику. Попытаться понять что в генетических различиях становится причиной этих болезней. Почему мы хотим это сделать? Потому что мы очень мало понимаем о большинстве заболеваний человека. Мы не знаем их причин. И если мы можем начать с оснований и понять генетику, у нас будет окно в механизм заболевания. И совершенно новый взгляд на лечение, превентивные процедуры и тому подобное. Это было, как я и говорил, небольшое отступление о моем основном увлечении.
Вернемся к более прозаическим вопросам рассуждения о вероятностях. Вот вам еще один проверочный вопрос — допустим у вас есть тест на заболевание, не идеальный, но довольно неплохой. Он дает верный результат в 99и процентах случаев. И я выбираю одного из вас, или кого-то с улицы, и тестирую его на это заболевание. Допустим есть тест на ВИЧ — вирус вызывающий СПИД — и этот тест говорит что у этот человек болен. Какова вероятность что он на самом деле болен? Тест дает верный результат в 99и процентах случаев. Так что естественно ответить 99 процентов. Кому нравится этот ответ? Давайте-давайте — все должны поучаствовать Не думайте что вы мне больше не доверяете. (Смех) Что ж, вы не зря скептически настроены, этот ответ не верен. Так можно подумать. Этот ответ не верен, и не верен он потому что это только часть истории. На самом деле ответ зависит от отго насколько распространено или редко это заболевание. Давйте я попробую это проиллюстрировать. Вот небольшое карикатурное изображение миллиона людей. Давайте подумаем о заболевании которое затрагивает — довольно редком, оно затрагивает одного человека из 10000. Среди этих миллиона человек, большинство из них здоровы, но некоторые больны. И, при такой распространенности заболевания, примерно 100 будут больны, а остальные нет. Допустим мы всех их протестировали. Что случится? Среди 100 больных тест даст верный результат в 99и процентах случаев, и 99 получат положительный результат. Среди остальных, тех кто не болен, тест даст верный результат в 99и процентах случаев. Он ошибется только в одном проценте случаев. Но их так много, что будет огромное количество ложноположительныx результатов. Иначе говоря — среди всех у тех у кого тест дал положительный результат — вот они, эти люди — меньше чем один из ста на самом деле болен. Так что даже если мы считаем что тест надежен, важность этой истории в том, что нам нужна дополнительная информация.
Вот ключевая интуиция. Узнав, что результат теста положительный, мы должны взвесить правдоподобие, или вероятность, двух соревнующихся объяснений. В каждом из этих объяснений есть вероятная часть и есть маловероятная часть. Одно объяснение в том что человек не болен — это подавляюще вероятно, если выбрать кого-то случайным образом — но тест ошибся, что маловероятно. Другое объяснение в том что человек болен — это маловероятно — и тест прав, что вероятно. И число которое мы получаем — чуть меньше чем 1 на 100 — связано с тем какое из этих объяснений более вероятно по сравнению с другим. Они оба маловероятны.
Вот более животрепещущий пример ровно того же самого. Те из вас кто живет в Британии знают о прославившемся деле женщины по имени Салли Кларк, у которой было двое детей, которые неожиданно умерли. И сначала думали что они умерли от того что неформально называется «смерть в колыбели,» а более формально Синдром внезапной детской смерти. По разным причинам, позже ее обвинили в убийстве. И во время суда, суда над ней, очень выдающийся педиатр свидетельствовал, что вероятность двух смертей в колыбели, в семье как у нее — образованных и некурящих — была один на 73 миллиона. Короче говоря, в тогда ее признали виновной. Позже, и довольно недавно, освободили после апелляции — после второй апелляции. Просто чтобы добавить контекста, представьте себе насколько ужасно потерять ребенка, затем двоих, и, невиновным, быть осужденным за их убийство. Пройти через стресс суда, быть осужденным за их убийство — и провести время в женской тюрьме, где все остальные заключенные думают что ты убила своих детей — ужасное злоключение для кого бы то ни было. И все это случилось в большой мере потому, что эксперт совершил ужасающие ошибки в статистике, причем двумя способами.
Откуда он взял цифру в 1 на 73 миллиона? Он посмотрел на исследования, которые утверждали что вероятность смерти в колыбели в семье как у Салли Кларк равна примерно одному на восемь с половиной тысяч. И сказал "Я предположу, что если в вашей семье случилась одна смерть в колыбели, это не меняет шансы на то что второй ребенок умрет по той же причине." Это то, что статистики называют «предположением о независимости». Это как утверждение «Если подбросив монетку ты получишь решку, это не повлияет на вероятность получить решку во второй раз». Так что подбросив монетку два раза, вероятности получить решку дважды равна половине — это вероятность в первый раз — помноженной на половину — вероятность во второй раз. Так что он сказал «Давайте предположим, — я предположу, что эти события независимы. Если возвести восемь с половиной тысяч в квадрат, получится примерно 73 миллиона." Все это не было высказано суду как предположение или представлено присяжным в таком виде. К сожалению тут — и вправду, к несчастью— во-первых, в такой ситуации надо проверять это опытным путем. А во-вторых, это явно не верно. Мы очень и очень многого не знаем о внезапных детских смертях. Вполне может быть что есть внешние факторы, о которых мы не подозреваем, и скорее всего есть генетические факторы о которых мы не подозреваем. Так что если в семье случается такая смерть, их надо отнести к группе повышенного риска. У них наверное есть эти внешние факторы риска и/или генетические факторы риска о которых мы ничего не знаем. И значит рассудить что вероятность второй смерти такая же как если бы у нас не было этой информации — просто глупость. Это хоже чем глупость — это плохая наука. Тем не менее, вот так это было представлено, и во время суда никто с этим даже не спорил. Это первая проблема. Вторая проблема в том, что значит это число — один на 73 миллиона? После того как Салли Кларк была осуждена — можете себе представить, это вызвало значительный всплеск в печати — журналист одной из более уважаемых Британских газет написал что эксперт сказал, «Вероятность того, что она не виновна была один на 73 миллиона.» Это ошибка в логике. Точно такая же ошибка, как ошибка считать после теста на болезнь, верного в 99и процентах случаев, что вероятность болезни 99 процентов. В примере с болезнью, нам нужно было иметь в виду две вещи, одной из которых была вероятность того дал ли тест верный результат или нет. А другая была вероятность, априори, болен был человек или нет. Точно то же самое происходит и здесь. Тут участвуют две вещи — объяснение состоит из двух частей. Мы хотим знать насколько вероятны, или насколько относительно вероятны, два разных объяснения. Одно из них в том что Салли была не виновна — что, априори, чрезвычайно вероятно — большинство матерей не убивают своих детей. И вторая часть этого объяснения, в том что с ней случилось чрезвычайно редкое происшествие. Не настолько редкое как 1 на 73 миллиона, но достаточно редкое. Другое объяснение в том что она виновна. Мы наверняка считаем что это априори маловероятно. И нам конечно должно так считать в контексте уголовного суда, что это маловероятно, в виду презумпции невиновности. А что если она пыталась убить детей, ей это удалось. Так что вероятность того что она не виновна не один на 73 миллиона. Мы не знаем чему она равна. Она зависит от веса остальных улик против нее по отношению к весу статистических рассуждений. Мы знаем что дети погибли. Важно то, насколько вероятны или маловероятны по отношению друг к другу эти два объяснения. И они оба маловероятны. Это ситуация где ошибки в статистике имели очень глубокие и очень печальные последствия. Оказалось, что еще двое женщин были осуждены на основе показаний этого педиатра, и были позже освобождены по апелляциям. Много дел пришлось пересмотреть. И это особенно актуально, поскольку он сейчас предстал перед обвинением в недостойном поведении в Британском Общемедицинском Совете.
Итак, чтобы подвести итог —в чем урок этого всего? Мы знаем что вероятность, и неопределенность, и случайность часть нашей повседневной жизни. И так же верно — и, несмотря на то что вы, как группа, очень особенны по многим параметрам, вы совершенно типичны в том что вы ошиблись в примерах которые я приводил. Хорошо проверено что люди ошибаются. Они совершают логические ошибки рассуждая о вероятностях. Мы легко справляемся с нюансами языка — это интересный вопрос о эволюции, как так получилось. Но мы плохо умеем рассуждать о вероятностях. Это проблема в повседневной жизни. Как вы слышали из многих докладов, статистика лежит в основе огромного количества научных исследований — в естественных науках, медицине и многого на производстве. Весь контроль качества, который очень сильно влияет на промышленные процессы, основан на статистике. На том что мы плохо умеем делать. По крайней мере, нам следует понимать это, а мы обычно не понимаем. Возвращаясь к судебному контексту, во время процесса Салли Кларк, все адвокаты просто согласились с тем что сказал эксперт. Если бы педиатр сказал присяжным: «Я умею строить мосты. Я построил там один, по дороге. Поезжайте домой через него,» они бы сказали «Педиатры не умеют строить мосты. Этим занимаются инженеры.» С другой стороны, он как будто бы сказал, или подразумевал, «Я умею рассуждать о вероятностях. Я умею заниматься статистикой.» И все сказали, «Хорошо. Он эксперт.» Так что стоит понимать в чем мы компетентны а в чем нет. Точно такие же проблемы возникли на заре ДНК-дактилоскопии, когда ученые, и адвокаты, и в некоторых случаях судьи, регулярно неправильно интерпретировали улики. Обычно — хочется надеяться — без злого умысла, но неправильно интерпретировали улики. Судебные эксперты говорили «Вероятность того что этот парень невиновен один на три миллиона.» Даже если верить этому числу, как и числу в один на 73 миллиона, оно обозначает совсем не то. И были известные случаи апелляций в Британии и в других странах, по этой причине.
И чтобы закончить в контексте судебной системы. Очень просто сказать «Давайте постараемся лучше представлять улики». Но все чаще и чаще, в случаях ДНК-дактилоскопирования — это еще один — мы ожидаем что присяжные, обычные люди — и у нас много подтверждений что они плохо это делают — мы ожидаем что присяжные смогут справится с этими рассуждениями. Во всех остальных сферах, если бы люди рассуждали — ну, может быть кроме политики. Но во всех остальных сферах, если бы люди рассуждали нелогично, мы бы считали, что это плохо. От политиков мы как-то уже этого ожидаем и не надеемся на большее. В случае неопределенности, мы все время ошибаемся — и, по крайней мере, нам стоит об этом знать. И, в идеале, мы можем попробовать что-то с этим сделать. Большое спасибо.
