🇨🇦 Летом 1935 г. Эдгар Андерсон отправился в Канаду. На полуострове Гаспе в провинции Квебек он обнаружил на одном пастбище 2 обширные популяции ирисов Iris versicolor и Iris setosa. И замерил морфометрию цветков. По результатам поездки Андерсон выпустил статью на 3 страницы — публикация была по современным меркам несерьезная и соответствовала скорее запискам путешественника. Скажем, там не было статистики (потому что и статистики тогда не было).

☘️ Мистер Андерсон — американский ботаник, прославившийся трудами по генетике гибридизации растений. Он занимался изучением ирисов, исследуя их географическую изменчивость. В 1929 г. Андерсон получил стипендию на работу в институте садоводства Джона Иннеса в Великобритании, где познакомился с Рональдом Фишером.

Известно письмо Андерсона Фишеру, датируемое 19 декабря 1935 г., в котором ботаник пишет, что измерил по 50 образцов двух ирисов I. versicolor and I. setosa в Канаде и прилагает лист с данными 4 характеристик растений (стали легендой), а также записи об окраске цветков (были утеряны) ✍️

🤓 Сэр Рональд Фишер — отец современной статистики. Из-за плохого зрения он c детства развил в себе великолепное абстрактное геометрическое мышление, что позволяло ему находить изящные решения для сложных проблем. Пальцев рук и ног не хватит перечислять: неравенство Фишера, информация Фишера, точный тест Фишера, Фишеровское убегание, правило Фишера, распределение Фишера и т.д. Докинз даже назвал соотечественника величайшим биологом после Дарвина.

В 1936 г. Рональд Фишер использовал любезно предоставленные Андерсоном данные в своей статье «The use of multiple measurements in taxonomic problems», где презентовал линейный дискриминантный анализ (LDA) [метод позволяет снижать размерность и похож на PCA, только supervised]. В публикации Фишер привел и табличку с ирисами. Важно, что для иллюстрации эффективности метода Фишеру пришлось привлечь еще измерения другого вида I. virginica, которых не было в письме.

❓Откуда же они взялись? Десятилетия это оставалось загадкой. Но ученые перерыли архивы и в 2021 г. откопали, что измерения ириса виргинского взяты из более ранней статьи Андерсона. А сделаны они были в Кэмдене (штат Теннесси, США).

Вот так и родился канонический датасет «Ирисы Фишера/Андерсона». Он популярен для тестирования стат-/ML-методов классификации, кластеризации и демонстрации новинок датавиза. Это игрушечный набор данных: 150 наблюдений, 4 количественные переменные, 3 класса, 0 пропущенных значений. Но он же один из немногих, встроенных в R, а еще у него своя страница Вики.

Хэппи-энд? Подождите расходиться! Последние годы произошло падение рейтинга одобрения великого биостатистика. Многие ученые считают использование ирисов этически недопустимым. Почему? Главная причина: Фишер — евгеник. К примеру, статья о LDA была опубликована им в «Annals of eugenics» (сейчас журнал переименовали, но осадочек остался). Фишер умер в 1962 г. и до последних лет говорил всякие евгенические гадости. В 2020 г. на волне протестов в США, связанных с гибелью Джорджа Флойда, в Кембридже демонтировали витраж с «латинским квадратом», который прославлял ученого. Другие организации удалили его имя из названий престижных наград математикам и эволюционистам. В общем, Роня, у нас отмена 🥲

А на чем тестировать модели теперь? На самом деле, на замену ирисам выстроилась очередь. Бесспорно №1 — это palmerpenguins. Данные пингвинов собраны в 2007–09 гг. доктором Кристен Горман на антарктической станции Палмер. Это отличный датасет — 8 колонок, 344 наблюдения, есть NA. Не стыдно юзать и цитировать 🐧

install.packages("palmerpenguins")

М-да, только свыклись, что sepal и petals — чашелистики и лепестки, а теперь зубрим названия частей тела пингвинов: bill — клюв, flipper— плавник... Зато увеличиваем английский вокабуляр на датасетах 🇬🇧

И последнее. Обращаемся не к Рональду, а Дональду: не надо вводить тарифы против пингвинов — нам еще на них тренироваться!

В статистике много подводных лососей камней. Но давайте отложим интриги и дискуссии о кризисе воспроизводимости в сторону. Нырнем в историю!

👀 Дело государственной важности

Корень слова «статистика» происходит от латинского status — «государство» или «положение дел». В XVIII веке Готфрид Ахенваль впервые употребил термин «Statistik» для описания науки, собирающей и анализирующей данные о населении, экономике и ресурсах страны.

😬 Человек среднестатистический

В XIX веке бельгиец Адольф Кетле применил стат-аппарат к изучению социальных процессов. Он предложил использовать статистику для описания «среднего человека» и выделить в обществе средние характеристики по росту, весу, возрасту и даже преступности.

🥇 Золотой стандарт

В середине XX века с внедрением метода рандомизированных контролируемых исследований получила мощный буст медицинская статистика. Да, тот самый золотой стандарт, когда испытуемые делятся на две или более групп. Одна, экспериментальная, подвергается некоему вмешательству, а контрольная — либо остается интактной, либо получает плацебо. Затем группы сравниваются для определения эффективности терапии. Впервые схему РКИ применили во время испытания стрептомицина против туберкулеза в ​​1946 году.

🧐 Корреляция есть, а если найду?

Карл Пирсон, английский математик и биолог, входит в число отцов основателей современной математической статистики. Именно он разработал методы определения корреляции и коэффициент Пирсона, а также внедрил понятие χ²-критерия для анализа зависимости между переменными.

💀 Осталось правильно интерпретировать

Феномен «ошибки выжившего» приобрёл известность во время Второй мировой. Инженеры осматривали самолеты, вернувшиеся с боевых вылетов, и предлагали укреплять зоны с наибольшими повреждениями. Однако, математик Абрахам Вальд, наоборот, предложил бронировать участки, которые редко поражаются. Оказалось, самолеты получали урон равномерно, но некоторые повреждения не позволяли машинам вернуться назад. Именно такие места — самые уязвимые, и было верно решено укреплять их.

🚗 Эпоха обучения машин

В XXI веке статистика легла в основу технологических прорывов в области искусственного интеллекта. ML-модели тренируются на больших данных, опираясь в процессе предсказания и принятия решений на всё те же старые добрые статметоды.

Вот такая вездесущая статистика! А вы всё еще считаете «среднее по палате» в Excel, потому что боитесь кода и больших данных? Не пора ли посмотреть на вещи шире? На курсе «Статистика, R и анализ данных» мы не будем обсуждать сухие цифры, а расскажем про то, как применять статистику на практике — будь то научное исследование, маркетинговая кампания или найм сотрудников. Курс подойдёт всем: от экологов и фармацевтов до HR-аналитиков. Программа актуальна как для тех, у кого АБ-тесты — это рутина, так и для тех, кто хочет сменить профессию или подготовиться к поступлению в вуз.

Независимо от сферы, статистика поможет вам понять магию чисел и принимать стратегические решения не на авось. Начнем с классических ирисов Фишера и поймём, почему «старая» статистика актуальна и поныне.

Чему конкретно научим?

📌 Умению планировать исследования и формулировать корректные гипотезы

📌 Глубокому пониманию статистических методов и уверенности в их применении

📌 Навыкам работы с R — мощным инструментом для препроцессинга, анализа и визуализации данных

📌 Умению работать с большими объемами информации и правильно интерпретировать результаты

После обучения вы сможете не просто «играться» с данными, а глубоко анализировать как свои, так и чужие датасеты. Кто знает, к каким интересным инсайтам это путешествие вас приведет.

Воскрес и начал мыслить? История, взрывающая мозг 🤯

В один из весенних дней 2005 года в американском городе Хановер в 6:30 утра Крейг Беннет зашел в супермаркет и попросил продать ему тушку атлантического лосося. Он даже обратил внимание несколько удивленных ранним посетителем продавцов, что рыба ему нужна не просто так, а для науки.

🧠 Крейг — нейросайентист, в то время делал пхд в Дартмутском колледже. Его лаборатория разрабатывала новые протоколы функциональной магнитной резонансной томографии. Это когда человека помещают в сканер и просят подумать над какими-то несложными задачками. Группа собиралась исследовать мозговую активность подростков во время принятия решений. И перед тем, как проводить тестирования на человеке, нужно было откалибровать томограф на фантоме с большой контрастностью. Когнитивисты использовали то, что нашли в местном магазинчике. Сначала в сканер отправилась тыква, потом — курица. Но это всё было не совсем то, поэтому на очереди возникла рыба!

🐟 Итак, нейросаентисты засунули мертвого лосося в сканер. Он оказался отличным фантомом: ученые даже залюбовались прекрасной анатомией рыбины. Чтобы максимально воспроизвести протокол будущих когнитивных тестов (ну или просто по приколу 🤪) Беннет и коллеги буквально обращались с лососем как с подопытным человеком: показывали ему изображения людей в различных социальных ситуациях и любезно просили определить эмоции. После успешной настройки фМРТ сканера, шуточные данные с лососем отправились пылиться на полку.

Прошло 3 года. Когнитивные психологи проводили семинар, где обсуждали подводные камни в области функциональной томографии. И тут вспомнили про нейровизуализацию мозга лосося. Тогда Беннет прогнал старые данные через свой стандартный пайплайн и увидел удивительное. В мозге рыбы обнаружились участки, которые активизировались в ответ на картинки! Вообразить такое было невозможно, но статистические тесты при высочайшем уровне значимости p < 0,001 подтверждали это. Неужели лосось ожил и вдобавок начал мыслить?

🙅‍♂️ Ничего подобного! Дело в том, что для достижения высокого разрешения фМРТ изображений ученые обычно получают тысячи 3D-картинок кусочков мозга за один эксперимент. Это так называемые воксели — то есть объемные пиксели. И для каждого вокселя, проводится свой отдельный статтест. При таком количестве проверок гипотез неизбежно получаются ложноположительные результаты. В случае с лососем среди 8 тыс вокселей было 16 участков мозга, которые будто бы реагировали на эмоции людей на картинках. Чтобы избавиться от подобных ошибок, придумана так называемая поправка на множественные тестирования. Когда Беннет с коллегами воспользовались ею, то все значимые, но совершенно идиотские с точки зрения здравого смысла, результаты исчезли.

В 2008 году Беннету с коллегами удалось представить постер с лососем на конференции Human Brain Mapping, где история вызвала бурную дискуссию. После многочисленных реджектов Беннет и его научный руководитель таки опубликовали статью про лосося в «Журнале случайных и неожиданных результатов». Проблема рукописи была даже не в том, что исследование само по себе было нелепо и отвергалось рецензентами. А в том, что другие нейроученые, дабы уловить тонкие эффекты, пренебрегали поправкой на множественные сравнения, просто считая метод слишком грубым.

😈 Это значит, они могли получать фейковые результаты и публиковать их. Кому же понравится разоблачение их ложных открытий?

🧟‍♀️ В 2012 году Беннету с соавторами вручили Шнобелевскую премию за зомби-лосося. Смех смехом, но исследование заставило специалистов в области фМРТ изменить свой подход к обработке данных. Да и остальные ученые в очередной раз задумались о влиянии статистики на нашу интерпретацию мира. Как важно корректно пользоваться ею, чтобы наша жизнь не превратилась в абсурд. Ну, а где учат грамотной статистике, вы и так знаете.

Кстати, а что стало с дохлым лососем? По завершении измерений, лосось, который до сих пор будоражит умы, был благополучно запечен и съеден на ужин 🍽

Если этот текст для вас TLDR, то рекомендуем посмотреть не менее классную видеоверсию

☢️ R — радиация

Вы уверены, что внесли в таблицу цифры? А вот R — в легком замешательстве. Хорошо, что наши преподаватели видят датасеты насквозь 👁

Дарья Бородко и Елена Рыбина «причесывают» инпут для R мини-сериала HBO Бластим про анализ реальных научных данных. Чем дальше в лес, тем страшнее сказка: на этот раз разбираемся с элементным и радионуклидным составом воды и донных отложений трансграничных рек Казахстана. Звучит как завязка научного триллера?

Все как в жизни: цифры — не цифры, пробелы в названиях, NA, странные символы и неожиданные форматы. Сначала — автоматизируем подготовку данных, потом — выясняем, что с чем и как можно сравнивать, учимся делать выводы на основе аккуратно подготовленных таблиц.

Мини-сериал уже доступен целиком:

VK video | Rutube | YouTube

Челлендж #TidyTuesday. Он посвящён работе с данными в экосистеме R и пакете {tidyverse}. Задача — обработать, исследовать и визуализировать данные, предоставленные сообществом R4DS. И да, всё это без единой капли постобработки — только код на R и библиотека {ggplot2}. Автор работ — Dr. Седрик Шерер — консультант, дизайнер и преподаватель. Он помогает командам ученых и компаниям с убедительной и цепляющей визуализацией результатов проектов и превращает скучные цифры в увлекательные истории с помощью R.

🔧 И конечно, к каждой картинке прилагается код. Так что вы тоже можете понять, как всё сгенерировано, и использовать какие-то фичи в своей работе. Ведь правда, коллеги-учёные на тех же конференциях словно дети: сначала надо привлечь их внимание. И тут на помощь приходит визуализация. Красивые постеры и необычные слайды всегда выделяются из общей массы и интригуют. Да и согласитесь, приятно, когда результат долгой работы — это не просто график, а настоящее произведение искусства.

Но почему R? Да просто питонистам такое и не снилось. Хотя Python развивает библиотеки для визуализации, его использование подходит больше для общей разработки, ML и анализа данных. Сообщество R же традиционно состоит из специалистов в области статистики и датавиза. Вот и огромное число крутых пакетов и инструментов для презентации результатов.

❗️А теперь вопрос: в мире, где существует такая красота, вы всё ещё рисуете столбики и линии в Excel? Мир визуализаций гораздо шире привычных баров и точек. Предлагаем открыть его вместе с Blastim на курсе «Статистика и R». В его рамках даже есть специальный фестиваль «ВсRатые графики» 💩 (18+). Конкурсанты должны создать самую нелепую и смешную визуализацию, используя случайные или намеренно абсурдные настройки. Чем страннее результат — тем лучше! В конце одного из занятий каждый студент за полчаса создаст свой шедевр. А победителя выберем все вместе народным голосованием.

Зачем тратить время?

✔️ Лучше один раз сделать самому, чем сто раз увидеть в чужих статьях

✔️ Прокачиваем визуальное мышление

✔️ Тестируем новые навыки работы с R и пытаемся перепробовать весь функционал ggplot2

✔️ Чтобы прочувствовать, как детали влияют на восприятие данных

✔️ Отдыхаем между лекциями и практическими работами

✔️ Победители получают вкусные подарки

Такое возможно только на курсе «Статистика и R» и только у Blastim ⚡️

«„Плохим” дааааааным не сдааается наааааш гордыыыый варяг!» ⛵️

🫥 Спрятаться от статистики современному исследователю уже не получится. Куда не глянь, абсолютно всё требует статанализа разной степени сложности: от азов до машинки. Даже те области, которые раньше считались сугубо качественными, сегодня обретают количественное измерение. Поэтому если хочешь быть убедительным — надо уметь считать.

Ради чего только не осваивают статистику и R! Чтобы доказать неожиданные гипотезы, увидеть закономерности там, где раньше был только шум, разобраться в сотнях таблиц, визуализировать структуру сложных систем. Или просто понимать раздел «Материалы и Методы» в чужих статьях.

Мы собрали карточки с историями наших любимых подписчиков — они рассказали, как приплыли в статистическую гавань. Почитайте, это действительно вдохновляет ❤️

А Бластим готов не просто учить статистике, но и копаться с вами в ваших же данных. На онлайный курс «Статистика, R и анализ данных» вы можете прийти в охапку со своими табличками и практиковаться прямо на них. Ведь на своем, знакомом и родном ботать гораздо эффективнее. Программируйте, анализируйте, задавайте вопросы и получайте экспертную поддержку. Можно хоть диссер написать при помощи наших преподавателей и ассистентов 😎

Обещаем, если не разберем ваши данные на курсе — вернем деньги!