Ты не пройдешь: последний экзамен человечества

Ты не пройдешь: последний экзамен человечества

Идет сессия. Вы приходите на экзамен. А там вас поджидают сотни профессоров из разных областей от физики до литературы. И каждый приготовил каверзную задачу, которая его самого ставит в тупик. Сдадите такой экзамен?

В течение десятилетий ИИ-модельки сравнивали между собой и вообще отслеживали прогресс искусственного интеллекта с помощью стандартных бенчмарк-тестов. Однако сейчас LLM-ки от Google, Anthropic, OpenAI щелкают как орешки задания даже уровня вузовских экзаменов 📝

🧠 Исследователи из стартапа Scale AI и Центра безопасности ИИ задумали объединить лучшие умы человечества, дабы создать сверхтрудный мультимодальный тест для LLM. Идейный вдохновитель проекта — Дэн Хендрикс, специалист по ИИ-безопасности, соавтор известного языкового теста MMLU и советник компании xAI Илона Маска. Кстати, Хендрикс признался, что на мысль разработать нынешний бенчмарк его тоже натолкнул владелец Tesla и SpaceX.

🎓 Команда проекта получала информацию из уст ученых мирового уровня: 70 тыс. вопросов было собрано краудсорсингом от академических исследователей из более чем 500 НИИ из 50 стран. Далее следовала 2-ступенчатая фильтрация: сперва вопросы задавали нейронкам, если те генерили ерунду, то вопросы переходили рецензентам. В финальную версию датасета, названного Humanity's Last Exam, вошло около 3 тыс. вопросов по математике, химии, истории и др. Эксперты, приславшие максимально зубодробительные задачки, получали денежные призы. К слову, все вопросы имеют точные ответы, но быстро они не гуглятся 🥲

🤖 Сейчас в режиме риалтайм самые продвинутые модели схлестнулись в битве за первенство в HLE-аттестации. Если на прежних тестах нейросети демонстрировали и 90% точность, то здесь результаты — удручающие. Большинство моделей не набирает и 10%. Хотя, может быть, и такое неплохо, ведь вопросы экзамена не на зубрежку, а на подумать. Зацените-ка биологию:

На момент написания поста в рейтинге HLE лидирует новейший инструмент Deep Research от OpenAI c 26,6%. Недурно зарекомендовал себя и нашумевший DeepSeek 🐳 ИИ-эксперты прогнозируют, что концу 2025 года модели дойдут до 50%. Тем не менее многие рисечеры говорят, что им не боязно, что ИИ умнеет. Одно дело проходить тесты и решать задачи со *, и совсем другое — настоящая работа ученого в реальной жизни, где вообще может не существовать правильного ответа.