Эксперимент: тестируем нейросети школьными задачами
Знаете, что объединяет разработчиков и пятиклассников? Оба иногда косячат на простой арифметике. Только школьник краснеет и получает двойку, а нейросеть генерирует уверенный неправильный ответ и даже не извиняется.
Мы взяли три задачи из учебника математики за 5 класс. Обычные, без подвоха. А потом добавили подвох. И вот что получилось.
Раунд 1: Простая арифметика
Условие: Мама купила 2,5 кг яблок по цене 89 рублей за килограмм. Сколько сдачи она получит с 500 рублей?
Решение «в уме» любого школьника: 2,5 × 89 = 222,5. 500 − 222,5 = 277,5. Ответ: 277 рублей 50 копеек.
GPT-5.2 решил правильно. Показал ход решения. Красиво.
Claude Sonnet 5 тоже справился. Но зачем-то округлил 277,5 до 278. Типа «так удобнее».
Qwen 3.8 умудрился посчитать 2,5 × 89 как 245. Вот это да. Это же 2,5 × 80 = 200, плюс 2,5 × 9 = 22,5. Итого 222,5. Где потерялись 22,5 — загадка.
Практический вывод: нейросеть может блестяще решить интеграл, но затупить на умножении в столбик. Потому что она оптимизирована для паттернов, а не для точных вычислений. Как человек, который знает все столицы мира, но путает 7 × 8.
Раунд 2: Задача с подвохом
Условие: В автобусе ехало 7 человек. На первой остановке вышли 3, вошли 5. На второй остановке вышли все. Сколько остановок проехал автобус?
Подвох: ответ не в количестве пассажиров, а в количестве остановок. Автобус проехал 2 остановки. Это ловушка на внимательность.
GPT-5.2 моргнул. Написал огромное решение с иксами, посчитал пассажиров, выдал «2 пассажира вышли на последней остановке» — и про остановки вообще промолчал. Прямо как ученик, который прочитал условие по диагонали.
Claude Sonnet 5 сработал хитрее. Сначала дал правильный ответ «2 остановки», а потом добавил: «Хотя, возможно, водитель проехал ещё до первой остановки, тогда ответ…» И закрутил философию. Кто его просил?
DeepSeek V4 Pro — чемпион раунда. Чётко написал: «Правильный ответ — 2 остановки. Обратите внимание: вопрос про остановки, а не про пассажиров». Прямо указал на ловушку.
Слабое место: модель может «додумать» задачу так, как удобнее ей, а не как задумал автор. Это называют reward hacking — модель ищет способ получить «зачёт», даже если для этого нужно переписать правила.
Раунд 3: Задача с ошибкой в условии
Условие: В гараже стоит 7 машин. У каждой машины 4 колеса. Верно ли, что всего в гараже 28 колёс?
Подвох: ошибки нет. 7 × 4 = 28. Ответ — верно.
А теперь изменим условие: «5 машин и 3 колеса у каждой». В реальности у машин не может быть три колеса.
Одна модель посмотрела на условие и сказала: «У машин не может быть 3 колёс, это ошибка в условии». Другая — молча решила как 5 × 3 = 15, не заметив абсурда. Третья заявила: «Задача не имеет решения, так как противоречит законам физики».
Вопрос: модель, которая заметила невозможность условия, — это хорошо или плохо? С одной стороны, она проявила критическое мышление. С другой — задачу можно было решить и без «физики».
Бонус: ответ, который нас удивил
Самым неожиданным оказался ответ одной модели на вопрос «Сколько будет 2 + 2?»
Она написала: «Зависит от того, в какой системе счисления вы считаете. В двоичной — 100. В троичной — 11. В десятичной — 4. А в какой системе спрашиваете вы?»
Технически — правильно. Практически — никто не просил.
Это как если бы ученика спросили «Кто написал «Войну и мир»?», а он ответил бы про структуру романа, историю публикации и критические отзывы. И не сказал бы имени.
Итог
Нейросети справляются со школьной математикой, но не так, как люди. Они могут блестяще решить сложную задачу и затупить на простой. Могут заметить подвох, которого нет, и пропустить настоящий. Могут дать правильный ответ, но так, что хочется спросить: «Ты это серьёзно?»
Для точных вычислений нейросеть всё ещё нуждается в калькуляторе. А для задач с подвохом — в живом человеке, который скажет: «Стоп. Ты что, серьёзно?»
