Исследование: нейросеть GPT-3 умеет анализировать речь

Сегодня OpenAI представила WebGPT, нейросеть, которая ищет ответ на любой вопрос в Интернете. ИИ объединяет информацию разных источников и генерирует статью на нужную тему.

Технология работает подобно тому, как люди ищут ответы на вопросы в Интернете — отправляет запрос на нужную тему в поисковик Bing, затем кликает на ссылки в поисковой выдаче, просматривает веб-страницы и на основе полученной информации пишут статью по теме.

Но еще недавно группа ученых из Массачусетского технологического института (MIT) опубликовала исследование в журнале Proceedings of the National Academy of Sciences, показывающее, что анализ работы алгоритмов машинного обучения может помочь понять, как работают когнитивные функции мозга.

Главный вывод: ИИ эволюционирует сам по себе.

Принцип сравнения человеческого мозга и нейронных сетей применили к обработке речи. Ученые сравнили данные 43 языковых моделей нейронных сетей с нейронными записями функциональной МРТ, сделанными в тот момент, когда испытуемые слушали или читали тексты. В итоге ИИ могло предсказывать следующее слово в последовательности или предсказывать пропущенное слово в определенном контексте.

Наиболее похожей на человеческий мозг оказалась система GPT. Она была разработана в лаборатории Open AI, основанной Илоном Маском. До недавнего времени GPT-3, последняя итерация программы, была единственной крупнейшей из когда-либо созданных нейронных сетей с более чем 175 млрд параметров машинного обучения.

Выводы

• ИИ лучше справляется с пониманием коротких текстов, а вот с лонгридами пока возникают проблемы и "недопонимание".
• Ученые смогли лучше понять, как работает человеческое познание в отношении языка, благодаря ИИ: мозг, обрабатывая речь, предвосхищает контекст.
• Чем больше нейронная сеть походит на мозг, тем больше ее поведение соответствует человеческому, в данном случае речь идет о процессе чтения и восприятия текстов.

"Это исследование демонстрирует своего рода "эволюцию ИИ". Важно помнить, что никто намеренно не программировал какую-либо из тестировавшихся нейросетей действовать так, как мозг, но в процессе их обучения и модернизации ученые зафиксировали процессы, в некотором роде свойственные нам — людям", — пишет издание.