Нейросети пишут код, отвечают на вопросы и генерируют музыку. Как это изменит наше будущее?

Опубликовано От Sergey

Один из самых больших прорывов в мире технологий — алгоритмы генерации текста. Они выглядят не так впечатляюще, как антропоморфные роботы или программы, которые выигрывают у чемпионов по го. Алгоритм просто продолжает начатую человеком фразу — как автозаполнение в Google. И тем не менее технологии обработки естественного языка повлияют на нашу жизнь в течение следующих десятилетий.

Нейросети пишут код, отвечают на вопросы и генерируют музыку. Как это изменит наше будущее?

Ксения Самбулова

Самый продвинутый алгоритм генерации текста называется GPT-3 — Generative Pre-trained Transformer 3. Ее разработала некоммерческая организация OpenAI из Сан-Франциско. Основатели OpenAI — создатель Tesla и SpaceX Илон Маск, а также бывший президент акселератора YCombinator Сэм Альтман. 

Как следует из названия, GPT-3 — третье поколение программы обработки естественного языка от OpenAI. GPT-3 обучили на массиве текстовых данных: алгоритм находил в них закономерности и использовал полученные знания для генерации текста. Например, в пару к слову «огонь» программа с большей вероятностью выберет слово «грузовик» или «тревога», чем «ясный» или «эльфийский». 

Отличие GPT-3 от других моделей генерации текста — количество параметров, на которых обучался алгоритм, и широкий диапазон задач, которые он может решать.

Первый алгоритм генерации текста GPT выпустили в 2018 году. Его обучали на 117 миллионах параметров, и это считалось хорошим показателем. В 2019 году появился GPT-2, обученный на 1,5 миллиардах параметров. У GPT-3 — 175 миллиардов параметров. 

Разработчики GPT-3 использовали для обучения алгоритма огромный массив данных: всю англоязычную Википедию, а также датасеты с книгами и интернет-страницами. В выборку попали новостные статьи, рецепты и стихи, гайды для программистов и фанфики, религиозные тексты и путеводители по Латинской Америке. Среди данных были и тексты, которые современное общество считает некорретными: например, псевдонаучные учебники и статьи о теориях заговора. 

У GPT-3 есть еще одно важное отличие от других алгоритмов генерации текста: нейросети требуется меньше вводных для выполнения новой задачи. Пользователю нужно показать модели пару примеров, чтобы алгоритм понял суть. 

Разговор с Тьюрингом и генерация кода: что умеет нейросеть GPT-3

Благодаря большому объему данных и количеству параметров у GPT-3 много вариантов использования. Вот некоторые из них:

Поисковая система, которая умеет отвечать на вопросы  Google для вопросов и ответов. Введите вопрос, а GPT-3 ответит на него и даст ссылку на источник информации.

I made a fully functioning search engine on top of GPT3.

For any arbitrary query, it returns the exact answer AND the corresponding URL.

Look at the entire video. It’s MIND BLOWINGLY good.

cc: @gdb @npew @gwern pic.twitter.com/9ismj62w6l

— Paras Chopra (@paraschopra) July 19, 2020

Чат-бот для разговора с историческими личностями. GPT-3 обучали на большом количестве книг, поэтому алгоритм может говорить от имени философа Бертрана Рассела и объяснять его взгляды. Еще GPT-3 может написать диалог между учеными Аланом Тьюрингом и Клодом Шенноном, в котором будут присутствовать реплики из Гарри Поттера. 

Генерация кода на основе текстовых описаний. Опишите словами, что вы хотите получить: например, макет веб-страницы с формой подписки. GPT-3 выдаст соответствующий код. 

This is mind blowing.

With GPT-3, I built a layout generator where you just describe any layout you want, and it generates the JSX code for you.

W H A T pic.twitter.com/w8JkrZO4lk

— Sharif Shameem (@sharifshameem) July 13, 2020

Ответы на медицинские вопросы. Студент-медик из Великобритании использовал GPT-3, чтобы ответить на вопросы медицинского теста. Программа дала правильный ответ и обосновала его.

Стилизация текста. GPT-3 может изменить стиль текста: например, переписать его «юридическим» языком. Один из пользователей привел пример, как с помощью GPT-3 фраза «мой арендодатель не следил за домом» превратилась в «ответчик допустил, чтобы недвижимость пришла в негодность и не соблюдал государственные и местные нормы и правила в области здравоохранения и безопасности».

Генерация музыки. Аккорды для гитары записываются с помощью текста — поэтому тоже могут быть данными для обучения GPT-3. Алгоритм может сгенерировать музыку, если показать ему для примера несколько аккордов. 

Guitar tab generated by GPT-3 from a fictional song title and artist. pic.twitter.com/ZTXuEcpMUV

— Amanda Askell (@AmandaAskell) July 16, 2020

Написание художественных текстов. GPT-3 может писать стихи и прозу в стиле известных писателей.

Нейросети и «ошибка выжившего»

Результаты работы GPT-3 впечатляют, но есть и обратная сторона. В соцсетях и статьях мы видим только успешные примеры и рискуем совершить так называемую «ошибку выжившего» — оставить неудачные тексты вне поля зрения. 

Ученый Делип Рао писал, что предприниматели из Кремниевой долины рекламируют потенциал GPT-3 и рассказывают только о положительных результатах работы алгоритма. Даже сооснователь OpenAI Сэм Альтман летом назвал ажиотаж вокруг GPT-3 избыточным. 

The GPT-3 hype is way too much. It’s impressive (thanks for the nice compliments!) but it still has serious weaknesses and sometimes makes very silly mistakes. AI is going to change the world, but GPT-3 is just a very early glimpse. We have a lot still to figure out.

— Sam Altman (@sama) July 19, 2020

Внимательный анализ текстов GPT-3 показывает, что программа допускает ошибки, которые никогда не сделает человек. Кроме того, алгоритм генерирует много бессмысленных текстов.

Один из пользователей GPT-3 моделировал разговор со Стивом Джобсом. Когда пользователь спросил «Где ты сейчас?», «Джобс» ответил: «Я нахожусь в штаб-квартире Apple в Купертино, Калифорния». Это логичный, но некорректный ответ. 

OpenAI — некоммерческая организация, но она планирует в будущем зарабатывать на своих технологиях. Компании уже экспериментируют с API GPT-3 для различных целей; от создания чат-ботов до модерации контента. Как ошибки программы повлияют на коммерциализацию GPT-3? Кому понадобится чат-бот, который оскорбляет клиентов? Смогут ли разработчики использовать написанный программой код или он потребует множества исправлений? 

Один из специалистов Google в разговоре с The Verge отметил, что считает GPT-3 алгоритмом, способным решать только тривиальные задачи. Он добавил, что другие нейросети тоже справляются с такими задачами и выразил сомнение в возможности OpenAI коммерциализировать GPT-3.

Специалист в области искусственного интеллекта Джулиан Тогелиус сравнил GPT-3 с умным студентом, который не прочитал материал и пытается обмануть преподавателя на экзамене. «Он соединяет в одном рассказе общеизвестные факты, полуправду и ложь — и повествование выглядит убедительно», — говорит Тогелиус.

Еще одна актуальная проблема алгоритмов генерации текста — создание оскорбительного контента. Директор по искусственному интеллекту в Nvidia Анима Анандкумар отмечает, что некоторые модели обработки естественного языка в том числе обучались на данных форума Reddit — и в итоге создавали «шокирующе предвзятый» текст. Так, алгоритм GPT-2 генерировал сексистские и расистские фразы.

Похожие опасения выражает и глава отдела искусственного интеллекта в Facebook Джером Пезенти. Он предложил OpenAI быть осторожнее с внедрением программы. Сэм Альтман ответил ему, что GPT-3 еще не готова к полноценному запуску, а OpenAI добавила в бета-версию программы фильтр токсичности.

Перспективы алгоритмов генерации текста

В то же время, специалисты в области машинного обучения указывают, что ошибки и предвзятость — не вина алгоритма.

GPT-3 учится на данных и воспроизводит предубеждения и стереотипы из текстов, созданных людьми. Алгоритм генерации текста не умеет мыслить и не может оценить контент с точки зрения человека.

Отсутствие контроля человека позволило масштабировать алгоритм обработки естественного языка, иначе работа потребовала бы огромных ресурсов. Но без этого контроля система пока не может отделить токсичные сообщения от приемлемых. 

Среди исследователей нет единого мнения, как дальше будут развиваться алгоритмы генерации текста. Некоторые считают, что мы приближаемся к пределу возможностей языковых моделей.

Если OpenAI смог увеличить размер модели GPT в сто раз за год, насколько большим должен быть GPT-N, чтобы стать таким же надежным, как человек? Сколько данных потребуется, чтобы ошибки стало трудно обнаружить или они полностью исчезли? 

Другие говорят, что еще есть возможности для улучшения. Они считают, что количество данных и объем вычислительных мощностей будут расти — и модели, которые появятся после GPT-3, будут еще умнее. 

Писатель и исследователь Гверн Бранверн считает, что многие ошибки в выдаче GPT-3 можно исправить, если дать программе правильные подсказки. Он приводит пример ошибки GPT-3: алгоритм спросили, что тяжелее — тостер или карандаш. Ответ GPT-3: «Карандаш тяжелее тостера». По словам Бранвена, алгоритм даст правильный ответ, если перед вопросом получит определенные подсказки: например, что чайник тяжелее кошки, а океан тяжелее пыли. 

У GPT-3 есть правильные ответы — надо только знать, где искать, заключает Бранвен.

Источник.

Фото на обложке: Panuwatccn / Shutterstock

Нашли опечатку? Выделите текст и нажмите Ctrl + Enter

Источник: https://rb.ru/

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *