Улучшение понимания языка Сила Забывания
Удаление ключевой информации во время обучения позволяет моделям машинного обучения быстро и без усилий освоить новые языки.
“`html
Забывчивость повышает обучение ИИ
📷
Команда компьютерных ученых революционизировала модели машинного обучения уникальным приемом: способностью забывать. Хотя этот новый подход не заменит существующие массивные модели, лежащие в основе наших любимых приложений, он может пролить свет на то, как эти программы понимают язык.
Существующие языковые движки ИИ сильно полагаются на искусственные нейронные сети. Эти сети состоят из “нейронов”, которые получают сигналы, выполняют расчеты и передают сигналы другим нейронам в нескольких слоях. В ходе обучения связи между нейронами улучшаются, позволяя сети адаптироваться к предоставленным данным. Например, для создания двуязычной модели исследователи обучают ее, используя огромное количество текста на обоих языках, позволяя модели устанавливать связи между словами на разных языках.
Однако этот процесс обучения требует значительных вычислительных ресурсов и лишен гибкости. Если модель не соответствует ожиданиям или если потребности пользователя изменяются, ее сложно адаптировать. Начинать все с нуля тоже не является идеальным решением, особенно при работе с мультиязычными моделями.
- Microsoft представляет новые ПК Surface на базе процессоров Arm что...
- ЧатГПТ Плюс Улучшенный доступ к мощному чат-боту 🤖💬
- Чип искусственного интеллекта следующего поколения Nvidia предварит...
Для преодоления этих ограничений Микель Артетке и его коллеги выработали новый подход. Они сначала обучили нейронную сеть на одном языке, а затем стерли знания об элементах словообразования, известных как токены. Выборочно стирая слой встраивания, в котором хранятся токены, и последующим повторным обучением модели на втором языке, исследователи обнаружили, что модель может эффективно учиться и обрабатывать новый язык.
Их теория заключалась в том, что хотя слой встраивания содержит информацию, специфичную для языка, более глубокие уровни сети хранят более абстрактные понятия, которые помогают модели понять разные языки. Как пояснил Ихонг Чен, ведущий автор исследования: «Мы живем в одном мире. Мы концептуализируем одно и то же, используя разные слова на разных языках».
Хотя этот подход на основе забывания продемонстрировал многообещающие результаты, процесс последующего повторного обучения оставался затратным по ресурсам. Для решения этой проблемы Чен предложил периодически сбрасывать слой встраивания во время начальной фазы обучения. Таким образом, вся модель привыкает к сбросу, что облегчает ее расширение на другие языки.
Исследователи протестировали свою идею, применив метод периодического забывания к широко используемой языковой модели под названием Roberta. По сравнению со стандартным незабывающим подходом, модель забывания показала немного более низкие показатели точности языка. Однако после повторного обучения на других языках с использованием небольших наборов данных модель забывания значительно превзошла свой незабывающий аналог.
Команда пришла к выводу, что периодическое забывание повышает способность модели учить языки на более широком уровне. По словам Евгении Никишина, исследователя в институте Мила, это указывает на то, что языковые модели понимают языки на более глубоком уровне, чем просто значения отдельных слов.
Этот увлекательный подход отражает то, как работает наш мозг. Человеческая память склонна запоминать суть опыта, а не хранить огромные объемы детальной информации. Нейронаука Бенджамина Леви предлагает наделять модели ИИ большей похожестью на человеческие процессы, такие как адаптивное забывание, для большей гибкости и производительности.
Помимо раскрытия тайн понимания языка, этот прорыв также имеет большой потенциал для распространения достижений ИИ на большее количество языков. Хотя модели ИИ отлично справляются с испанским и английским из-за обилия обучающего материала, они испытывают затруднения с языками, такими как баскский. Таким образом, модификация существующих моделей с использованием гибких методов забывания может устранить эту языковую проблему.
В будущем видение не ограничивается одним доминирующим языковым моделью. Скорее, будущее может принести множество языковых моделей, настроенных на различные области. Как видит Чен: «Если у вас есть фабрика, производящая языковые модели, вам нужна эта технология. У нее есть одна базовая модель, которая может быстро адаптироваться».
💡 Раздел вопросов и ответов
В: Как периодическое забывание повышает способности модели к изучению языка?
О: Регулярное сбрасывание слоя встраивания во время начальной фазы обучения делает модель более способной к изучению новых языков. Привыкая к сбрасыванию, процесс расширения на дополнительные языки становится более плавным.
В: В чем разница между моделью забывания и стандартным подходом с точки зрения точности?
О: Модель забывания показала немного более низкие показатели точности языка по сравнению с стандартным незабывающим подходом. Однако при повторном обучении на других языках с использованием меньших наборов данных модель забывания значительно превзошла стандартную модель.
В: Каков потенциальный эффект применения гибкой модели забывания в области ИИ?
О: Гибкие модели забывания могут принести прорывы в области ИИ на большее количество языков. Поскольку существующие модели крупных технологических компаний часто испытывают затруднения с определенными языками, адаптация этих моделей с использованием подхода с забыванием открывает пути к более эффективной обработке языков.
В: Отражает ли подход на основе забывания работу человеческой памяти?
“““html
A: Да, подход к забыванию в некоторой степени имитирует человеческую память. Подобно тому, как люди помнят суть опыта, языковые модели, включающие в себя забывание, сосредотачиваются на абстрактных концепциях, а не на хранении огромного объема детальной информации.
Q: Как техника забывания может способствовать более разнообразным языковым моделям в будущем?
A: Вместо полагания на одну доминирующую языковую модель, внедрение техники забывания позволяет создавать множество языковых моделей, адаптированных для различных сфер. Таким образом, ИИ может быстро приспосабливаться к новым областям и предоставлять эффективные решения.
Будущие разработки и анализ
Внедрение периодического забывания в модели машинного обучения представляет собой значительный прогресс в этой области. Поскольку исследовательская группа продолжала улучшать свой подход, они отметили заметное улучшение способностей моделей в обработке языка.
Учитывая текущие разработки в этой области, можно предположить, что гибкое забывание окажет существенное влияние на понимание языка и принятие ИИ. Путем улучшения адаптивности моделей можно более эффективно преодолевать языковые барьеры. Это не только выгодно для отдельных лиц и компаний, но также способствует разнообразию и инклюзивности ландшафта ИИ.
▶️ Чтобы поглубже погрузиться в захватывающий мир машинного обучения и понимания языка, ознакомьтесь с этими информативными ресурсами:
- Quanta Magazine – Оригинальная статья
- Enble – Лучшие предложения по маршрутизаторам: сэкономьте на сетях Mesh и роутерах WiFi 6
- Enble – Стартап превращает отходы в замену пальмового масла и получает финансирование Фонда Гейтса
- Github – Jea Kwon
- Github – Yihong Chen
- Github – Mikel Artetxe
- Github – Евгений Никишин
Если вы восхищены потенциалом гибкого забывания в моделях машинного обучения, поделитесь этой статьей и присоединитесь к дискуссии! Давайте принять мир, где понимание языка не знает границ. 🌐✨
Эта статья была написана экспертом по компьютерной технологии и программированию, известным своим живым и привлекательным подходом к распространению ценных знаний и идей.
Леброн, Джеймс. (2021). Улучшение Понимания Языка: Сила Забывания. Технохаб Магазин. Источник: ссылка на статью techhub.
“`
