Публикации по теме 'transformers'
LLM за кулисами: изучение трансформаторов с TensorFlow
Раскройте потенциал языковых моделей (LLM) с помощью Transformers и TensorFlow. В этом всеобъемлющем учебном пособии вы шаг за шагом познакомитесь с созданием мощных моделей. Получите практические знания, внедрите передовые методы и улучшите свои навыки работы с данными с помощью этого подробного руководства, изучая увлекательный мир LLM.
Этот пост представляет собой введение в Transformer, модель глубокого обучения, представленную в статье Vaswani et al. «Внимание — это все, что вам..
Объяснение документов 47: Суслик
В этой статье представлен анализ производительности языковой модели на основе Transformer в широком диапазоне масштабов модели — от моделей с десятками миллионов параметров до модели с 280 миллиардами параметров под названием Gopher. Эти модели оцениваются по 152 различным задачам, в большинстве из которых достигается самая современная производительность. Выгоды от масштаба самые большие в таких областях, как понимание прочитанного, проверка фактов и выявление токсичного языка, но..
Генеративный ИИ и будущее
ГАН, ГПТ-3, ДАЛЛ·Е 2 и что дальше
Последние десять лет были золотым десятилетием ИИ, но осмысленный ИИ только начался: CV в настоящее время является ведущей областью в отрасли, NLP остается жемчужиной ИИ, а RL с нетерпением ждет проверки. L4/L5 на дороге, но за AGI (Искусственный общий интеллект) будущее.
Генеративный ИИ — это зарождающийся, но творческий подход. Это одна из самых успешных платформ машинного обучения в развитии глубокого обучения за последнее десятилетие...
Трансформеры видения
В настоящее время существует два основных направления исследований в области глубокого обучения: поиск лучших архитектур или поиск лучших потерь для их обучения. Начиная с AlexNet ( Kriwhevsky et al. ), сверточная нейронная сеть является основной архитектурой, используемой в компьютерном зрении. Благодаря сверткам, с предшествующим эффективным патчем, были разблокированы многие визуальные задачи.
Было изобретено множество вариантов AlexNet, но если бы мы назвали только один, это был..
Позвольте вашей модели искусственного интеллекта ответить на сложные вопросы благодаря Longformer
Научитесь получать адекватные ответы на вопросы для сложных текстов благодаря предварительно обученной модели (allen.ai)
В последние годы разработаны очень интересные проекты по изучению языков. Технологии НЛП сыграли в этом чрезвычайно впечатляющую роль. Фактически, прошло много времени с тех пор, как Google намеревался понять поисковые запросы лучше, чем когда-либо.
Однако после появления BERT произошли довольно интересные события. И мы быстро достигли места, где новейшая..
Исследователи Microsoft и Пекинского университета выявляют «нейроны знаний» в предварительно обученных трансформаторах, позволяя…
Крупномасштабные предварительно обученные трансформеры учатся на корпусах, содержащих океаны фактических знаний, и на удивление хорошо запоминают эти знания без какой-либо тонкой настройки. В новом документе команда из Microsoft Research и Пекинского университета изучает предварительно обученных преобразователей, предлагая метод определения «нейронов знания», ответственных за хранение этих знаний, и способы их использования для редактирования, обновления и даже удаления относительных..
Неужели будущее нейронных сетей невелико? Введение (1 / N)
От принципов до поддержки реальных библиотек.
Привет, я Франсуа Лагунас.
Я занимаюсь машинным обучением, и последние месяцы я работал над использованием разреженных матриц, особенно в Transformers. Недавнее объявление о том, что OpenAI переносит свой разреженный блок инструментов в PyTorch , действительно является большой новостью:
«Мы находимся в процессе написания привязок PyTorch для наших высокооптимизированных ядер с разбиением на блоки и в ближайшие месяцы будем..
