Трансформатор тдн расшифровка: ТДН ТРДН, ТДНС, ТРДНС, ТРДЦН расшифровка трансформаторов

Расшифровка трансформатора ТДТНЖ-40000/220-81 У(ХЛ)1 включает в себя обозначения:

• Т — трансформатор трехфазный;
• Д — принудительная циркуляция воздуха и естественная
  циркуляция масла;
• (ДЦ — принудительная циркуляция воздуха и принудительной циркуляцией масла)
  Т — трехобмоточный;
• Н — регулирование напряжения под нагрузкой на стороне ВН;
• Ж — для электрифицированных железных дорог;
• 40000 — номинальная мощность, кВ·А;
• 220 — класс напряжения обмотки ВН, кВ;
• 81 — год разработки;
• У(ХЛ)1 — климатическое исполнение (У, ХЛ) и категория размещения (1) по ГОСТ 15150-69.

Трансформаторы силовые трехфазные масляные типа ТДТН, ТДТНЖ, ТДЦТН предназначены для железных дорог, электрифицированных на переменном токе в наружных установках.

Основные узлы трансформатора: остов, обмотки, главная изоляция, отводы, вводы, бак, система охлаждения, расширитель, регулятор напряжения, контрольно-измерительные приборы. Остов с трехстержневой шихтованной магнитной системой.

Схема шихтовки — косой стык позиций электротехнической стали. Материал магнитной системы — электротехническая рулонная сталь с жаростойким покрытием. Верхние и нижние ярмовые балки соединяются между собой пластинами из маломагнитной стали. Обмотка ВН непрерывная с вводом в середине состоит из двух параллельных ветвей, расположенных одна под другой, намотана прямоугольным медным проводом.

Обмотки трансформаторов ТДТН, ТДТНЖ, ТДЦТН

Обмотка имеет регулировочную зону в виде отдельно вынесенного концентра (обмотки РО). Регулирование напряжения под нагрузкой осуществляется в нейтрали ВН трансформатора в диапазоне + 12×1% от номинального.

Обмотка СН — непрерывная, выполненная из прямоугольного медного провода. Обмотка СН (38,5 кВ) выполнена из двух параллельных ветвей с вводом нейтрали в середину обмотки. Регулировочные отводы выведены в нижнюю часть к переключателю ПБВ. Регулирование напряжения без возбуждения осуществляется в диапазоне + 2×2,5% от номинального.

Обмотка НН (11 кВ) винтовая одноходовая, выполнена из прямоугольного медного провода. Обмотка НН (6,6 кВ) винтовая двухходовая, выполнена из прямоугольного медного провода. Обмотка РО винтовая шестиходовая, выполнена из прямоугольного медного провода. Обмотка НН (27,5 кВ) непрерывная, выполнена из прямоугольного медного провода. Главная изоляция обмоток маслобарьерного типа выполняется из электротехнического картона и включает верхнюю и нижнюю изоляции и межфазные перегородки. Отводы ВН выполнены из провода МГ.

Отводы СН, НН, регулировочные отводы РО и регулировочные отводы СН выполнены проводом марки ПБОТ. Все отводы, исключая гибкие связи, изолированы. Линейные вводы ВН маслонаполненные, герметичные, протяжного типа, класса напряжения 220 кВ усиленного исполнения. Соединение концов нейтрали и отводов НН в треугольник приведено внутри трансформатора. Для обмоток 27,5 и 38,5 кВ вывод отводов наружу производится с помощью маслоподпорных вводов класса напряжения 35 кВ, для обмоток НН (6,6 и 11 кВ) — с помощью маслоподпорных вводов класса напряжения 20 кВ. Бак выполнен с нижним разъемом.

Трансформатор имеет пленочную защиту масла от увлажнения и окисления воздухом. Для охлаждения используются радиаторы.

Для автоматического управления и контроля работы системы охлаждения предусмотрен шкаф автоматического управления, навешенный на баке. Регулятор напряжения РПН снабжен датчиком блокировки работы регулятора при температуре масла ниже минус 25°С, а также блоком автоматического переключения. Трансформаторы тока устанавливают на линейных вводах ВН, СН, НН (27,5 кВ), на нейтрали ВН. Для компенсации температурных изменений объема масла в баке трансформатора служит расширитель со стрелочным маслоуказателем.

Трансформатор снабжен лестницами для подъема на трансформатор и для обслуживания газового реле. Защита бака от внутреннего повышения давления осуществляется при помощи предохранительных клапанов. Трансформатор снабжен поворотными каретками на катках с ребордами, с колеей передвижения 1524×3000 мм.

Как расшифровывается тдтн 16000 / 110

Структура условного обозначения

ТДТН-16000/110 У1:
Т — трехфазный;
Д — охлаждение с принудительной циркуляцией воздуха и
естественной циркуляцией масла;
Т — трехобмоточный;
Н — регулирование напряжения под нагрузкой;
16 000 — номинальная мощность, кВ·А;
110 — класс напряжения обмотки высшего напряжения, кВ;
У1 — климатическое исполнение и категория размещения по ГОСТ
15150-69. я Условия эксплуатации по ГОСТ 11677-85. Требования техники безопасности по ГОСТ 11677-85 и ГОСТ 12.2.007.2-75. Трансформатор для внутригосударственных поставок соответствует ГОСТ 12965-93. ГОСТ 12965-93

Технические характеристики

Номинальная мощность трансформатора, кВ·А — 16 000 Номинальное напряжение обмоток, кВ: ВН — 115 СН — 38,5 НН — 11 или 6,6 Схема и группа соединения обмоток — Y_н/Y_н/ D-0-11 Ток холостого хода, % — 0,6 Потери холостого хода, кВт — 19 Потери КЗ, кВт — 100 Напряжение КЗ (на основном ответвлении), %: ВН-НН — 17,5 ВН-СН — 10,5 СН-НН — 6,5 Масса, кг: полная — 45 500 транспортная — 38 000 Гарантийный срок — 5 лет со дня ввода трансформатора в эксплуатацию.

Конструкция и принцип действия

Трансформатор имеет остов с трехстержневой шихтованной магнитной системой, собранной из листов холоднокатаной электротехнической стали. Обмотки алюминиевого провода, цилиндрические, размещены на стержнях остова концентрически. Линейные вводы ВН, СН, нейтральный ввод ВН снабжены трансформаторами тока. Система охлаждения трансформатора обеспечивает работу с помощью радиаторов. Бак трансформатора с верхним разъемом снабжается арматурой для заливки, отбора проб, слива и фильтрации масла, подключения системы охлаждения и вакуумнасоса. Регулирование напряжения под нагрузкой (РПН) осуществляется переключающим устройством в нейтрали обмотки ВН в пределах + 9×1,78% номинального напряжения. Трансформатор изготовляется: без устройств перекатки;
с устройствами перекатки — поворотными каретками с ребордой. Колея для продольного перемещения 1 524 мм, для поперечного — 2000 мм. Габаритные размеры трансформатора приведены на рисунке.

Технические характеристки ТДТН, ТДТНЖ, ТДЦТН

Видео: Осмотр силового трансформатора 2Т ТДТН-25000/110/35/6кВ УХЛ1

Трансформатор ТДН 16000/110/6 характеристики, размеры

Трехфазный двухобмоточный трансформатор с устройством РПН номинальной мощностью 16 МВА (Мега вольт-ампер) предназначен для использования в электрических сетях с номинальным напряжением 110 кВ. Частота сети 50 Гц.

Расшифровка

• Т — трехфазный,
• Д — система охлаждения дутьевая (естественная циркуляция масла и принудетельная циркуляция воздуха),
• Н — наличие регулирования под нагрузкой,
• 16000 — номинальная полная мощность (кВА),
• 110/6 — классы номинального напряжения сети.

*Обычно приводится для автотрансформаторов.

Sн

Полная номинальная мощность трансформатора (автотрансформатора) в МВА;

Uвн

Номинальное напряжение обмотки высшего напряжения в кВ;

Uсн

Номинальное напряжение обмотки среднего напряжения в кВ;

Uнн

Номинальное напряжение обмотки низшего напряжения в кВ;

ΔPx

Потери мощности холостого хода в кВт;

ΔPквн

Потери мощности короткогозамыкания (высокая — низкая) в кВт;

ΔPквс

Потери мощности короткогозамыкания (высокая — средняя) в кВт;

Uкв-с

Напряжение короткого замыкания (высокая — средняя) в %;

Uкв-н

Напряжение короткого замыкания (высокая — низкая) в %;

Uкс-н

Напряжение короткого замыкания (средняя — низкая) в %;

Ix

Ток холостого хода в %;

Sнн

Полная номинальная мощность обмотки низкого напряжения.

Обозначение на схеме

Характеристики ТДН 16000/110/6

Схема замещения

Двухобмоточный трансформатор

Rт

Активное сопротивление обмоток трансформатора, Ом;

Xт

Реактивное сопротивление обмоток трансформатора, Ом;

Bт

Реактивная проводимость, См;

Gт

Активная проводимость, См;

Схема замещения с потерями мощности холостого хода.

Расчет параметров трансформатора

Активное сопротивление:

\[R_T=\frac{ΔP_{квн}·U^2_{вном}}{S^2_{ном}}=\frac{85·10^3·115^2·10^6}{16^2·10^{12}}=\left[\frac{Вт·В^2}{ВА}\right]=4.3911\left[Ом\right]\]

Реактивное сопротивление:

\[X_T=\frac{U_{к}·U^2_{вном}}{100·S_{ном}}=\frac{10.5·115^2·10^6}{100·16·10^{6}}=\left[\frac{\%·В^2}{\%·ВА}\right]=86.7891\left[Ом\right]\]

Активная проводимость:

\[G_T=\frac{ΔP_{x}}{U^2_{вном}}=\frac{18·10^3}{115^2·10^{6}}=\left[\frac{Вт}{В^2}\right]=1.3611 ·10^{-6}\left[См\right]\]

Реактивная проводимость:

\[B_T=\frac{I_{x}·S_{ном}}{100·U^2_{вном}}=\frac{0.5·16·10^{6}}{100·115^2·10^{6}}=\left[\frac{\%·ВА}{\%·В^2}\right]=6.0491 ·10^{-6}\left[См\right]\]

Трансформаторы ТМН, ТМНП расшифровка обозначений

Трансформаторы ТМН и ТМНП трехфазные двухобмоточные, масляные, мощностью 1000 / 1600 / 2500 / 4000 / 6300 кВА, с естественным масляным охлаждением, с регулированием напряжения под нагрузкой (РПН), с диапазоном регулирования ±4?2,5%, используются для преобразования напряжения в сетях 35 кВ.

Трансформатор ТМН или ТМНП имеет центральную часть с трехстержневой плоскошихтованной магнитной системой, традиционно набранной из листов холоднокатаной электротехнической стали. Цилиндрические слоевые обмотки из алюминиевого провода расположены на стержнях остова концентрически. Трансформатор ТМН имеет вводы ВН и НН. Линейные вводы ВН снабжены трансформаторами тока. Бак трансформатора масляного ТМН, ТМНП с верхним разъемом снабжается арматурой для заливки, отбора проб, слива и фильтрации масла, подключения системы охлаждения и вакуум-насоса. Расширитель служит для компенсации температурного расширения трансформаторного масла.
Ниже приведена расшифровка трансформаторов ТМН, ТМНП.

Расшифровка трансформатора ТМН, ТМНП

ТМНП — Х/35/Х-Х1:
Т — трансформатор;
М — охлаждение с естественной циркуляцией воздуха и масла;
Н – регулированием напряжения под нагрузкой (РПН) диапазон ±4х2,5%;
П — передвижного типа, на салазках;
Х – номинальная мощность, кВ*А;
35 – класс напряжения на стороне ВН, кВ;
Х – класс напряжения на стороне НН, (6; 10) кВ;
Х1 – климатическое исполнение (У, ХЛ) и категория размещения 1;

Характеристики трансформатора ТДНС, ТРДНС

Конструктивные особенности

Магнитный сердечник изготавливается из высококачественной электротехнической стали марки Э3409, Э3410, Э3411 (тонколистовой холоднокатаной анизотропной стали с двухсторонним покрытием). Шихтовка магнитопровода осуществляется по технологии step-lap, что обеспечивает малые потери холостого хода и приводит к снижению уровня шума.

Обмотки ВН — многослойные или непрерывные, в зависимости от мощности и параметров трансформатора. Изготавливаются из медного или алюминиевого провода в бумажной изоляции.

Обмотки НН производятся из алюминиевой/ медной ленты (до 4000 кВА) с межслойной изоляцией из кабельной бумаги или из медного провода (более 4000 кВА).

Бак – цельносварной, усиленной конструкции, производится из стального листа толщиной 4-12 мм для трансформаторов до 10 000 кВА и 12-20 мм — свыше 10 000 кВА. Конструкция баков представляет собой жесткий каркас, усиленный ребрами жесткости.

На крышке трансформатора расположены выводы ВН и НН, расширитель, устройство РПН, газовое реле, серьги для подъема и перемещения трансформатора, гильза для установки спиртового термометра, патрубок для заливки трансформаторного масла с установленным в него предохранительным клапаном. К торцевой части баков ТМН и ТДН крепится шкаф управления устройством РПН. В нижней части бака имеется пробка или кран для отбора пробы и слива масла, а также пластины заземления, расположенные с двух сторон. К дну бака приварены лапы (опоры) из стандартного швеллера.

На стенках бака имеются фланцы с кранами для присоединения съемных радиаторов, которые служат для охлаждения трансформатора. Радиаторы – панельные, толщина стенки 2 мм.

Наружная поверхность бака окрашена атмосферостойкими красками серых тонов (возможно изменение окраски по требованию заказчика). По заказу клиента возможна обработка баков и крышки методом горячего цинкования, что позволит использовать трансформатор в зоне с влажным климатом.

Расширители трансформатора снабжены двумя указателями уровня масла. По заказу потребителей трансформаторы могут изготавливаться с указателем нижнего предельного уровня масла и включать в себя датчики уровня.

Для трансформаторов климатического исполнения УХЛ1 используется масло, стойкое к низким температурам — имеющее температуру гелеобразования – 65 ˚С.

Условия эксплуатации

Эксплуатация трансформатора осуществляется согласно руководству по эксплуатации завода-изготовителя, действующим «Правилам технической эксплуатации», «Правилам устройства электроустановок».

Климатическое исполнение и категория размещения трансформаторов У1 или УХЛ1 — по ГОСТ 15150, при этом:

— окружающая среда не взрывоопасная, не содержащая токопроводящей пыли;

— высота установки над уровнем моря не более 1000 м;

— режим работы длительный;

— трансформаторы в стандартном исполнении не предназначены для работы в условиях химически активных сред.

Требования по эксплуатации

Трансформаторы марки «Трансформер» рассчитаны на продолжительную работу при повышениях напряжения, подводимого к любому ответвлению обмотки ВН, над номинальным напряжением данного ответвления но не более 10%. При этом мощность не должна превышать номинальную.

Иллюстрированный трансформатор — Джей Аламмар — Визуализация машинного обучения по одной концепции за раз.

Обсуждения: Hacker News (65 баллов, 4 комментария), Reddit r / MachineLearning (29 баллов, 3 комментария)
Переводы: китайский (упрощенный), японский, корейский, русский
Watch: лекция MIT о глубоком изучении искусства, ссылающаяся на этот пост

В предыдущем посте мы рассмотрели Attention — вездесущий метод в современных моделях глубокого обучения. Внимание — это концепция, которая помогла повысить производительность приложений нейронного машинного перевода.В этом посте мы рассмотрим Transformer — модель, которая использует внимание для повышения скорости, с которой эти модели могут быть обучены. Transformers превосходит модель машинного перевода Google Neural в определенных задачах. Однако самое большое преимущество исходит от того, как Transformer подходит для распараллеливания. Фактически, Google Cloud рекомендует использовать Transformer в качестве эталонной модели для использования своего предложения Cloud TPU. Итак, давайте попробуем разбить модель на части и посмотрим, как она работает.

Трансформатор был предложен в статье «Внимание — это все, что вам нужно». Его реализация TensorFlow доступна как часть пакета Tensor2Tensor. Гарвардская группа НЛП создала руководство, аннотирующее статью с реализацией PyTorch. В этом посте мы попытаемся немного упростить вещи и представим концепции один за другим, чтобы, надеюсь, облегчить понимание людям без глубокого знания предмета.

A Высокоуровневый взгляд

Давайте начнем с рассмотрения модели как единого черного ящика.В приложении машинного перевода оно будет принимать предложение на одном языке и выводить его перевод на другом.

Открыв это блага Optimus Prime, мы видим компонент кодирования, компонент декодирования и связи между ними.

Компонент кодирования — это набор кодировщиков (на бумаге шесть из них расположены друг над другом — в числе шесть нет ничего волшебного, определенно можно поэкспериментировать с другими устройствами).Компонент декодирования представляет собой стек декодеров с одинаковым номером.

Все кодеры имеют одинаковую структуру (но они не имеют общего веса). Каждый разделен на два подслоя:

Сначала входы кодировщика проходят через слой самообслуживания — уровень, который помогает кодировщику взглянуть на другие слова во входном предложении при кодировании конкретного слова. Позже мы рассмотрим внимательность к себе.

Выходные данные уровня самообслуживания поступают в нейронную сеть с прямой связью.Точно такая же прямая сеть независимо применяется к каждой позиции.

Декодер имеет оба этих слоя, но между ними находится слой внимания, который помогает декодеру сфокусироваться на соответствующих частях входного предложения (аналогично тому, что внимание делает в моделях seq2seq).

Ввод тензоров в картину

Теперь, когда мы увидели основные компоненты модели, давайте начнем рассматривать различные векторы / тензоры и то, как они перемещаются между этими компонентами, чтобы превратить вход обученной модели в выход.

Как и в случае с приложениями NLP в целом, мы начинаем с преобразования каждого входного слова в вектор с использованием алгоритма встраивания.

Каждое слово встроено в вектор размером 512. Мы представим эти векторы с помощью этих простых прямоугольников.

Встраивание происходит только в самом нижнем кодере. Абстракция, которая является общей для всех кодировщиков, состоит в том, что они получают список векторов, каждый из которых имеет размер 512. — В нижнем кодировщике это будет вложение слов, но в других кодировщиках это будет вывод кодера, который находится непосредственно под ,Размер этого списка — это гиперпараметр, который мы можем установить — в основном это будет длина самого длинного предложения в нашем обучающем наборе данных.

После встраивания слов в нашу входную последовательность каждое из них проходит через каждый из двух уровней кодера.

Здесь мы начинаем видеть одно ключевое свойство Transformer, которое заключается в том, что слово в каждой позиции течет через свой собственный путь в кодере. Существуют зависимости между этими путями в слое самообслуживания.Слой прямой связи, тем не менее, не имеет этих зависимостей, и, таким образом, различные пути могут выполняться параллельно, проходя через слой прямой связи.

Далее мы переключим пример на более короткое предложение и посмотрим, что происходит на каждом подуровне кодера.

Теперь мы кодируем!

Как мы уже упоминали, кодер получает список векторов в качестве входных данных. Он обрабатывает этот список, передавая эти векторы на уровень «самоуважения», затем в нейронную сеть с прямой связью, а затем отправляет выходные данные вверх следующему кодеру.

Слово в каждой позиции проходит через процесс самоуважения. Затем они проходят через нейронную сеть с прямой связью — точно такую ​​же сеть с каждым вектором, проходящим через нее отдельно.

Самообслуживание на высоком уровне

Не обманывайтесь тем, что я бросаю слово «самообслуживание», как будто это понятие, с которым все должны быть знакомы. Лично я никогда не сталкивался с этой концепцией, пока не прочитал статью «Внимание — все, что тебе нужно».Давайте рассмотрим, как это работает.

Скажем, следующее предложение является входным предложением, которое мы хотим перевести:

” Животное не переходило улицу, потому что было слишком уставшим ”

Что означает «это» в этом предложении? Имеется в виду улица или животное? Это простой вопрос для человека, но не так просто для алгоритма.

Когда модель обрабатывает слово «оно», самообслуживание позволяет ей связать «это» с «животным».

Поскольку модель обрабатывает каждое слово (каждую позицию во входной последовательности), самообслуживание позволяет ей искать другие позиции во входной последовательности для подсказок, которые могут помочь улучшить кодировку для этого слова.

Если вы знакомы с RNN, подумайте о том, как поддержание скрытого состояния позволяет RNN включать свое представление предыдущих слов / векторов, которые он обработал, в текущий, который он обрабатывает. Самоуважение — это метод, который Transformer использует, чтобы превратить «понимание» других релевантных слов в то, которое мы сейчас обрабатываем.

Поскольку мы кодируем слово «оно» в кодировщике № 5 (верхний кодировщик в стеке), часть механизма внимания была сосредоточена на «животном», и запечатала часть его представления в кодировке «это».

Обязательно ознакомьтесь с записной книжкой Tensor2Tensor, в которую можно загрузить модель Transformer, и изучите ее с помощью этой интерактивной визуализации.

Уверенность в деталях

Давайте сначала посмотрим, как рассчитать внимание к себе с помощью векторов, а затем перейдем к тому, как это на самом деле реализовано — с использованием матриц.

Первый этап в вычислении собственного внимания состоит в том, чтобы создать три вектора из каждого из входных векторов кодера (в этом случае, вложение каждого слова).Таким образом, для каждого слова мы создаем вектор запроса, вектор ключа и вектор значения. Эти векторы создаются умножением вложения на три матрицы, которые мы обучали в процессе обучения.

Обратите внимание, что эти новые векторы меньше по размеру, чем вектор вложения. Их размерность равна 64, в то время как векторы ввода и вывода кодирования имеют размерность 512. Они не ДОЛЖНЫ быть меньше, это выбор архитектуры, позволяющий сделать вычисление многоголовочного внимания (главным образом) постоянным.

Умножение x1 на весовую матрицу WQ дает q1, вектор «запроса», связанный с этим словом. В итоге мы создаем проекцию «запрос», «ключ» и «значение» для каждого слова во входном предложении.

Что такое векторы «запрос», «ключ» и «значение»?

Это абстракции, которые полезны для расчета и размышлений о внимании. Как только вы начнете читать, как рассчитывается внимание ниже, вы узнаете почти все, что вам нужно знать о роли, которую играет каждый из этих векторов.

Второй этап в при подсчете собственного внимания — это подсчет очков. Скажем, мы рассчитываем внимание к самому первому слову в этом примере «Мышление». Нам нужно сравнить каждое слово входного предложения с этим словом. Оценка определяет, сколько внимания нужно уделить другим частям входного предложения, когда мы кодируем слово в определенной позиции.

Оценка рассчитывается путем взятия точечного произведения вектора запроса с вектором ключа соответствующего набираемого нами слова.Таким образом, если мы обрабатываем самообслуживание для слова в позиции # 1, первым результатом будет скалярное произведение q1 и k1. Вторым результатом будет скалярное произведение q1 и k2.

Третий и четвертый этапы должны делить оценки на 8 (квадратный корень из измерения ключевых векторов, используемых в статье — 64). Это приводит к большему удару

.

Как работают трансформаторы. Трансформаторы — это тип нейронных… | Giuliano Giacaglia

Нейронная сеть, используемая Open AI и DeepMind

Трансформаторы — это тип архитектуры нейронных сетей, который набирает популярность. Трансформеры недавно использовались OpenAI в своих языковых моделях, а также недавно использовались DeepMind для AlphaStar — их программы для победы над лучшим профессиональным игроком Starcraft.

Трансформаторы были разработаны для решения проблемы преобразования последовательности , , или нейронного машинного перевода. Это означает, что любая задача преобразует входную последовательность в выходную последовательность. Это включает в себя распознавание речи, преобразование текста в речь и т. Д.

Преобразование последовательности. Входные данные представлены зеленым цветом, модель представлена ​​синим цветом, а выходные данные представлены фиолетовым цветом. GIF от 3

Для моделей, выполняющих преобразование последовательности , необходимо иметь какую-то память. Например, допустим, что мы переводим следующее предложение на другой язык (французский):

«The Transformers» — японская группа [[hardcore punk]].Группа была образована в 1968 году, в разгар японской музыкальной истории »

В этом примере слово« группа »во втором предложении относится к группе« Трансформеры », введенной в первом предложении. Когда вы читаете о группе во втором предложении, вы знаете, что она относится к группе «Трансформеры». Это может быть важно для перевода. Есть много примеров, когда слова в некоторых предложениях относятся к словам в предыдущих предложениях.

Для такого перевода предложений модели необходимо выяснить такие зависимости и связи.Рекуррентные нейронные сети (RNN) и сверточные нейронные сети (CNN) были использованы для решения этой проблемы из-за их свойств. Давайте рассмотрим эти две архитектуры и их недостатки.

Рекуррентные нейронные сети содержат петли, позволяющие информации сохраняться.

Вход представлен как x_t

На рисунке выше мы видим часть нейронной сети, A, , обрабатывающую некоторый вход x_t и выходной сигнал h_t. Цикл позволяет передавать информацию от одного шага к следующему.

Петли можно представить по-другому. Рекуррентная нейронная сеть может рассматриваться как несколько копий одной и той же сети, и , каждая сеть передает сообщение своему преемнику. Рассмотрим, что произойдет, если мы развернем цикл:

Развернутая рекуррентная нейронная сеть

Эта цепочечная природа показывает, что рекуррентные нейронные сети явно связаны с последовательностями и списками. Таким образом, если мы хотим перевести некоторый текст, мы можем установить каждый ввод как слово в этом тексте.Рекуррентная нейронная сеть передает информацию предыдущих слов в следующую сеть, которая может использовать и обрабатывать эту информацию.

На следующем рисунке показано, как обычно последовательность модели последовательности работает с использованием рекуррентных нейронных сетей. Каждое слово обрабатывается отдельно, и результирующее предложение генерируется путем передачи скрытого состояния на этап декодирования, который затем генерирует выходные данные.

GIF от 3

Проблема долгосрочных зависимостей

Рассмотрим языковую модель, которая пытается предсказать следующее слово на основе предыдущих.Если мы пытаемся предсказать следующее слово предложения «облака в небе» , нам не нужен дополнительный контекст. Совершенно очевидно, что следующим словом будет небо.

В этом случае, когда разница между соответствующей информацией и необходимым местом мала, RNNs могут научиться использовать прошлую информацию и выяснить, каково следующее слово для этого предложения.

Изображение из 6

Но есть случаи, когда нам нужно больше контекста. Например, допустим, что вы пытаетесь предсказать последнее слово текста: «Я вырос во Франции… я бегло говорю…». Согласно недавней информации, следующее слово, вероятно, является языком, но если мы хотим сузить язык, нам нужен контекст Франции, который находится дальше в тексте.

Изображение из 6

RNN становится очень неэффективным, когда разрыв между соответствующей информацией и точкой, где она необходима, становится очень большим. Это связано с тем, что информация передается на каждом этапе, и чем длиннее цепочка, тем более вероятна потеря информации по цепочке.

Теоретически, RNN могут изучать эти долгосрочные зависимости.На практике они, кажется, не изучают их. LSTM, особый тип RNN, пытается решить эту проблему.

При составлении календаря на день мы расставляем приоритеты для наших встреч. Если есть что-то важное, мы можем отменить некоторые встречи и учесть то, что важно.

RNN не делают этого. Всякий раз, когда он добавляет новую информацию, он полностью преобразует существующую информацию, применяя функцию. Вся информация модифицируется, и не учитывается, что важно, а что нет.

LSTM вносят небольшие изменения в информацию путем умножения и сложения. С LSTM информация течет через механизм, известный как состояния ячейки. Таким образом, LSTM могут выборочно помнить или забывать вещи, которые важны и не так важны.

Внутренне LSTM выглядит следующим образом:

Изображение из 6

Каждая ячейка принимает в качестве входных данных x_t (слово в случае перевода предложения в предложение), состояние предыдущей ячейки и выход предыдущей ячейки .Он манипулирует этими входами и, основываясь на них, генерирует новое состояние ячейки и вывод. Я не буду вдаваться в подробности о механике каждой клетки. Если вы хотите понять, как работает каждая ячейка, я рекомендую запись в блоге Кристофера:

С состоянием ячейки информация в предложении, которая важна для перевода слова, может быть переведена из одного слова в другое при переводе.

Проблема с LSTM

Та же проблема, которая обычно возникает с RNN, возникает с LSTM, т.е.е. когда предложения слишком длинные, LSTM все еще не очень хорошо. Причина этого заключается в том, что вероятность сохранения контекста от слова, которое находится далеко от текущего обрабатываемого слова, экспоненциально уменьшается с расстоянием от него.

Это означает, что когда предложения длинные, модель часто забывает содержание удаленных позиций в последовательности. Другая проблема с RNN и LSTM заключается в том, что трудно распараллеливать работу по обработке предложений, поскольку вам приходится обрабатывать слово за словом.Мало того, но нет модели долгосрочных и краткосрочных зависимостей. Итак, LSTM и RNN представляют 3 проблемы:

• Последовательные вычисления препятствуют распараллеливанию
• Нет явного моделирования длинных и коротких зависимостей
• «Расстояние» между позициями является линейным

Для решения некоторых из этих проблем исследователи создали техника обращать внимание на конкретные слова.

При переводе предложения я уделяю особое внимание слову, которое я сейчас перевожу.Когда я записываю аудиозапись, я внимательно слушаю сегмент, который активно записываю. И если вы попросите меня описать комнату, в которой я сижу, я осмотрю объекты, которые я описываю, когда я это делаю.

Нейронные сети могут достичь того же поведения, используя внимание , сосредоточив внимание на части подмножества информации, которую им дают. Например, RNN может присутствовать на выходе другого RNN. На каждом временном шаге он фокусируется на разных позициях в других RNN.

Для решения этих проблем Внимание — это метод, который используется в нейронной сети. Для RNN вместо кодирования всего предложения в скрытом состоянии каждое слово имеет соответствующее скрытое состояние, которое передается полностью до стадии декодирования. Затем скрытые состояния используются на каждом этапе RNN для декодирования. Следующий рисунок показывает, как это происходит.

Зеленый этап называется этапом кодирования , а фиолетовый этап является этапом кодирования. GIF от 3

Идея заключается в том, что в каждом слове предложения может быть соответствующая информация. Таким образом, чтобы декодирование было точным, необходимо учитывать каждое слово ввода, уделяя внимание .

Чтобы обратить внимание на RNN при передаче последовательности, мы разделим кодирование и декодирование на 2 основных этапа. Один шаг представлен зеленым, , а другой — фиолетовым. Зеленый этап называется этапом кодирования , а фиолетовый этап — этапом декодирования .

GIF от 3

Этап зеленого цвета отвечает за создание скрытых состояний на входе. Вместо того, чтобы передавать только одно скрытое состояние декодерам, как мы делали до внимания , мы передаем все скрытые состояния, генерируемые каждым «словом» предложения, на стадию декодирования. Каждое скрытое состояние используется на этапе декодирования , чтобы выяснить, где сеть должна уделять внимания .

Например, при переводе предложения « Je suis étudiant» на английский язык требуется, чтобы на этапе декодирования при его переводе рассматривались разные слова.

Этот рисунок показывает, какой вес придается каждому скрытому состоянию при переводе предложения «Je suis étudiant» на английский. Чем темнее цвет, тем больше веса связано с каждым словом. GIF от 3

Или, например, когда вы переводите предложение «L’accord sur la zone économique européenne a été signé en aûût 1992». с французского на английский, и сколько внимания уделяется каждому входу.

Перевод предложения «Экономическое соглашение между странами и государствами в 1992 году».» на английский. Изображение из 3

Но некоторые из проблем, которые мы обсуждали, до сих пор не решены с RNN, использующими внимание . Например, параллельная обработка входных данных (слов) невозможна. Для большого корпуса текста это увеличивает время, затрачиваемое на перевод текста.

Сверточные нейронные сети помогают решить эти проблемы. С их помощью мы можем

• Тривиально распараллелить (на слой)
• Эксплуатация локальных зависимостей
• Расстояние между позициями является логарифмическим

Некоторые из наиболее популярных нейронных сетей для преобразования последовательности, Wavenet и Bytenet, являются сверточными нейронными сетями.

Wavenet, модель — это сверточная нейронная сеть (CNN). Изображение из 10

Причина, по которой сверточные нейронные сети могут работать параллельно, заключается в том, что каждое слово на входе может обрабатываться одновременно и не обязательно зависит от предыдущих слов, которые необходимо перевести. Не только это, но и «расстояние» между выходным словом и любым входом для CNN составляет порядка log (N) — это размер высоты дерева, сгенерированного из вывода на вход (вы можно увидеть это на GIF выше.Это намного лучше, чем расстояние выхода RNN и входа, которое составляет порядка N .

Проблема заключается в том, что сверточные нейронные сети не обязательно помогают решить проблему зависимостей при переводе предложений. Вот почему Трансформеры были созданы, они представляют собой сочетание обеих CNN с вниманием.

Чтобы решить проблему распараллеливания, трансформаторы пытаются решить эту проблему, используя сверточные нейронные сети вместе с моделями внимания . Внимание повышает скорость, с которой модель может переводить одну последовательность в другую.

Давайте посмотрим, как работает Transformer . Трансформер — это модель, которая использует внимания для повышения скорости. Точнее говоря, он использует самоуважения.

Трансформер. Изображение от 4

Внутри Transformer имеет архитектуру, аналогичную предыдущим моделям выше. Но Transformer состоит из шести кодеров и шести декодеров.

Изображение из 4

Каждый кодировщик очень похож на другого. Все кодеры имеют одинаковую архитектуру. Декодеры имеют одно и то же свойство, то есть они также очень похожи друг на друга. Каждый кодировщик состоит из двух уровней: , самообслуживания, и нейронной сети прямой связи.

Изображение из 4

Сначала входы энкодера проходят через слой самосохранения . Это помогает кодировщику взглянуть на другие слова во входном предложении при кодировании конкретного слова. Декодер имеет оба этих слоя, но между ними находится слой внимания, который помогает декодеру сфокусироваться на соответствующих частях входного предложения.

Изображение из 4

Примечание: Этот раздел взят из поста в блоге Джея Алламара

Давайте начнем с рассмотрения различных векторов / тензоров и того, как они перемещаются между этими компонентами, чтобы превратить ввод обученной модели в вывод. Как и в случае с приложениями NLP в целом, мы начинаем с преобразования каждого входного слова в вектор с использованием алгоритма встраивания.

Изображение взято с 4

Каждое слово встроено в вектор размером 512. Мы представим эти векторы с помощью этих простых прямоугольников.

Встраивание происходит только в самом нижнем кодере. Абстракция, которая является общей для всех кодировщиков, заключается в том, что они получают список векторов, каждый из которых имеет размер 512.

В нижнем кодировщике это будет вложение слов, но в других кодировщиках это будет вывод кодера, который прямо под После встраивания слов в нашу входную последовательность каждое из них проходит через каждый из двух уровней кодера.

Image from 4

Здесь мы начинаем видеть одно ключевое свойство Transformer, которое заключается в том, что слово в каждой позиции проходит через свой собственный путь в кодере.Существуют зависимости между этими путями в слое самообслуживания. Слой прямой связи, тем не менее, не имеет этих зависимостей, и, таким образом, различные пути могут выполняться параллельно, проходя через слой прямой связи.

Далее мы переключим пример на более короткое предложение и посмотрим, что происходит на каждом подуровне кодера.

Self-Attention

Давайте сначала рассмотрим, как рассчитать самообслуживание с использованием векторов, а затем перейдем к рассмотрению того, как оно на самом деле реализовано — с использованием матриц.

Выяснение соотношения слов в предложении и уделение внимания . Изображение из 8

Первым этапом при вычислении собственного внимания является создание трех векторов из каждого из входных векторов кодировщика (в данном случае, вложение каждого слова). Таким образом, для каждого слова мы создаем вектор запроса, вектор ключа и вектор значения. Эти векторы создаются умножением вложения на три матрицы, которые мы обучали в процессе обучения.

Обратите внимание, что эти новые векторы меньше по размеру, чем вектор вложения.Их размерность равна 64, в то время как векторы ввода и вывода кодирования имеют размерность 512. Они не ДОЛЖНЫ быть меньше, это выбор архитектуры, позволяющий сделать вычисление многоголовочного внимания (главным образом) постоянным.

Изображение взято из 4

Умножение x1 на весовую матрицу WQ дает q1, вектор «запроса», связанный с этим словом. В итоге мы создаем «запрос», «ключ» и «значение» проекции каждого слова во входном предложении.

Что представляют собой векторы «запрос», «ключ» и «значение»?

Это абстракции, которые полезны для расчета и размышления о внимании.Как только вы начнете читать, как рассчитывается внимание ниже, вы узнаете почти все, что вам нужно знать о роли, которую играет каждый из этих векторов.

Второй этап в подсчете собственного внимания — это подсчет очков. Скажем, мы рассчитываем внимание к самому первому слову в этом примере «Мышление». Нам нужно сравнить каждое слово входного предложения с этим словом. Оценка определяет, сколько внимания нужно уделить другим частям входного предложения, когда мы кодируем слово в определенной позиции.

Оценка рассчитывается путем взятия точечного произведения вектора запроса с вектором ключа соответствующего набираемого нами слова. Таким образом, если мы обрабатываем самообслуживание для слова в позиции # 1, первым результатом будет скалярное произведение q1 и k1. Вторым результатом будет скалярное произведение q1 и k2.

Изображение из 4

Третий и четвертый этапы должны делить оценки на 8 (квадратный корень из измерения ключевых векторов, используемых в статье — 64. Это приводит к более стабильным градиентам.Здесь могут быть другие возможные значения, но это значение по умолчанию), затем передайте результат через операцию softmax. Softmax нормализует оценки, так что они все положительные и составляют в целом 1.

Изображение из 4

Эта оценка softmax определяет, сколько слов будет выражено в этой позиции. Очевидно, что слово в этой позиции будет иметь самый высокий балл softmax, но иногда полезно обратиться к другому слову, которое относится к текущему слову.

Пятый шаг должен умножить каждый вектор значений на показатель softmax (в подготовке к их суммированию).Интуиция здесь заключается в том, чтобы сохранить неизменными значения слов, на которых мы хотим сфокусироваться, и исключить ненужные слова (например, умножив их на крошечные числа, такие как 0,001).

Шестой этап состоит в суммировании векторов взвешенных значений. Это производит вывод слоя самообслуживания в этой позиции (для первого слова).

Изображение из 4

На этом завершается расчет самосовершенствования. Результирующий вектор — это тот, который мы можем отправить в нейронную сеть прямой связи.В реальной реализации, однако, этот расчет выполняется в матричной форме для более быстрой обработки. Итак, давайте посмотрим на это сейчас, когда мы увидели интуицию вычислений на уровне слов.

Многоголовое внимание

Трансформаторы в основном работают так. Есть несколько других деталей, которые заставляют их работать лучше. Например, вместо того, чтобы обращать внимание друг на друга только в одном измерении, трансформаторы используют концепцию многоголового внимания.

Идея заключается в том, что всякий раз, когда вы переводите слово, вы можете уделять различное внимание каждому слову в зависимости от типа вопроса, который вы задаете.Изображения ниже показывают, что это значит. Например, всякий раз, когда вы переводите «пнул» в предложении «Я пнул мяч», вы можете спросить «Кто пнул». В зависимости от ответа перевод слова на другой язык может измениться. Или задайте другие вопросы, такие как «Что сделал?» И т. Д.

.

No related posts.