Подрезка: подрезка — Викисловарь

Сокращение глубоких нейронных сетей, чтобы сделать их быстрыми и маленькими

Моя реализация PyTorch [1611.06440 Сокращение сверточных нейронных сетей для ресурсоэффективного вывода]. TL; DR: с помощью сокращения VGG-16 классификатор Dogs-vs-Cats становится в 3 раза быстрее и в 4 раза меньше.

---

Сокращение нейронных сетей — старая идея, восходящая к 1990 году (с оптимальной работой по повреждению мозга Яна Лекуна) и ранее. Идея состоит в том, что среди многих параметров в сети некоторые являются избыточными и не вносят большой вклад в результат.

Если бы вы могли ранжировать нейроны в сети в зависимости от их вклада, вы могли бы затем удалить нейроны с низким рейтингом из сети, что привело бы к меньшей и более быстрой сети.

Получение более быстрых / небольших сетей важно для запуска этих сетей глубокого обучения на мобильных устройствах.

Ранжирование может быть выполнено в соответствии со средним значением L1 / L2 весов нейронов, их средними активациями, количеством раз, когда нейрон не был равен нулю в некотором наборе валидации, и другими творческими методами.После обрезки точность упадет (надеюсь, не слишком сильно, если ранжирование умное), и сеть обычно обучается больше восстанавливаться.

Если мы удалим слишком много сразу, сеть может быть повреждена настолько, что не сможет восстановиться.

Таким образом, на практике это итеративный процесс, часто называемый «Итеративное сокращение»: Сокращение / Обработка / Повторение.

Изображение взято из [1611.06440 Сокращение сверточных нейронных сетей для ресурсоэффективного вывода]

Звучит хорошо, почему это не так популярно?

Есть много статей об обрезке, но я никогда не сталкивался с обрезкой, используемой в реальных проектах глубокого обучения.

Что удивительно, учитывая все усилия по углубленному обучению на мобильных устройствах. Я думаю, причина в комбинации:

• Методы ранжирования до сих пор не были достаточно хорошими, что приводило к слишком большому падению точности.
• Это боль для реализации.
• Те, кто использует обрезку, держат ее в секрете.

Итак, я решил внедрить обрезку самостоятельно и посмотреть, смогу ли я получить с ней хорошие результаты.

В этом посте мы рассмотрим несколько методов сокращения, а затем углубимся в детали реализации одного из последних методов.

Мы настроим сеть VGG для классификации кошек / собак в наборе данных Kaggle Dogs vs Cats, который представляет собой разновидность обучения передаче, которое, на мой взгляд, очень распространено на практике.

Затем мы сократим сеть и увеличим ее почти в 3 раза, а размер уменьшим почти в 4 раза!

---

Обрезка для скорости против обрезки для маленькой модели

В VGG16 90% весов находятся в полностью связанных слоях, но на них приходится 1% от общего числа операций с плавающей запятой.

До недавнего времени большинство работ было сосредоточено на обрезке полностью связанных слоев. Сокращая их, размер модели может быть значительно уменьшен.

Мы сосредоточимся здесь на сокращении целых фильтров в сверточных слоях.

Но у этого есть крутой побочный эффект, также уменьшающий память. Как отмечалось в статье [1611.06440 Сокращение сверточных нейронных сетей для ресурсоэффективного вывода], чем глубже слой, тем больше он будет сокращен.

Это означает, что последний сверточный слой будет много сокращен, и много нейронов из полностью связанного слоя, следующего за ним, также будут отброшены!

При сокращении сверточных фильтров другим вариантом будет уменьшение весов в каждом фильтре или удаление определенного размера одного ядра.Вы можете в конечном итоге с редкими фильтрами, но это не тривиально, чтобы ускорить вычисления. Недавние работы защищают «структурированную разреженность», где вместо этого удаляются целые фильтры.

Одна из важных вещей, которые показывают некоторые из этих работ, состоит в том, что, обучая и затем сокращая большую сеть, особенно в случае обучения с переносом, они получают результаты, которые намного лучше, чем обучение меньшей сети с нуля.

Давайте теперь кратко рассмотрим несколько методов.

В этой работе они выступают за обрезку целых сверточных фильтров.Сокращение фильтра с индексом k влияет на слой, в котором он находится, и на следующий слой. Все входные каналы с индексом k в следующем слое придется удалить, так как они не будут больше существовать после сокращения.

Изображение взято из [1608.08710 Фильтры для обрезки эффективных поводков]

Если следующий слой является полностью связным слоем, а размер карты объектов этого канала будет MxN, то нейроны MxN будут удалены из полностью связанного слоя.

Рейтинг нейронов в этой работе довольно прост. Это норма L1 весов каждого фильтра.

На каждой итерации сокращения они ранжируют все фильтры, сокращают m фильтров с самым низким ранжированием глобально среди всех слоев, переобучают и повторяют.

Эта работа кажется похожей, но ранжирование намного сложнее. Они содержат набор из N фильтров частиц, которые представляют собой N сверточных фильтров, которые необходимо удалить.

Каждой частице присваивается оценка, основанная на точности сети в наборе проверки, когда фильтр, представленный частицей, не был маскирован.Затем на основе нового балла отбираются новые обрезочные маски.

Поскольку выполнение этого процесса является тяжелым, они использовали небольшой набор проверки для измерения показателей частиц.

Это действительно классная работа от Nvidia.

Сначала они формулируют проблему сокращения как задачу комбинаторной оптимизации: выберите подмножество весов B, чтобы при их сокращении изменение стоимости сети было минимальным.

Обратите внимание, как они использовали абсолютную разницу, а не только разницу.Использование абсолютной разницы гарантирует, что удаленная сеть не будет слишком сильно снижать производительность сети, но также не должна увеличивать ее. В статье, которую они показывают, это дает лучшие результаты, по-видимому, потому что это более стабильно.

Теперь все методы ранжирования можно судить по этой функции стоимости.

Oracle обрезка

VGG16 имеет 4224 сверточных фильтра. «Идеальным» методом ранжирования будет грубая сила — обрезать каждый фильтр, а затем наблюдать, как изменяется функция стоимости при работе на тренировочном наборе.Так как они из Nvidia и у них есть доступ к gazillion GPU, они сделали именно это. Это называется рейтингом оракула — наилучшим из возможных рейтингов для минимизации изменения стоимости сети. Теперь, чтобы измерить эффективность других методов ранжирования, они вычисляют корреляцию Спирмена с оракулом. Сюрприз-сюрприз, метод ранжирования, который они придумали (описан ниже), больше всего коррелирует с оракулом.

Они придумали новый метод ранжирования нейронов, основанный на первом порядке (что означает быстрое вычисление) расширения функции стоимости сети Тейлором.

Сокращение фильтра h аналогично обнулению его.

C (W, D) — это функция средней стоимости сети в наборе данных D, когда веса сети установлены на W. Теперь мы можем оценить C (W, D) как расширение вокруг C (W, D, h = 0). ). Они должны быть довольно близки, так как удаление одного фильтра не должно слишком сильно повлиять на стоимость.

В этом случае ранжирование h равно abs (C (W, D, h = 0) — C (W, D)).

Ранжирование каждого уровня затем нормализуется по норме L2 рангов в этом уровне.Я полагаю, что это эмпирический вид, и я не уверен, зачем это нужно, но это сильно влияет на качество обрезки.

Этот ранг довольно интуитивно понятен. Мы могли бы сами использовать как активацию, так и градиент в качестве методов ранжирования. Если какой-либо из них высокий, это означает, что они важны для выхода. Умножение их дает нам возможность бросить / сохранить фильтр, если градиенты или активация очень низкие или высокие.

Это заставляет меня задуматься — они представляли проблему сокращения как минимизацию разницы в стоимости сети, и , а затем придумали метод расширения Тейлора, или это было , а не , и разница в стоимости сети оракула была способом поддержать их новый метод? 🙂

В статье их метод превзошел другие методы в точности, поэтому, похоже, оракул является хорошим индикатором.

Во всяком случае, я думаю, что это хороший метод, который более удобен для кодирования и тестирования, чем, скажем, фильтр частиц, поэтому мы рассмотрим это подробнее!

Итак, допустим, у нас есть задача по обучению передаче, в которой нам нужно создать классификатор из сравнительно небольшого набора данных. Как в этом сообщении в блоге Keras.

Можем ли мы использовать мощную предварительно обученную сеть, такую ​​как VGG, для обучения передаче, а затем обрезать сеть?

Если в VGG16 много функций, касающихся автомобилей, людей и домов, — насколько они способствуют простому классификатору собак / кошек?

Это проблема, которая, я думаю, очень распространена.

В качестве тренировочного набора мы будем использовать 1000 изображений кошек и 1000 изображений собак из набора данных Kaggle Dogs vs Cats. В качестве тестового набора мы будем использовать 400 изображений кошек и 400 изображений собак.

Сначала давайте похвастаться некоторой статистикой.

Точность упала с 98,7% до 97,5%.

Размер сети уменьшен с 538 МБ до 150 МБ.

На процессоре i7 время вывода уменьшилось с 0,78 до 0,277 секунды для одного изображения, — почти в 3 раза меньше!

Шаг первый — тренировка большой сети

Мы возьмем VGG16, отбросим полностью связанные слои и добавим три новых полностью связанных слоя.Мы заморозим сверточные слои и переобучим только новые полностью связанные слои. В PyTorch новые слои выглядят так:

  self.classifier = nn.Sequential (
nn.Dropout (),
nn.Linear (25088, 4096),
nn.ReLU (Inplace = True),
nn.Dropout (),
nn.Linear (4096, 4096),
nn.ReLU (Inplace = True),
nn.Linear (4096, 2))  

После обучения для 20 эпох с дополнением данных мы получаем точность 98,7% в тестовом наборе.

Шаг второй — ранжирование фильтров

Чтобы вычислить критерии Тейлора, нам нужно выполнить передачу Forward + Backward для нашего набора данных (или для меньшей его части, если он слишком большой.но так как у нас есть только 2000 изображений, давайте использовать это).

Теперь нам нужно как-то достать оба гради

.

обрезка фильтров и каналов — Нейронная сеть Distiller

Введение

Сокращение каналов и фильтров — примеры структурного сокращения, которые создают сжатые модели, для выполнения которых не требуется специального оборудования. Этот последний факт делает эту форму структурной обрезки особенно интересной и популярной. В сетях с последовательными зависимостями данных довольно просто понять и определить, как обрезать каналы и фильтры.Однако в более сложных моделях с параллельными зависимостями данных (путями), такими как ResNets (пропуск соединений) и GoogLeNet (начальные уровни), все становится все более сложным и требует более глубокого понимания потока данных в модели, чтобы определить график обрезки.
В этом посте описывается процесс сокращения каналов и фильтров, проблемы и способы определения графика сокращения Distiller для этих структур. Подробности реализации оставлены для отдельного поста.

Прежде чем мы углубимся в сокращение, давайте установим уровень терминологии, потому что разные люди (и даже исследовательские работы) не всегда согласны с номенклатурой.Это отражает мое понимание номенклатуры, и поэтому эти имена используются в Distiller. Я ограничу это обсуждение слоями свертки в CNN, чтобы охватить сферу охвата темы, которую я буду охватывать, хотя Distiller поддерживает сокращение других структур, таких как столбцы матрицы и строки. PyTorch описывает torch.nn.Conv2d как применение «двумерной свертки для входного сигнала, состоящего из нескольких входных плоскостей». Мы называем каждую из этих входных плоскостей функциональной картой (или сокращенно FM).Другое название — входной канал , как в каналах R / G / B изображения. Некоторые люди называют карты функций активациями (то есть активацией нейронов), хотя я думаю, что, строго говоря, активаций являются выходом слоя активации, который подпитывался группой карт характеристик. Поскольку это очень распространено, и поскольку использование активации является ортогональным к нашему обсуждению, я буду использовать активаций для ссылки на выходные данные слоя свертки (т.е.е. 3D-стек карт-объектов).

В документации PyTorch выходы свертки имеют форму (N, C _из , H _из , W _из ), где N — размер пакета, C _из обозначает количество выходных каналов, H _из — высота выходных плоскостей в пикселях, а W _из — это ширина в пикселях. Мы не будем уделять много внимания размеру партии, поскольку это не важно для нашего обсуждения, поэтому без потери общности мы можем установить N = 1. Я также предполагаю, что наиболее распространенные Свертки, имеющие групп == 1 .Веса свертки 4D: (F, C, K, K) где F — количество фильтров, C — количество каналов, и K — размер ядра (мы можем предположить, что высота и ширина ядра для простоты равны). Ядро — это двумерная матрица (K, K), которая является частью детектора трехмерных объектов. Этот детектор признаков называется фильтром , и это в основном стек 2D ядер . Каждое ядро ​​свернуто с двумерным входным каналом (то есть картой признаков), поэтому, если на входе имеется C _в каналах, то в фильтре имеется C _{в ядрах} (C == C _в ).Каждый фильтр свернут со всем входом, чтобы создать один выходной канал (то есть карту объектов). Если имеются выходные каналы C _из , то имеются фильтры C _из (F == C _из ).

Обрезка фильтра

Сокращение фильтров и сокращение каналов очень похожи, и я расскажу об этом сходстве позже, но сейчас давайте сосредоточимся на сокращении фильтров.
В сокращении фильтра мы используем некоторый критерий, чтобы определить, какие фильтры важны , а какие , а какие нет.Исследователи придумали все виды критериев обрезки: величина L1 фильтров (цитирование), энтропия активаций (цитирование) и снижение точности классификации (цитирование) являются лишь некоторыми примерами. Независимо от того, как мы выбрали фильтры для сокращения, давайте представим, что на диаграмме ниже мы решили удалить (удалить) зеленый и оранжевый фильтры (кружок со знаком «*» обозначает операцию Convolution).

Поскольку у нас на входе меньше двух фильтров, у нас должно быть на два меньше выходных карт объектов.Поэтому, когда мы сокращаем фильтры, помимо изменения физического размера тензоров веса, нам также необходимо перенастроить непосредственный уровень свертки (изменить его out_channels ) и следующий уровень свертки (изменить его in_channels ). И, наконец, поскольку вход следующего слоя теперь меньше (имеет меньше каналов), мы должны также уменьшить весовые тензоры следующего слоя, удалив каналы, соответствующие фильтрам, которые мы удалили. Мы говорим, что существует зависимостей данных между двумя уровнями свертки.Я не упомянул функцию активации, которая обычно следует за Convolution, потому что эти функции не содержат параметров и не чувствительны к форме их ввода. Есть некоторые другие зависимости, которые разрешает Distiller (например, параметры оптимизатора, тесно связанные с весами), которые я не буду здесь обсуждать, поскольку они являются деталями реализации.

Синтаксис YAML планировщика для этого примера вставлен ниже. Мы используем L1-норму ранжирования весовых фильтров, а скорость обрезки задается алгоритмом AGP (Automatic Gradual Pruning).В этом примере слои Convolution удобно называть conv1 и conv2 .

  секаторов:
  example_pruner:
    класс: L1RankedStructureParameterPruner_AGP
    начальная_спарсность: 0,10
    final_sparsity: 0,50
    group_type: фильтры
    весовые коэффициенты: [module.conv1.weight]
  

Теперь давайте добавим слой нормализации партии между двумя свертками:

Уровень нормализации партии параметризован парой тензоров, которые содержат информацию для каждого входного канала (т.е.е. масштаб и смещение). Поскольку наша Convolution производит меньше выходных FM, а они являются входом для уровня нормализации партии, нам также необходимо перенастроить уровень нормализации партии. И нам также необходимо физически уменьшить масштаб масштабирования слоя и тензоры сдвига, которые являются коэффициентами во входном преобразовании BN. Кроме того, масштабные коэффициенты и коэффициенты сдвига, которые мы удаляем из тензоров, должны соответствовать фильтрам (или выходным каналам карт характеристик), которые мы удалили из весовых тензоров свертки.Этот маленький нюанс окажется большой болью, но мы вернемся к этому в следующих примерах. Наличие уровня нормализации партии в приведенном выше примере прозрачно для нас, и фактически график YAML не меняется. Distiller обнаруживает наличие слоев нормализации партии и автоматически настраивает их параметры.

Давайте посмотрим на другой пример с несерийными зависимостями данных. Здесь выходные данные conv1 являются входными данными для conv2 и conv3 .Это пример параллельной зависимости данных, так как conv2 и conv3 зависят от conv1 .

Обратите внимание, что расписание YAML Distiller не отличается от предыдущих двух примеров, поскольку мы все еще только явно сокращаем весовые фильтры conv1 . Весовые каналы conv2 и conv3 неявно обрезаются Distiller в процессе, называемом «Разреживание» (о котором я расскажу в другом посте).

Далее, давайте посмотрим на другой пример, также включающий три Свертки, но на этот раз мы хотим сократить фильтры двух сверточных слоев, выходные данные которых поэлементно суммируются и подаются в третью Свертывание.В этом примере conv3 зависит как от conv1 , так и от conv2 , и эта зависимость имеет два значения. Первый и более очевидный вывод заключается в том, что нам необходимо сократить одинаковое количество фильтров как из conv1 , так и conv2 . Поскольку мы применяем поэлементное сложение для выходов conv1 и conv2 , они должны иметь одинаковую форму — и они могут иметь одинаковую форму, только если conv1 и conv2 сокращают одинаковое количество фильтров.Второе следствие этой треугольной зависимости данных состоит в том, что и conv1 и conv2 должны обрезать одинаковых фильтров ! Давайте на минутку представим, что мы игнорируем это второе ограничение. Диаграмма ниже иллюстрирует возникающую дилемму: как мы должны сократить каналы с весами conv3 ? Очевидно, мы не можем.

Мы должны применить второе ограничение — и это означает, что теперь мы должны быть активными: нам нужно решить, использовать ли чернослив conv1 и conv2 в соответствии с вариантами отсечения фильтра conv1 или conv2 .Диаграмма ниже иллюстрирует схему сокращения после принятия решения следовать выбору conv1 .

Синтаксис расписания сжатия YAML должен быть в состоянии выразить две зависимости (или ограничения), обсужденные выше. Для начала нам нужно сказать Filter Pruner, что у нас есть зависимость типа Leader . Это означает, что все тензоры, перечисленные в поле весов , сокращаются вместе, в одинаковой степени на каждой итерации, и что для сокращения фильтров мы будем использовать решения сокращения первого перечисленного тензора.В приведенном ниже примере module.conv1.weight и module.conv2.weight сокращаются вместе в соответствии с вариантами сокращения для module.conv1.weight .

  секаторов:
  example_pruner:
    класс: L1RankedStructureParameterPruner_AGP
    начальная_спарсность: 0,10
    final_sparsity: 0,50
    group_type: фильтры
    group_dependency: Лидер
    весовые коэффициенты: [module.conv1.weight, module.conv2.weight]
  

Когда мы обращаемся к ResNets с фильтрацией, мы видим довольно длинные цепочки зависимостей из-за пропусков соединений.Если вы не обращаете внимания, вы можете легко недооценить (или неправильно указать) цепочки зависимостей, и Distiller завершит работу с исключением. Исключение не объясняет ошибку спецификации, и ее необходимо исправить.

Обрезка каналов

Сокращение каналов очень похоже на удаление фильтров со всеми деталями зависимостей, обращенными вспять. Посмотрите еще раз на пример № 1, но на этот раз представьте, что мы изменили наше расписание, чтобы сократить каналов из module.conv2.вес .

  секаторов:
  example_pruner:
    класс: L1RankedStructureParameterPruner_AGP
    начальная_спарсность: 0,10
    final_sparsity: 0,50
    group_type: каналы
    весовые коэффициенты: [module.conv2.weight]
  

Как показано на диаграмме, conv1 теперь зависит от conv2 , и его весовые фильтры будут неявно сокращены в соответствии с каналами, удаленными из весов conv2 .

Geek On.

,

обрезка - όγγλοελληνικό Λεξικό WordReference.com

ςρόσφατες αναζητήσεις:

От глагола чернослив : (⇒ сопряженное) обрезка - это: lickНажмите инфинитив, чтобы увидеть все доступные наклоны v pres p глагол , настоящее причастие : -ing глагол используется для описания или для формирования прогрессивного глагол - например, « поющая птица», «это поющий »." WordReference Английский-Греческий словарь © 2020: Κύριες μεταφράσεις обрезка n существительное : Относится к человеку, месту, предмету, качеству и т. Д. (обрезка растений) κλάδεμα ουσ ουδ ου ό έ ά ρ ε ε ε 32 32 32 32 32 32 32 32 32 32 32 32 32σ 32 γένους. Садовник делал ежедневную обрезку. обрезка n существительное : Относится к человеку, месту, предмету, качеству и т. Д. фигуративно (удаление лишних) ( мкм ) ок. сомнительно ουδέτερο : Αναφέρεται σε πρόσωπο, ζώο ή πράγμα ουδέτερου γένους. человек человек человек человек: ,ναφέρεται σε πρόσωπο, ζώο ή πράγμα ύέου. В компании слишком много сотрудников, и она нуждается в обрезке. WordReference Английский-Греческий словарь © 2020: Κύριες μεταφράσεις чернослив п существительное : Относится к человеку, место, вещь, качество и т.д. (сушеные сливы) ξερό δαμάσκηνο, ξηρό δαμάσκηνο, αποξηραμένο δαμάσκηνο φρ ως ουσ ουδ φράση ως ουσιαστικό ουδέτερο : Σύνολο λέξεων που αναφέρεται σε πρόσωπο, ήο ή πράγμα ουδέτερου γένους, π.χ. ανώτατο εκπαιδευτικό ίδρυμα, απολυτήριο λυκείου 9008 κλπ. Говорят, что чернослив оказывает слабительное действие. έα ξερά δαμάσκηνα λέγεται πως έχουν καθαρτικές ιδιότητες. чернослив [sth] ⇒ vtr переходный глагол : глагол, принимающий прямой объект - например, « Скажи что-то». «Она нашла кота». (рубить дерево, кустарник и др.) κλαδεύω ρ μ ρήμα μεταβατικό : Συνδυάζεται πάντα με αντικείμενο, π.χ. θέλω ήνα μήλο , αγαπάω τα παιδιά μου κλπ. Сьюзен всегда подрезает свои живые изгороди осенью. ⓘ Αυτή η πρόταση δεν είναι μετάφραση της αγγλικής πρότασης. Ποια είναι η καλύτερη εποχή για να κλαδέψω τις μηλιές; μπιπλέον μεταφράσεις чернослив [sth] vtr переходный глагол : глагол, берущий прямой объект - например, « Скажи что-то.«Она нашла кота». фигуративный (уменьшить, обрезать) περικόπτω ρ μ παιδιά μου κλπ. κάνω περικοπές σε κτ περίφρ περίφραση : Συνδυασμός λέξεων που αποδίδει το νόημα του μεταφραζόμενου όρου, ο οποίος στον λόγο μπορεί να τροποποιηθεί κατάλληλα, π.χ. από την Αθήνα, που ακολουθεί κλπ. микросхемы микроконтроллера микросхемы : синонимы, микросхемы, π.χ. θέλω ήνα μήλο , αγαπάω τα παιδιά μου κλπ. Бизнес плохой; мы собираемся обрезать персонал. WordReference Англо-греческий словарь © 2020: Описание: обрезка | чернослив садовые ножницы НПЛ множественное число существительное : существительное всегда используется во множественном числе - например, «джинсы», ножницы."(Садовый инструмент для резки ветвей) ψαλίδι κλαδέματος φρ ως ουσ ουδ φράση ως ουσιαστικό ουδέτερο : Σύνολο λέξεων που αναφέρεται σε πρόσωπο, ζώο ή πράγμα ουδέτερου γένους, π.χ. ανώτατο εκπαιδευτικό ίδρυμα, απολυτήριο λυκείου κλπ. Я использовал обрезку, чтобы обрезать куст роз. 900 όρος ' обрезка ' βρέθηκε επίσης στις εγγραφές: Στην αγγλική περιγραφή:

No related posts.