Kitobni o'qish: «Сверточные нейросети»

Предисловие

Добро пожаловать в мир сверточных нейронных сетей (CNN), одну из самых захватывающих и динамично развивающихся областей искусственного интеллекта и машинного обучения. В этой книге мы постараемся шаг за шагом раскрыть секреты этой технологии, от основ до самых современных и сложных подходов. В последние годы CNN сыграли ключевую роль в прорывах в таких областях, как распознавание изображений, обнаружение объектов и даже генерация нового контента. Независимо от того, являетесь ли вы новичком в этой области или опытным исследователем, эта книга предназначена для того, чтобы помочь вам понять принципы и возможности сверточных сетей, а также научить применять их на практике.

Сверточные нейронные сети изменили ландшафт машинного обучения и стали фундаментом многих современных приложений, от автономных транспортных средств до медицинской диагностики и прогнозирования климатических изменений. Интерес к этой области продолжает расти благодаря её высокой эффективности и универсальности.

Однако с ростом возможностей растет и сложность. В мире глубокого обучения существует множество техник и архитектур, каждая из которых имеет свои преимущества и особенности. Наша цель – провести вас через этот сложный лабиринт, помогая понять не только как использовать CNN, но и почему они работают именно так.

Мы начнем с основ, чтобы заложить прочную теоретическую базу, затем перейдем к более продвинутым темам, таким как различные архитектуры CNN, методы регуляризации и нормализации, а также применению этих сетей в реальных задачах. Вы также узнаете о лучших практиках подготовки данных и настройки гиперпараметров, чтобы ваши модели работали максимально эффективно.

В конце концов, понимание и использование CNN потребует усилий, но награда – способность решать сложные задачи и создавать инновационные решения – стоит того. Приготовьтесь к увлекательному путешествию в мир сверточных нейронных сетей!

Введение в глубокое обучение

Глубокое обучение – это подмножество машинного обучения, которое стремительно развивается и становится всё более важным в различных областях науки и промышленности. Основной принцип глубокого обучения заключается в использовании многослойных нейронных сетей для обучения моделей на больших объемах данных. Эти сети способны извлекать иерархические представления данных, что позволяет им решать сложные задачи, такие как распознавание образов, обработка естественного языка и многие другие.

Одним из ключевых компонентов глубокого обучения являются нейронные сети – алгоритмы, вдохновленные структурой и функционированием человеческого мозга. Нейронные сети состоят из множества простых элементов – нейронов, которые работают вместе для обработки информации. Глубокие нейронные сети, состоящие из множества слоев, называются глубокими, и именно они позволили достичь впечатляющих результатов в таких областях, как компьютерное зрение, обработка речи и робототехника.

Глубокое обучение обладает рядом преимуществ перед традиционными методами машинного обучения:

Автоматическое извлечение признаков: Вместо ручного выбора признаков, глубокие сети могут автоматически извлекать наиболее важные признаки из данных, что особенно полезно для сложных задач.

2. Устойчивость к шуму: Глубокие модели могут быть более устойчивыми к шуму и незначительным изменениям в данных, что делает их более надежными в реальных приложениях.

3. Масштабируемость: Глубокие нейронные сети хорошо масштабируются на больших объемах данных и могут быть обучены на современных вычислительных кластерах с использованием GPU и TPU.

Краткая история сверточных нейронных сетей

Сверточные нейронные сети имеют долгую и интересную историю, которая началась с простых идей и привела к значительным достижениям в области искусственного интеллекта.

1. 1980-е годы: Одним из первых шагов в развитии CNN стало введение концепции неокогнитрона, предложенной Кунихико Фукусима в 1980 году. Неокогнитрон был вдохновлен работами Хьюбела и Визела, которые изучали работу зрительной системы кошек и выявили иерархическую структуру обработки визуальной информации.

2. 1990-е годы: В 1998 году Ян Лекун и его коллеги разработали LeNet-5, одну из первых успешных архитектур CNN. LeNet-5 была использована для распознавания рукописных цифр и продемонстрировала высокую точность, что стало важным шагом вперед в развитии этой технологии. Эта сеть состояла из нескольких слоев свертки и пулинга, за которыми следовали полносвязные слои.

3. 2000-е годы: В начале 2000-х годов развитие вычислительных мощностей и доступность больших объемов данных привели к росту интереса к глубокому обучению и CNN. В 2012 году команда, возглавляемая Джеффри Хинтоном, представила AlexNet – архитектуру CNN, которая значительно улучшила результаты в задаче распознавания изображений на конкурсе ImageNet. Это событие ознаменовало начало "золотого века" глубокого обучения. AlexNet использовала глубокую архитектуру с восемью слоями, включая слои свертки и полносвязные слои, и стала первой моделью, использующей GPU для ускорения вычислений.

4. Современные достижения: В последующие годы были разработаны такие архитектуры, как VGG, GoogLeNet, ResNet и многие другие. Эти сети показали выдающиеся результаты в различных задачах компьютерного зрения и вдохновили на дальнейшие исследования и развитие технологий глубокого обучения. Например, VGGNet упростила архитектуру, используя последовательные слои свертки с маленькими ядрами, а ResNet ввела концепцию остаточных связей, позволяющих строить очень глубокие сети.

Сегодня сверточные нейронные сети продолжают развиваться, находя новые области применения и решая все более сложные задачи. Современные архитектуры, такие как EfficientNet, достигают невероятной эффективности за счет оптимизации структуры сети. Прогресс в области автоматического машинного обучения (AutoML) позволяет создавать архитектуры CNN, адаптированные для конкретных задач.

Эта книга предназначена для того, чтобы помочь вам понять, как работают CNN, какие возможности они предоставляют и как вы можете использовать их для решения своих задач. Погружаясь в мир сверточных нейронных сетей, вы узнаете не только о фундаментальных принципах их работы, но и о передовых методах, которые позволят вам оставаться на передовой линии исследований и разработки в этой области.

Глава 1. Основные концепции и архитектура CNN

– Нейронные сети и их компоненты

– Развитие архитектуры CNN

– Ключевые элементы: свертка, активация, пулинг, нормализация

Нейронные сети и их компоненты

Нейронные сети – это модели машинного обучения, вдохновленные структурой и работой человеческого мозга. Они состоят из множества простых вычислительных элементов – нейронов, которые соединены между собой и работают совместно для обработки информации. Основные компоненты нейронных сетей включают:

Нейрон (перцептрон)

Нейрон, или перцептрон, является основным строительным блоком нейронной сети. Он работает следующим образом:

1. Входные сигналы: Нейрон получает несколько входных сигналов, каждый из которых имеет соответствующий весовой коэффициент. Входные сигналы могут представлять собой значения пикселей изображения, признаки текста или любые другие данные.

2. Суммирование: Входные сигналы взвешиваются и суммируются. К этой сумме добавляется смещение (bias), которое помогает модели лучше адаптироваться к данным.

3. Активация: Применяется функция активации, которая добавляет нелинейность в модель и позволяет сети учить сложные зависимости.

4. Выход: Итоговое значение передается дальше по сети или используется как итоговый результат.

Пример

Рассмотрим пример перцептрона, который классифицирует, является ли пиксель изображения черным или белым на основе интенсивности его серого цвета.

1. Входные сигналы: Представьте, что у нас есть изображение размером 3x3 пикселя. Каждый пиксель имеет значение интенсивности от 0 (черный) до 255 (белый). Пусть эти значения будут: 45, 70, 120, 80, 200, 150, 30, 60, 90.

2. Суммирование: Каждый пиксель умножается на свой весовой коэффициент. Например, весовые коэффициенты могут быть установлены случайным образом перед обучением: 0.2, -0.3, 0.4, 0.1, -0.5, 0.7, 0.3, -0.6, 0.9. Нейрон также имеет смещение (bias), допустим, 1.0. Суммирование происходит следующим образом:

сумма = (45 \times 0.2) + (70 \times -0.3) + (120 \times 0.4) + (80 \times 0.1) + (200 \times -0.5) + (150 \times 0.7) + (30 \times 0.3) + (60 \times -0.6) + (90 \times 0.9) + bias

3. Активация: Предположим, что используется функция активации ReLU. Если результат суммирования больше нуля, то выходное значение будет равно этому результату; если меньше или равно нулю, то выходное значение будет равно нулю.

4. Выход: Выходное значение перцептрона передается дальше по сети. В данном случае, если значение выше определенного порога, нейрон может классифицировать пиксель как белый, иначе как черный.

Этот простой пример иллюстрирует, как перцептрон обрабатывает входные сигналы, применяет веса и смещение, использует функцию активации и производит выходное значение, которое может быть использовано для дальнейшей обработки или принятия решений в рамках более сложной нейронной сети.

Входной слой

Входной слой нейронной сети – это первый слой, который принимает исходные данные и готовит их для последующей обработки. Этот слой выполняет роль интерфейса между сырыми данными и последующими вычислительными слоями нейронной сети. Основная задача входного слоя заключается в том, чтобы правильно представить данные для дальнейшего анализа и обработки.

Работа с изображениями

Для обработки изображений входной слой принимает значения пикселей, которые могут быть в диапазоне от 0 до 255 для черно-белых изображений или от 0 до 1, если пиксели нормализованы. Например, для цветного изображения формата RGB каждый пиксель представлен тремя значениями – интенсивностями красного, зеленого и синего цветов. Если изображение размером 28x28 пикселей, как в наборе данных MNIST, то входной слой будет состоять из 784 нейронов (28x28). Эти значения пикселей подаются на вход сети и передаются в следующий слой для дальнейшей обработки.

Работа с текстовыми данными

Для текстовых данных входной слой может принимать числовые представления слов, такие как векторные представления (например, word embeddings). Векторы слов преобразуют текстовые данные в числовые значения, которые можно использовать в нейронной сети. Один из популярных способов представления текстовых данных – это использование предобученных эмбеддингов, таких как Word2Vec или GloVe. Эти эмбеддинги преобразуют каждое слово в текстовом корпусе в многомерный вектор, где каждое измерение отражает определенный аспект значения слова. Входной слой нейронной сети принимает эти векторы и передает их дальше по сети.

Пример: Обработка временных рядов

Для временных рядов, таких как финансовые данные или данные датчиков, входной слой принимает последовательность числовых значений, представляющих изменения параметра во времени. В таких случаях данные часто нормализуются или стандартизируются перед подачей в сеть, чтобы улучшить качество обучения. Входной слой принимает эту последовательность и передает её в следующий слой, который может быть рекуррентным или сверточным, в зависимости от архитектуры сети.

Важность правильной подготовки данных

Корректная подготовка данных и их подача во входной слой играют критически важную роль в эффективности нейронной сети. Неправильное представление данных может привести к ухудшению качества модели и её способности учить зависимости. Входной слой должен быть тщательно спроектирован, чтобы правильно интерпретировать и передавать данные. Это включает нормализацию данных, устранение шума и учет специфики задачи.

Входной слой нейронной сети служит мостом между сырыми данными и глубинными слоями модели. Хотя он сам не выполняет вычислений, его правильная настройка и подготовка данных критически важны для успешного обучения и работы нейронной сети. Этот слой обеспечивает, чтобы исходные данные были правильно интерпретированы и подготовлены для дальнейшего анализа, что является первым шагом на пути к созданию эффективной и точной модели машинного обучения.

Скрытые слои

Скрытые слои являются ключевым компонентом нейронной сети, выполняя основную часть вычислений и извлекая сложные паттерны из входных данных. Они расположены между входным и выходным слоями и обеспечивают нейронной сети способность обучаться и делать прогнозы на основе входных данных. Вот более подробное описание основных характеристик скрытых слоев:

Количество слоев

Количество скрытых слоев определяет глубину нейронной сети. Чем больше скрытых слоев, тем более глубокая и сложная модель может быть создана. Глубокие нейронные сети способны изучать более абстрактные и сложные зависимости в данных, что может привести к улучшению качества предсказаний. Однако увеличение количества слоев также может привести к усложнению обучения и увеличению времени вычислений.

Число нейронов в каждом слое

Число нейронов в каждом скрытом слое определяет количество вычислительных элементов, обрабатывающих информацию на каждом этапе. Большее количество нейронов может увеличить выразительную мощность модели, позволяя ей изучать более сложные зависимости в данных. Однако слишком большое количество нейронов может привести к переобучению, когда модель слишком хорошо подстраивается под тренировочные данные и теряет обобщающую способность.

Типы слоев

В различных архитектурах нейронных сетей могут использоваться разные типы скрытых слоев, в зависимости от типа задачи и требуемой специфики модели. Например, для обработки изображений часто используются сверточные слои, которые хорошо работают с пространственными шаблонами в данных. Для обработки последовательных данных, таких как тексты или временные ряды, могут использоваться рекуррентные слои, способные учитывать контекст и последовательность данных.

Скрытые слои играют решающую роль в способности нейронной сети извлекать и анализировать сложные зависимости в данных. Их правильный выбор и конфигурация существенно влияют на производительность и эффективность модели, поэтому важно тщательно разрабатывать и настраивать архитектуру нейронной сети в соответствии с конкретной задачей и особенностями данных.

Пример

Представим нейронную сеть для классификации изображений с использованием сверточных слоев. В этом примере мы создадим модель для распознавания рукописных цифр из набора данных MNIST. Наша нейронная сеть будет состоять из нескольких сверточных слоев, пулинговых слоев для уменьшения размерности, а также полносвязных слоев для финальной классификации.

Входной слой: На вход подается изображение размером 28x28 пикселей, представленное в виде двумерного массива пикселей.

Сверточные слои: Первый сверточный слой применяет несколько фильтров к входному изображению для извлечения различных признаков, таких как грани и текстуры. Например, мы можем использовать 32 фильтра размером 3x3 пикселя, чтобы преобразовать изображение в новое представление, выделяя его ключевые черты. Затем применяется функция активации ReLU для добавления нелинейности.

Пулинговые слои: После каждого сверточного слоя следует пулинговый слой, который уменьшает размерность представления, сохраняя важные признаки. Например, мы можем использовать слой субдискретизации (MaxPooling), который выбирает максимальное значение из каждой области размером 2x2 пикселя.

Полносвязные слои: После нескольких сверточных и пулинговых слоев данные преобразуются в вектор и подаются на вход полносвязным слоям. Эти слои работают как классические нейронные слои, принимая вектор признаков и преобразуя его в вероятности принадлежности к каждому классу (от 0 до 9 для цифр).

Выходной слой: Финальный полносвязный слой содержит 10 нейронов, каждый из которых представляет вероятность принадлежности к одной из 10 цифр (от 0 до 9). Мы используем функцию активации Softmax, чтобы преобразовать выходы нейронов в вероятности и выбрать класс с наибольшей вероятностью как итоговый вывод модели.

Такая архитектура нейронной сети позволяет модели изучать сложные зависимости в изображениях и делать точные предсказания о классе объекта. Обучение такой модели требует большого объема данных и вычислительных ресурсов, но может привести к высокой точности классификации на тестовых данных.

Выходной слой

Выходной слой является последним компонентом нейронной сети и играет решающую роль в формировании итогового вывода модели. Его структура и функция зависят от типа задачи, которую решает нейронная сеть. Вот более подробное описание основных характеристик выходного слоя:

Форма выхода

Форма выхода выходного слоя зависит от задачи, которую решает нейронная сеть. Например, для задачи классификации выходной слой содержит по одному нейрону для каждого класса в задаче. Это означает, что если у нас есть 10 классов (например, цифры от 0 до 9), то выходной слой будет содержать 10 нейронов. Для задачи регрессии выходной слой может содержать один нейрон для предсказания непрерывного значения.

Функция активации

Функция активации выходного слоя также зависит от типа задачи. Для задачи классификации обычно используется функция Softmax, которая преобразует выходы нейронов в вероятности принадлежности к каждому классу. Это позволяет модели делать уверенные прогнозы и выбирать наиболее вероятный класс. Для задачи регрессии может использоваться линейная функция активации или другая подходящая функция для предсказания непрерывных значений.

Примеры использования

Для лучшего понимания рассмотрим два примера:

1. Классификация изображений: Предположим, у нас есть нейронная сеть для классификации изображений на 10 классов (цифры от 0 до 9). Выходной слой будет содержать 10 нейронов, каждый из которых представляет вероятность принадлежности к одному из классов. Функция Softmax преобразует выходы этих нейронов в вероятности, суммирующиеся до 1.

2. Регрессия цен на жилье: Если мы хотим предсказать цены на жилье на основе различных признаков, выходной слой может содержать один нейрон с линейной функцией активации. Этот нейрон выдаст предсказанную цену на основе входных данных, и модель будет обучаться минимизировать ошибку между предсказанными и реальными значениями.

Выходной слой нейронной сети играет ключевую роль в формировании итогового решения модели и определяет форму и тип вывода в зависимости от конкретной задачи. Его правильная конфигурация и выбор функции активации критически важны для достижения высокой производительности и точности модели.

Весовые коэффициенты

Весовые коэффициенты являются фундаментальными параметрами нейронной сети, определяющими силу связи между нейронами и влияющими на её способность к обучению и прогнозированию. Вот более подробное описание основных аспектов весов:

Инициализация

Перед началом обучения веса нейронной сети обычно инициализируются случайным образом. Это важный шаг, поскольку правильная инициализация весов может существенно влиять на процесс обучения и качество итоговой модели. Различные методы инициализации могут применяться в зависимости от архитектуры сети и характера данных.

Обучение

В процессе обучения нейронной сети веса настраиваются с использованием алгоритмов оптимизации, таких как градиентный спуск. Цель состоит в том, чтобы минимизировать ошибку модели на тренировочных данных путем корректировки весов. Этот процесс требует множества итераций, во время которых модель постепенно улучшает свои предсказания и приближается к оптимальным значениям весов.

Обновление

Обновление весов происходит на основе градиентов функции ошибки по отношению к каждому весу. Это означает, что веса корректируются пропорционально их влиянию на общую ошибку модели. Веса, которые имеют большое влияние на ошибку, будут корректироваться сильнее, в то время как веса, которые имеют меньшее влияние, будут корректироваться слабее. Этот процесс позволяет нейронной сети постепенно улучшать свои предсказания и адаптироваться к изменениям в данных.

Весовые коэффициенты играют ключевую роль в обучении нейронных сетей, определяя их способность к адаптации и обобщению. Правильное управление весами важно для достижения высокой производительности и точности модели, поэтому их инициализация, обучение и обновление должны проводиться тщательно и в соответствии с характеристиками конкретной задачи и данных.

Допустим, у нас есть нейронная сеть для распознавания рукописных цифр из набора данных MNIST. Этот пример поможет проиллюстрировать роль весовых коэффициентов в обучении нейронной сети.

Набор данных MNIST (Modified National Institute of Standards and Technology) представляет собой фундаментальный ресурс в области машинного обучения и компьютерного зрения. Состоящий из 70 000 изображений рукописных цифр, он является стандартом для оценки и разработки алгоритмов классификации. Этот набор данных включает в себя две основные части: 60 000 изображений, предназначенных для обучения модели, и 10 000 изображений для тестирования. Каждое изображение представляет собой черно-белое изображение размером 28x28 пикселей.

Каждая цифра, от 0 до 9, представлена как метка класса, что делает набор данных идеальным для задачи многоклассовой классификации. Это позволяет модели обучаться распознавать и различать различные цифры на изображениях. Изображения содержат значения интенсивности пикселей, которые варьируются от 0 до 255. Этот формат предоставляет яркость каждого пикселя, где 0 представляет черный цвет, а 255 – белый.

Набор данных MNIST играет ключевую роль в обучении и оценке моделей машинного обучения, особенно в области обработки изображений и распознавания образов. Его относительная простота и ясность делают его популярным выбором для учебных и исследовательских проектов. Этот набор данных обеспечивает стандартную базу для сравнения производительности различных методов классификации и оценки точности моделей.

1. Инициализация весов: Перед началом обучения каждый весовой коэффициент инициализируется случайным образом, например, из распределения Гаусса с нулевым средним и небольшой дисперсией. Это делается для того, чтобы изначально модель была способна обучаться и исследовать пространство параметров.

2. Обучение сети: В процессе обучения сети каждый вес настраивается с использованием алгоритма обратного распространения ошибки. Нейронная сеть предсказывает класс каждой цифры на основе входных изображений, а затем сравнивает эти предсказания с фактическими метками изображений. По мере обратного прохода через сеть вычисляются градиенты функции потерь по отношению к каждому весу.

3. Обновление весов: Веса обновляются в направлении, обратном градиенту функции потерь. Это означает, что веса, которые вносят больший вклад в ошибку модели, будут корректироваться сильнее. Процесс обновления весов повторяется для каждого примера из обучающего набора данных и повторяется многократно в течение нескольких эпох, пока модель не достигнет приемлемого уровня точности на валидационном наборе данных.

4. Результаты обучения: После завершения обучения весовые коэффициенты нейронной сети становятся оптимизированными для данной задачи. Теперь модель может принимать новые, ранее не виденные данные и делать предсказания с высокой точностью, распознавая рукописные цифры с высокой точностью.

Этот пример демонстрирует, как весовые коэффициенты нейронной сети настраиваются в процессе обучения, чтобы модель могла делать точные предсказания на основе входных данных.

Пример кода на Python с использованием библиотеки PyTorch для создания и обучения простой нейронной сети для классификации изображений рукописных цифр из набора данных MNIST:

```python

import torch

import torch.nn as nn

import torch.optim as optim

import torchvision

import torchvision.transforms as transforms

# Загрузка данных MNIST и предобработка

transform = transforms.Compose([

transforms.ToTensor(),

transforms.Normalize((0.5,), (0.5,))

])

train_set = torchvision.datasets.MNIST(root='./data', train=True, download=True, transform=transform)

train_loader = torch.utils.data.DataLoader(train_set, batch_size=64, shuffle=True)

# Определение архитектуры нейронной сети

class SimpleNN(nn.Module):

def __init__(self):

super(SimpleNN, self).__init__()

self.fc1 = nn.Linear(28*28, 128)

self.fc2 = nn.Linear(128, 64)

self.fc3 = nn.Linear(64, 10)

def forward(self, x):

x = torch.flatten(x, 1)

x = torch.relu(self.fc1(x))

x = torch.relu(self.fc2(x))

x = self.fc3(x)

return x

# Создание экземпляра модели

model = SimpleNN()

# Определение функции потерь и оптимизатора

criterion = nn.CrossEntropyLoss()

optimizer = optim.Adam(model.parameters(), lr=0.001)

# Обучение модели

num_epochs = 5

for epoch in range(num_epochs):

running_loss = 0.0

for i, data in enumerate(train_loader, 0):

inputs, labels = data

optimizer.zero_grad()

outputs = model(inputs)

loss = criterion(outputs, labels)

loss.backward()

optimizer.step()

running_loss += loss.item()

if (i+1) % 100 == 0:

print(f'Epoch {epoch+1}, Iteration {i+1}, Loss: {running_loss/100:.4f}')

running_loss = 0.0

print('Finished Training')

# Сохранение модели

torch.save(model.state_dict(), 'mnist_model.pth')

```

Этот код создает и обучает простую полносвязную нейронную сеть для классификации изображений MNIST. В ней используются три полносвязных слоя, функции активации ReLU и функция потерь CrossEntropyLoss. Модель обучается в течение нескольких эпох с использованием оптимизатора Adam. По завершении обучения модель сохраняется в файл ‘mnist_model.pth'.

Функции активации

Функции активации играют важную роль в работе нейронных сетей, добавляя нелинейность в модель и позволяя ей учить сложные зависимости в данных. Вот более подробное описание основных функций активации:

1. ReLU (Rectified Linear Unit): Это одна из самых популярных функций активации, которая заменяет все отрицательные значения на ноль, оставляя положительные значения без изменений. Это делает вычисления проще и ускоряет обучение модели. ReLU также помогает в предотвращении проблемы затухания градиента.

Пример использования ReLU в нейронной сети может быть следующим:

Допустим, у нас есть простая нейронная сеть для классификации изображений рукописных цифр. В этой сети мы можем использовать ReLU в качестве функции активации для скрытых слоев. Вот как это может выглядеть на практике:

```python

import torch

import torch.nn as nn

import torchvision.transforms as transforms

import torchvision.datasets as datasets

# Загрузка данных MNIST и предобработка

transform = transforms.Compose([

transforms.ToTensor(),

transforms.Normalize((0.5,), (0.5,))

])

train_set = datasets.MNIST(root='./data', train=True, download=True, transform=transform)

train_loader = torch.utils.data.DataLoader(train_set, batch_size=64, shuffle=True)

# Определение архитектуры нейронной сети с ReLU в скрытых слоях

class SimpleNN(nn.Module):

def __init__(self):

super(SimpleNN, self).__init__()

self.fc1 = nn.Linear(28*28, 128)

self.fc2 = nn.Linear(128, 64)

self.fc3 = nn.Linear(64, 10)

self.relu = nn.ReLU()

def forward(self, x):

x = torch.flatten(x, 1)

x = self.relu(self.fc1(x))

x = self.relu(self.fc2(x))

x = self.fc3(x)

return x

# Создание экземпляра модели

model = SimpleNN()

# Обучение модели и применение ReLU в скрытых слоях

```

В этом примере мы создаем нейронную сеть с тремя полносвязными слоями. После каждого полносвязного слоя мы применяем ReLU в качестве функции активации, чтобы добавить нелинейность и ускорить обучение модели. В итоге, мы используем ReLU для предотвращения затухания градиента и улучшения производительности нашей нейронной сети.

2. Sigmoid: Sigmoid-функция сжимает выходные значения в диапазон от 0 до 1, что делает её полезной для задач бинарной классификации, где нужно получить вероятность принадлежности к одному из двух классов. Однако у неё есть проблема затухания градиента, особенно при глубоких сетях.

Пример использования Sigmoid в нейронной сети для задачи бинарной классификации может быть следующим:

Допустим, у нас есть набор данных, содержащий изображения лиц, и мы хотим определить, принадлежит ли каждое лицо к классу "улыбающееся" или "неулыбающееся". В этом случае мы можем использовать нейронную сеть с одним выходным нейроном и функцией активации Sigmoid для предсказания вероятности улыбки.

```python

import torch

import torch.nn as nn

import torchvision.transforms as transforms

import torchvision.datasets as datasets

# Загрузка и предобработка данных

transform = transforms.Compose([

transforms.Resize((32, 32)),

transforms.ToTensor(),

transforms.Normalize((0.5,), (0.5,))

])

train_set = datasets.ImageFolder(root='./data/train', transform=transform)

train_loader = torch.utils.data.DataLoader(train_set, batch_size=64, shuffle=True)

# Определение архитектуры нейронной сети с Sigmoid в выходном слое

class SimpleNN(nn.Module):

def __init__(self):

super(SimpleNN, self).__init__()

self.fc1 = nn.Linear(32*32*3, 128)

self.fc2 = nn.Linear(128, 64)

self.fc3 = nn.Linear(64, 1)

self.sigmoid = nn.Sigmoid()

def forward(self, x):

x = torch.flatten(x, 1)

x = torch.relu(self.fc1(x))

x = torch.relu(self.fc2(x))

x = self.fc3(x)

x = self.sigmoid(x)

return x

# Создание экземпляра модели

model = SimpleNN()

# Обучение модели и применение Sigmoid в выходном слое

```

В этом примере мы создаем нейронную сеть с тремя полносвязными слоями. После двух скрытых слоев мы применяем ReLU в качестве функции активации, а в выходном слое – Sigmoid. Это позволяет нам получить вероятность того, что каждое изображение принадлежит классу "улыбающееся" (значение близкое к 1) или "неулыбающееся" (значение близкое к 0). Однако важно помнить о проблеме затухания градиента при использовании Sigmoid, особенно в глубоких сетях, что может затруднить обучение модели.

3. Tanh (гиперболический тангенс): Тангенс гиперболический функция также сжимает выходные значения, но в диапазон от -1 до 1. Это помогает ускорить обучение по сравнению с сигмоидальной функцией, так как выходные значения более центрированы относительно нуля.

Пример использования Tanh (гиперболического тангенса) в нейронной сети для предсказания значения некоторого непрерывного признака:

```python

import torch

import torch.nn as nn

import torchvision.transforms as transforms

import torchvision.datasets as datasets

# Загрузка и предобработка данных