Deep Learning на пальцах — Часть 1

Искусственный нейрон

Объединение нейронов в сеть

  • Если у вас стоит задача регрессии одной переменной, например, прогнозирование цены дома, тогда выходом сети является один нейрон без активации
  • Если у вас стоит задача бинарной классификации, тогда по-прежнему остается один нейрон с сигмоидальной активацией.
  • В случае, если у вас три и более классов, тогда количество выходных нейронов равно количеству классов. Где каждый нейрон будет отвечать за свой класс, а в качестве ответа будет выбран тот класс, активация чьего нейрона наибольшая. В данной постановке использовать активацию не принято, пока лучше принять это на веру, т.к. объяснение может выйти на целую главу :)

Тренировка сети

Функция ошибки (Loss)

  • 𝑀𝑆𝐸 — мы рассматривали ее выше, применяется для задач регрессии
  • 𝐵𝐶𝐸 — binary cross entropy применятся для задач бинарной классификации
  • 𝐶𝑟𝑜𝑠𝑠𝐸𝑛𝑡𝑟𝑜𝑝𝑦 — применяется для задач мульти классификации (когда классов больше двух)

Оптимизаторы

Минибатчи и эпохи

  • Во-первых, зачастую у нас нет возможности прогнать сразу всю выборку через нейронную сеть. Для этого у нас может попросту не хватить оперативной памяти.
  • Во-вторых, современные компьютеры еще не способны обрабатывать большое количество данных за один такт.
  • А так же умные математики за нас доказали, что таким образом сетки лучше учатся. Ребята математики явно умнее нас и им можно верить :D

Конец первой части

--

--

--

19th years old deep learning engineer from mother Russia 🇷🇺

Love podcasts or audiobooks? Learn on the go with our new app.

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store
Alexander Mamaev

Alexander Mamaev

19th years old deep learning engineer from mother Russia 🇷🇺

More from Medium

GANs in Medical Image Analysis: Part 2

Deep Learning for Sign Language Production and Recognition

Understanding GAN and how to Regularize GAN under Limited Data(Le Cam divergence)