概述
人工神经网络，简称 神经网络，neural network，缩写nn，是一种模仿生物神经网络的结构和功能的计算模型
可以简单的认为：多层感知机 加上 激活函数，就是神经网络
感知机，也称 神经元
全连接神经网络
下图这种，隐藏层 中包含多层神经元，每一层 的 每个神经元 都与 下一层 的 每个神经元 相连，所以就称之为 全连接神经网络
注意：
输入层不是感知机
为什么叫隐层
在训练中，只能看到 输入值 和 输出值，中间神经元（上图红框处） 的 输出值，是看不到的，所以将中间这部分称之为 隐层
分类
一般分为：
- 基础神经网络
- 进阶神经网络
- 深度神经网络 ：深度 指的是有 很多层 感知机，如：卷积神经网络、循环神经网络
特点
- 每个连接都有 权重
- 同一层 神经元之间 没有连接
- 由 输入层、隐层、输出层 组成
- 输出层 与 前一层 的 所有神经元连接，即：全连接
- 最后一层，有多少个神经元，就有多少个输出
激活函数
https://www.malaoshi.top/show_1EF3rzCm0GFL.html
总结
神经网络的组成：
- 感知机（神经元）：权重，偏置量
- 激活函数，activity rule：处理 线性不可分 问题
- 学习规则，learning rule，学习规则制定了网络中的 权重 如何随着时间推进而调整。（反向传播算法）