2. 神经网络组件

• 2.1. 激活函数单元
  • 2.1.1. 什么是激活函数
  • 2.1.2. 为什么要有激活函数
  • 2.1.3. 经典激活函数分类
    • 恒等函数
    • tanh
    • Sigmoid
    • softplus
    • softsign
    • elu
    • relu
    • relu6
    • leaky relu
    • selu
    • crelu
    • Swish
  • 2.1.4. 新颖激活函数
• 2.2. 卷积单元
  • 2.2.1. 经典卷积运算
    • 经典二维卷积
    • 经典膨胀二维卷积运算
  • 2.2.2. 经典二维转置卷积运算
  • 2.2.3. 新型卷积
    • 平衡卷积
  • 2.2.4. 实验分析
    • 卷积与相关
      • 实验说明
      • 实验结果
• 2.3. 池化单元
  • 2.3.1. 经典二维池化运算
  • 2.3.2. 膨胀二维池化运算
  • 2.3.3. 金字塔池化
    • 空间金字塔池化
    • 金字塔场景池化
    • 扩张空间金字塔池化
• 2.4. 正则化单元
• 2.5. 跳跃连接
  • 2.5.1. 前向跳跃连接
    • 经典前向跳跃连接
      • 结构分析
      • 梯度传播分析
  • 2.5.2. 后向跳跃连接
    • 梯度传播
• 2.6. 递归单元
• 2.7. 残差单元
  • 2.7.1. 经典残差块分析
    • 残差块结构
    • 梯度传播分析
• 2.8. 参考文献