深度学习笔记

写在前面

最近大创要用深度学习，就看吴恩达的视频浅学了一下，记录一下自己的整理和想法。

logistic回归

二分类问题

求出预测值

可以简单的理解为，给你一个输入向量$x$，输出$P(y=1|x)$

训练参数:$w,b$

$$ \hat{y}=sigmoid(w^Tx+b) $$

这里的$sigmoid$是一个激活函数，有$sigmoid(x)=\frac{1}{1+e^{-x}}$使得$\hat{y}$在$(0,1)$间

损失函数

可以理解为输出值与实际值有多接近

$$ L(\hat{y},y)=-y\log(\hat{y})-(1-y)\log(1-\hat{y}) $$

梯度下降

对上式求导，更新$w,b$

$$ w=w−α∗\frac{dL}{dw} \\ b=b−α∗\frac{dL}{db} $$

这里的$\alpha$称为学习率

SoftMax

$$ Softmax(z_{i})=\frac{e^{z_{i}}}{\sum_{c = 1}^{C}{e^{z_{c}}}} $$

神经网络

基本结构

激活函数

一些优化

动量梯度下降法

$v_x = \beta v_{x-1}+(1-\beta)dx$

可以看成是$x$前面$\frac{1}{1-\beta}$项的平均数

RMSprop

Adam