第三堂課講的是淺層的深Neural Network，從圖片中你可以得知，b[1] shape 是(4,1)，4行row一行cloumn，而w[1]的shape是(4,3)，因為input有三個feature。
b[
b[
你可以知道z[1]的shape是(4,1)，就跟上面那張圖一樣。a[0]的shape是(3,1)因為三個input，然後寫成一個column~之後a[1]一共有四個球球，所以寫成(4,1)，而z[2]只有從一個球球(指(a[1])能轉換東西，但卻有四個input，所以寫成(1,4)，b[2]由於只有一個input又指有一顆球，就是(1,1)了，而這裡z[2]的意思就是第二層的z意思，把這邊用上面圖片的矩陣思考會比較容易。
這邊先跟你介紹怎用for來描述，由於有m個traning set ，所以這要寫成一個for loop，但若你寫成Matrix的形式，她就自動幫你處理好了，而且也比較快。
嫌上面字太醜就看下面的黑體字部分，解釋的詳細一點的話，z[1]包含m column ，然後寫成Matrix的形式。
tanh(x)的Activation function比sigmoid好，因為平均起來為0的關係，但是你可以在二元分類的問題上用sigmoid，而下面提到了Leaky ReLU，雖然更精準，不過老師說他很少用。
那我們要開始找最小值了，所以要找dw和db，和前面依樣用Gradient Descent
先做正向傳播，得到了z[1] ,A[1] ,Z[2] ,A[2]，之後再來找dw,db是什麼，這邊他會推倒，但很繁瑣，所以你也可以略過。
沒有留言:
張貼留言