深度學習筆記
AI>ML>DL AI： Neural Network→DL的祖先 Fuzzy Theory：有程度的變數 Genetic Algorithm：由Evolution(演化) Algorithm而來 量子電腦Quantum Computer：縮小AI體積、加快運算速度 ML學習法： 監督 Supervised learning(最常用)：分類、迴歸 非監督Unsupervised learning：聚類 半監督Semi-Supervised learning：少量資料已label 增強 Reinforcement learning：獎賞機制、評估(有交互作用、需有高階設備)，用於分類 轉移 Transfer learning：轉移某個已經學好的參數到一個新的模型上使用，用於資料集較少的。 BPNN ，1985年，是multilayer perceptron架構(全連接)+Backpropagation Learning Algorithm(為監督式)，可用於非線性分類處理。傳統BP一個神經元只能分2類。 傳統NN/DL： DNN 深度學習(Deep Neural Networks)：多層NN 全連結Fully Conected 有很多權重值/參數要訓練 就是有很多隱藏層的BPNN CNN 捲積(Convolutional Neural Networks)：抽特徵 Convolution捲積： neighborhood processing 特徵抽取，公式: R=g*f =ΣΣg(i,j)*f(x+i,y+j)，g:filter、f:原始訊號。 包含 Convolution 層(feature Extraction)、[ Pooling ](feature Selection)、 Fully connected 層(Classification)，前兩層目的在於 降維 。 例如：LeNet5、AlexNet、GoogleNet...... AlexNet ：5個捲積產生 feature map ，每個捲積層之後都有一個ReLu非線性啟動層完成非線性轉換。3個池化有 max pooling 和 Average pooling 降低特徵圖的解析度。3個全連接，最後有softmax歸一化指數層(分類機率)。 RNN ( Recurrent Neural Netw