Thứ Bảy, 29 tháng 12, 2018

Host load prediction with long short-term memory in cloud computing - Binbin Song· Yao Yu· Yu Zhou· Ziqiang Wang· Sidan Du


  • RNN

Thông số tải là một vector 1 chiều dạng time series (one-dimensional time series). Giả sử giá trị lịch sử tải trước đó là x = (xt-1, xt-2, . . . , xt-n) với n thường là rất lớn. Ta muốn dự đáon giá trị tải 
o = (xˆt+1, xˆt+2, . . . , xˆt+m)  trong đó m là số steps ở sau thời điểm hiện tại hoặc giá trị tải trung bình  o = (xˆt+1, xˆt+2, . . . , xˆt+m)/m của m steps. cạc đơn giản nhất là ta tìm 1 hàm ánh xạ (map function) f giữa lịch sử tải trước đó và giá trị trong tương lai (giá trị ta cần dự đoán):
(xˆt+1, xˆt+2, . . . , xˆt+m) = f (xt-1, xt-2, . . . , xt-n) 
Khi các giá trị lịch sử tải gần với giá trị hiện tại, mối quan hệ giữa các giá trị này sẽ lớn hơn, trong khi các giá trị lịch sử tải xa với giá trị hiện tại sẽ thường biểu diễn xu hướng và yếu tố này sẽ giúp cho việc dữ đoán. Do đó, để thiết lập 1 mapping function chính xác, ta phải cân nhắc đến cả hai yếu tố này. Ta gọi g1 là mapping function của các giá trị lịch sử tải gần và g2 là các giá trị lịch sử tải xa, gộp hai hàm này ta có hàm f' như dưới đây:
f (x; n) = f (g1(xt-1, xt-2, . . . , xt-k), g2(xt-(k+1), . . . , xt-n))  
Cách xây dựng mô hình này gần như tương đương với RNN khi mà các thông số U và W được sử dụng.
RNN lưu các trạng thái trước đó cho phép ta có thể sử dụng trong việc dự đoán tải. 
Tại mỗi thời điểm, mạng sẽ nhận input xt với khung cửa sổ cố định và tính toán hidden state st và output ot sử dụng biểu thức sau:
với U, W và V là các ma trận trọng số và σ là một activation function phi tuyến.

  • LSTM
Trong bài báo này, ta thay thế các hidden layer của RNN bằng các LSTM bkock để có thể học được long-term dependencies.

Thứ Năm, 27 tháng 12, 2018

[Machine learning] Hyperparameters vs parameters

Trong một mạng NN, ta có các thông số cần phải tìm để tối ưu mạng đó là W và b cho các layers.

Các thông số (paramters) mà tác động đến W và b được gọi là các hyperparameters, có thể liệt kê:
+ Learning rate alpha
+ Số lần iterations
+ Số hidden layers
+ Số units trong hidden layers
+ Hàm activation nào được chọn v.v.

Applied deep learning is a very empirical process - Andrew Ng

Nghĩa là trong các ứng dụng về DL, công việc chủ yếu của ta là đi tìm các hyper parameters, và tìm các tham số này phải giải quyết bằng thực nghiệm theo như sơ đồ dưới đây.
Ví dụ ta muốn tìm hyperparameter learning rate, khi đó ta phải thử với rất nhiều các giá trị alpha khác nhau và có thể cần vẽ hàm cost để thấy được tác động của learning rate lên quá trình convergence.

[Machine Learning] Deep neural network vs shallow neural network

Trong bài trước, khi ta nhắc đến shallow neural network, ta hiểu rằng đây là mạng nơ ron mà chỉ có một hoặc hai hidden layer, thực ra con số này là không định lượng, việc ta nói shallow và deep chỉ để phân biệt rằng hai kiến trúc mạng một kiến trúc sử dụng số lượng nhỏ và mạng còn lại sử dụng số lượng lớn hidden layer. Trái lại, trong deep neural network, số lượng hidden layer lớn hơn nhiều. Như đã nói ở trước, khi nói về số lớp của 1 mạng, ta sẽ bỏ qua input layer, do đó với hình dưới đây, logistic regression cũng có thể coi là một mạng neuron với chỉ 1 lớp.

Khi thực hiện tính toán forward propagation và back propagation trong Deep NN, ta cũng phải thực hiện tuần tự qua từng layer, ví dụ như với hình trên là 2 hidden layer, khi này ta sẽ phải lần lượt tính z1, a1, z2, a2 tương ứng với 2 hidden layer. 
Ta nên để ý và phân biệt rõ 2 khái niệm: hidden layer và layer của 1 mạng khi layer của 1 mạng được hiểu như là số lượng hidden layer cộng với 1 output layer.
Ngoài ta, ta sẽ có 1 vòng loop trong việc thực hiện FP và BP, ví dụ ta có n hidden layers, khi đó vòng loop của ta sẽ phải chạy qua n layer. Trái với việc tính toán trước đó ta có thể dùng vectorization, việc tính toán BP và FP không thể áp dụng vectorization và ta phải lặp qua từng layer để tính toán các giá trị W, b hay a, z.

Ngoài ra, ở layer input, ta nên chú ý rằng x1,x2,x3 chỉ là input feature của 1 sample, do đó khi có m samples, thì input vector sẽ là [mx3] với 3 là số feature của 1 input, mỗi hàng là 1 sample trong input vector.

Tiếp theo ta nói về size của các tham số trong 1 mạng Deep NN.
Giả sử ta có một Deep NN như hình dưới đây, khi đó, với mỗi layer, ta kí hiện n^[k] là số unit của layer đó, ví dụ với input layer, mỗi sample được biểu diễn bởi 2 feature, do đó n^[0] = 2, tương tự n^[1] = 3.
Các w và b của các layer có số chiều tổng quát là:
W[L] = n^[L]xn^[L-1].
Ví dụ W[2] = n^[2] x n^[1] = [5x3]
b là bias của các unit trong 1 layer, do đó nếu 1 layer có n^[L] units, thì chiều của b[L] = [n^[L] x 1]
Để tính BP, dw và db có cùng số chiều với w và b

Khi ta có 1 sample, chiều của z[L] hay a[L] là [n^[L] x 1]
Khi có m sample, chiều của z[L] hay a[L] là [n^[L] x m]

Thứ Tư, 26 tháng 12, 2018

[Machine Learning] Tại sao ta thường nên dùng tanh thay vì sigmoid khi chọn activation function?

Hai hàm sigmoid và tanh có cùng trend, tuy nhiên chúng lại có đặc tính khác nhau do đặc tính đồ thị, ta quan sát đồ thị hai hàm dưới đây.


Lí do hàm tanh tốt hơn hàm sigmoid đặc biệt là trong các ứng dụng về Big data bởi vì đạo hàm của hàm tanh thường luôn có giá trị lớn hơn đạo hàm của hàm sigmoid, do đó độ dốc của hàm tanh là lớn hơn, do đó hàm lost sẽ converge nhanh hơn. Sử dụng toán học, ta có thể chứng minh rằng.
tanhx=2σ(2x)−1
Và trong hầu hết các trường hợp, ta có thể chứng minh rằng.

Trong một số trường hợp đặc biệt, ta sẽ dùng sigmoid function thay vì hàm tanh, 
ví dụ như trong bàitoán binary classification, đầu ra chỉ là 0 và 1, khi này sigmoid 
sẽ là một lựa chọn hợp lý thay vì sử dụng tanh.

Thứ Ba, 25 tháng 12, 2018

[Machine Learning] Khởi tạo các thông số weights và bias trong Shallow Neural Network

Một mạng nơ ron nông (shallow) là một mạng có số hiddens layers là nhỏ.
Khi xây dựng một NN, một trong những điều đầu tiên ta cần làm là khởi tạo các giá trị w và b cho mạng. Ví dụ mạng dưới đây có 1 hidden layer, khi này, mỗi sample sẽ được biểu diễn bởi 2 features. Ví dụ x1 = [1x2], mà ta có z = x.wT + b và ta có 2 units ở hidden layer, do đó w1 = [2x2], và a = [1x2].[2x2] = [1x2]. Từ đó, w2 = [2x1] vì ta chỉ có 1 đầu ra [1x2].[2x1] = [1x1].
w1 = [2x2] : cột của ma trận là số unit trong hidden layer, hàng là số feature của input.
b1 = [2x1], vì ta muốn thêm bias vào các unit trong hidden layer, do đó ma trận này phải là cột.

w2 = [2x1]
b2 = [1x1]

Trong logistic regression, các tham số w và b ta có thể khởi tạo bằng 0, nhưng với neural network, việc khởi tạo các giá trị bằng 0 sẽ không hợp lý. Nếu ta thực hiện back-propagation, ta sẽ update các w như sau:
w = w - alpha.dJ/dw
dJ/dw đươc tính trong các bài trước là:
dJ/dw = x.(a-y) mà a = g(z) = g(wx + b) = g(b) vì w bằng 0 trên toàn mạng. Khi này dJ/dw = x(g(b) - y) sẽ giống nhau trên toàn mạng, khi thực hiện back-propagation, các unit là giống nhau do đó ta sẽ không thể thực hiện được deep learning khi mà ta muốn thực hiện rất nhiều hàm trên mạng.

Khi này, ta phải khởi tạo giá trị w một cách mặc định như hình dưới đây.


Lí do ta phải nhân giá trị sau khởi tạo với hằng số 0.01 mà không phải 10 hay 100, -100 ... là bởi vì nếu giá trị |w| lớn, khi đó giá trị z lớn, mà theo đồ thị hàm tanh như trên, nếu giá trị z lớn, slope của nó sẽ rất nhỏ do đó việc learning sẽ tốn rất nhiều thời gian, việc khởi tạo w này gọi là zero-centric initialization nghĩa là các giá trị w sẽ gần với giá trị 0 để đảm bảo slope lớn và việc thực hiện GD sẽ diễn ra nhanh hơn.

b và các thông số thêm vào các unit phản ảnh bias, do đó ta có thể khởi tạo các giá trị này là 0 mà không ảnh hưởng tới hoạt động của NN.

[Machine Learning] Đạo hàm của các activation functions

Như ta đã nhắc đến lúc trước, đạo hàm của 1 hàm tại một điểm là độ dốc (slope) của hàm đó tại điểm đó. Ví dụ với hàm sigmoid.
Với giá trị lớn (z = 10) hoặc z nhỏ (-10), ta có thể thấy giá trị đạo hàm tính theo công thức = 0 ứng với các vùng bão hòa của sigmoid function.
Với giá trị z - 0, g(z) = 1/2 và g'(z) = 1/4 nghĩ là độ dốc của sigmoid tại điểm z = 0 là lớn.

Ngoài ra với hàm tanh, đạo hàm là tương đương với sigmoid ngoại trừ các điểm ở chính giữa đồ thị.



Cuối cùng là hàm RELU và Leaky RELU.

Thứ Hai, 24 tháng 12, 2018

[Machine Learning] Activation functions trong Neural Networks

Mô hình của 1 mạng nơ ron có cấu trúc như sau:
Ở đây, mỗi node trong hidden layer sẽ thực hiện 2 công việc.
1. Thực hiện a = X.wT + b
2. Thực hiện z = g(a)

Trong đó g là activation function. 
Cho đến nay, ta đã nhắc tới sigmoid function như là 1 activation function có biểu thức:

Ngoài ra, còn có một số activation function khác (các activation functions đều là các hàm phi tuyến) như hình dưới đây:
Trong thực tế, ta sẽ chỉ dùng các hàm sigmoid và tanh cho output layer khi mà đầu ra cần các giá trị nằm trong khoảng (0,1) hoặc (-1,1) còn các hàm như ReLU and Leaky ReLU được sử dụng ở trong các node của hidden layers. Lý do ta không sử dụng các hàm sigmoid hay tanh trong hidden layers là khi ta thực hiện back propagation, các giá trị đạo hàm sẽ nhỏ dần khi ta đi từ phải sang trái của 1 mạng NN, đo đó Gradient Descent sẽ không thể áp dụng.

Ngoài ra, tại sao ta lại cần các activation function. Ví dụ gán trực tiếp z = a và ta không hề sử dụng hàm g. Lúc này, output và input sẽ quan hệ với nhau bởi 1 hàm tuyến tính, do đó, ta sẽ không thể có nhiều lớp.

Ta sử dụng activation functions là các hàm tuyến tính thì có được không? Hay việc sử dụng hàm phi tuyến sẽ đem lại kết quả tốt hơn?

Và tại sao ta lại cần nhiều lớp trong Neural Network?