Host load prediction with long short-term memory in cloud computing - Binbin Song· Yao Yu· Yu Zhou· Ziqiang Wang· Sidan Du

• RNN

Thông số tải là một vector 1 chiều dạng time series (one-dimensional time series). Giả sử giá trị lịch sử tải trước đó là x = (xt-1, xt-2, . . . , xt-n) với n thường là rất lớn. Ta muốn dự đáon giá trị tải 
o = (xˆt+1, xˆt+2, . . . , xˆt+m)  trong đó m là số steps ở sau thời điểm hiện tại hoặc giá trị tải trung bình  o = (xˆt+1, xˆt+2, . . . , xˆt+m)/m của m steps. cạc đơn giản nhất là ta tìm 1 hàm ánh xạ (map function) f giữa lịch sử tải trước đó và giá trị trong tương lai (giá trị ta cần dự đoán):

(xˆt+1, xˆt+2, . . . , xˆt+m) = f (xt-1, xt-2, . . . , xt-n) 

Khi các giá trị lịch sử tải gần với giá trị hiện tại, mối quan hệ giữa các giá trị này sẽ lớn hơn, trong khi các giá trị lịch sử tải xa với giá trị hiện tại sẽ thường biểu diễn xu hướng và yếu tố này sẽ giúp cho việc dữ đoán. Do đó, để thiết lập 1 mapping function chính xác, ta phải cân nhắc đến cả hai yếu tố này. Ta gọi g1 là mapping function của các giá trị lịch sử tải gần và g2 là các giá trị lịch sử tải xa, gộp hai hàm này ta có hàm f' như dưới đây:

f (x; n) = f (g1(xt-1, xt-2, . . . , xt-k), g2(xt-(k+1), . . . , xt-n))  

Cách xây dựng mô hình này gần như tương đương với RNN khi mà các thông số U và W được sử dụng.

RNN lưu các trạng thái trước đó cho phép ta có thể sử dụng trong việc dự đoán tải. 

Tại mỗi thời điểm, mạng sẽ nhận input xt với khung cửa sổ cố định và tính toán hidden state st và output ot sử dụng biểu thức sau:

với U, W và V là các ma trận trọng số và σ là một activation function phi tuyến.

• LSTM

Trong bài báo này, ta thay thế các hidden layer của RNN bằng các LSTM bkock để có thể học được long-term dependencies.