[Natural Language Processing] Embeddings

Embedding of Words

Word2Vec ta có 2 phương pháp:


- Skip-gram: Từ 1 word trong câu (target word), dự đoán các context word xung quanh từ đó.

- CBOW (Continuous Bag of Words): Từ các context word, dự đoán target word.

Embeddings of Sentences and Paragraphs

PV (Paragraph Vector): Từ một đoạn text có chiều dài cố định là k, ta chuyển thành một vector có số chiều nhất định với unsupervised learning.

Ta có 2 phương pháp để tìm ra PV.

- PV - DM (Distributed Memory):

- PV - DBOW (Distributed Bag of Words):