📓 Natural Language Processing
1. Google Translate: trước đây và bây giờ
2. Độ tương quan - Correlation
2.1 Tóm tắt
2.2 Tương quan Pearson (Pearson Correlation)
2.3 Ví dụ thực tế
2.4 Mối liên hệ với Attention
3. Word Embedding
3.1 One-hot encoding
3.2 Tokenizer
3.3 Embedding
4. Bài toán dịch máy và “nút thắt cổ chai” của Sequence to Sequence
4.1 Kiến trúc Encoder - Decoder
4.2 Vấn đề: context vector là một “nút thắt cổ chai”
5. Cơ chế Attention của Bahdanau (2015)
5.1 Ý tưởng chính
5.2 Encoder: tạo ra các trạng thái ẩn
5.3 Alignment score và Attention weight
5.4 Context vector
5.5 Decoder: tính trạng thái ẩn và dự đoán từ tiếp theo
5.6 Ví dụ minh hoạ: dịch “Today I go to school”
6. Tổng kết
Phần tiếp theo sẽ có gì?
Reference