- kill -9 PID does not release memory
Thứ Bảy, 9 tháng 10, 2021
linux tricks
Thứ Sáu, 24 tháng 9, 2021
Jupyter notebook tricks
1. Merge multiple Jupyter Notebook cells into one
a. Let imagine that you have written thousands line of codes. And suddenly, you want to run the entire cells all over again with just one or two values changed.
Guess what? You will need to scroll up -> change the value -> run the notebook time and time again. The bad thing here is that you need to wait for one loop to finish before manually scrolling up and change the value.
SUCKS!
So here let's put all the code in a loop by after merging all the cells into one using Shift + M.
Thứ Bảy, 11 tháng 9, 2021
python OOP with pytorch
1. Diplay properties of an object in python (e.g. DataLoader)
ipdb> dir(train_loader.dataset) ['__add__', '__class__', '__class_getitem__', '__delattr__', '__dict__', '__dir__', '__doc__', '__eq__', '__format__', '__ge__', '__getattribute__', '__getitem__', '__gt__', '__hash__', '__init__', '__init_subclass__', '__le__', '__len__', '__lt__', '__module__', '__ne__', '__new__', '__orig_bases__', '__parameters__', '__reduce__', '__reduce_ex__', '__repr__', '__setattr__', '__sizeof__', '__slots__', '__str__', '__subclasshook__', '__weakref__', '_format_transform_repr', '_is_protocol', '_repr_indent', 'class_to_idx', 'classes', 'extensions', 'extra_repr', 'find_classes', 'imgs', 'loader', 'make_dataset', 'root', 'samples', 'target_transform', 'targets', 'transform', 'transforms'] ipdb> train_loader.dataset.class_to_idx
Here class_to_idx is a nice property of you want to make sure how ImageFolder assigned unique IDs to your human-readable class IDs. 2. DataLoader is super slow
Even if I load the data manually, the speedup comes to around 10 times. WTHH??
Thứ Hai, 6 tháng 9, 2021
pytorch frequent errors and solutions
1. CUDA memory overflow (if you have multiple GPUs)
- If you have multiple GPUs, you are able to run pytorch operations (e.g. toch.argsort) on all of them, not just a single GPU.
- Let's take this snippet as an example:
Ok, for each 800 input samples, I sent the batch to another CPU with a specified ID by the batch_idx.
2. Load a Python object saved to GPU to CPU
- I did a stupid job when I saved a dictionary containing some GPU tensors to a .npy file.
- Then when I load the npy file, my GPUs had been dominated and ran out of memory.
- Hell yeah, I googled a lot but not find any solutions to load only a part of the file or load the dictionary directly to CPU.
- Suddenly, I think that, Oh, I can load the dictionary to GPU, then move the tensor back to CPU then overwrite the dictionary. Haha. How smart I am!
Thứ Sáu, 27 tháng 8, 2021
Nhớ nhà 1
Tôi đã qua Mỹ được 1 tuần, cả 1 tuần chạy tất tả làm mọi giấy tờ. Tôi đã không thực sự thấy nhà trong tuần vừa qua, nhưng hôm này đây, một ngày chủ nhật thảnh thơi, ngó ra ngoài ban công thật nhiều gió, tôi bỗng thấy nhớ da diết và cảm nhận từng câu chữ của bài Home - Michael Buble.
Thu đến rồi!
Nắng phai dần, cả màu sắc lẫn sự bỏng rát của nó. Gió hoang hoải thổi qua những khóm hoa trắng nhỏ bên kia đường. Auburn là một thành phố yên bình, ít nhất là khi tôi đang sống. Thỉnh thoảng bên đường, tôi thấy có vài người chạy bộ, một hình ảnh bình thường nhưng nó gợi nhớ về VN trong tôi. Họ chạy bộ vì những con đường là của họ, họ quen những con phố, những giao lộ, và đôi chân đã quen những sỏi đá ở đây.
Nhưng tôi thấy xa lạ và tự nghĩ chắc mình sẽ chẳng bao giờ bên kia đường và chạy như họ vì vốn dĩ đây không phải là đường của tôi. Liệu những người nước ngoài đến VN và nhìn thấy người Việt chạy bộ ngoài đường, trong công viên có nghĩ giống tôi không nhỉ?
Chủ Nhật, 30 tháng 5, 2021
Những lời ca Ngô Thụy Miên
Anh từng hát Cho em mùa thu
Trong những đêm ánh trăng vương áo mỏng
Tóc em mềm bay theo chiều gió lộng
Đường anh về, nghe lối cũ lao xao
Em có còn nhớ những ráng chiều
Anh ôm em hát bài Niệm khúc cuối
Dẫu cơn mưa còn về giăng khắp lối
Anh xin đưa em, đến cuối cuộc đời
Hai phương trời, xa cách hai phương trời
Hoa có còn hồng không em? Độ ấy
Tình bơ vơ còn lời gì trăn trối
Gửi về nhau, cho gối mộng bình yên
Thứ Tư, 7 tháng 10, 2020
Tại sao memory bị tràn khi chạy chương trình DL
Khi chạy chương trình nào, ta chỉ nên chạy chương trình đó thôi.
Ví dụ mình từng mắc 1 lỗi, mình chạy chương trình trên jupyter notebook.
Mình chạy chương trình A, sau đó chạy B, tuy nhiên do A và B dùng chung vài biến toàn cục, mình vẫn để chương trình A ở đó mà không clear đi.
Điều này dẫn đến bộ nhớ khi chạy B sẽ tổng cả 2 của A và B do bộ dọn rác không hoạt động trên A.
Thứ Hai, 5 tháng 10, 2020
Sử dụng đa dạng ngữ trong IELTS Writing task 2
Đừng chỉ sử dụng thì hiện tại, hãy đa dạng cách kể chuyện bằng cách dùng:
+ Thì quá khứ
+ Thì tương lai đơn
+ Thì hiện tại tiếp diễn
+ Thì hiện tại hoàn thành (tiếp diễn)
Hay các cấu trúc như:
S + V unless + S + V
Only by/when + modal verb + S + V
The more ... the less ...
If S + V, S + V
Not only ... but also ...
Regarding/Regardless of Sth, S + V
Despite Sth, S + V
Although S + V, S + V
Thứ Ba, 14 tháng 7, 2020
Cuộc sống là tìm kiếm cảm xúc
Thứ Sáu, 5 tháng 6, 2020
Dịch sách
Mình đăng bài này với mục đích muốn kêu gọi các bạn cùng sở thích cùng mình dịch cuốn này sang tiếng Việt. Do cuốn này không quá dài, mình chỉ cần 1 bạn cùng dịch, vậy bạn nào hứng thú có thể gửi tin nhắn cho mình nhé. Bên cạnh đó mình cũng muốn biết liệu các bạn có hứng thú với mảng này trong Machine Learning không? Nếu bạn hứng thú, hãy nhấn like cho mình thêm động lực :D để khi nào bản dịch hoàn thiện, mình sẽ gửi cho bạn sớm nhất. Cám ơn và chúc các bạn học tốt!
Thứ Năm, 4 tháng 6, 2020
1 ngày lều chõng
Hôm nay học trò nghèo khăn gói quả mướp lên kinh ứng thí. Mọi ngày ngủ trương mắt đến tận 10h mà hôm nay 5h đã phải mò dậy, đâm ra lúc thi xong líu hết cả ríu lại.
Lại 1 ngày đi xa, trên mỗi chuyến xe trở về lại suy nghĩ thật nhiều thứ nhưng cảm xúc thì ko đổi, đều là bâng khuâng. Thường là nhớ gia đình, lúc thì là chuyện yêu đương, lúc thì là ý nghĩa cuộc sống.
Mà cũng lạ, đường dài nên hay nghe nhạc và lần nào cũng nghe bài tình bơ vơ. Nghe câu "Trời vào thu, Việt nam buồn lắm em ơi" là thấy não lòng tiếc cho 1 chuyện tình lỡ dở.
Trong ảnh bến xe Dong Seoul
Thứ Ba, 28 tháng 4, 2020
The dawn of a start-up company
- A seed funding round is all that the founders feel is necessary in order to successfully get their company off the ground; these companies may never engage in a Series A round of funding.
- How to get the final product? All money that I need to reach the final product
+ Hiring people (How many people, company size?)
+ Office
+ Networking; dining
+ Equipment
+ Marketing (later)
+ Website
+ Paperwork
Thứ Tư, 22 tháng 4, 2020
[Review sách] Những người đàn ông không có đàn bà - Haruki Murakami - by harukipedia
- Yesterday/nhân viên làm sushi
- Scheherazade/Habara
- Cá mút đá ăn hương
- Những câu truyện trong bụng mẹ
- Đột nhập ở tuổi 14
- Cô gái gù ở Praha/cuộc bạo loạn và nắm cửa bị hỏng
- Quán bar góc phố/rắn/cây liễu và đi đừng dừng lại
[Review sách] Biên niên sử chim vặn dây cót - Haruki Murakami - by harukipedia
Thứ Bảy, 18 tháng 4, 2020
Crime vocabularies for IELTS writing
- Capital punishment/Death penalty: tử hình
- Crime rate: tỉ lệ phạm tội “The reduction of the crime rate is the main goal for lawmakers.
- To commit a crime: phạm tội
- Prison sentence: Hình phạt tù
- A criminal record:
- Loss of freedom: Mất tự do “Loss of freedom is a punishment that offenders have to face when they go to jail.”
- White-collar crime: Crimes committed by “office works”, for example, fraud.
- Be put on probation: Bị đặt dưới sự quản chế. “Sometimes first-time offenders are not imprisoned but are put on probation for a set period of time to ensure their good behaviour.”
- Social isolation: Cách ly khỏi xã hội
- A violent criminal
- Criminals/offenders/wrongdoers/lawbreakers/convicts/felon
- First-time offenders
- Motive for crime: Động cơ phạm tội. ” A desire for revenge on his wife is a motive for his crime as murder. “
- Turn to a career of crime: trở thành tội phạm
- To be imprisoned: Bị bỏ tù
- Easy money: tiền pham pháp
- Break the law/Engage in unlawful activities/illegal activities: làm điều phạm pháp
- To resort a crime: phạm tội vì bước đường cùng. “After losing all money from the game, the men resorted to crime to get easy money.”
- Soaring crime rates: tỉ lệ tội phạm gia tăng
- To re-offend: Tái phạm tội
- Rehabilitated prisoners: Tội phạm hòa lương
- To send sbd to prison/To put sbd in jail
Tourism vocabularies in IELTS writing
- travel abroad/wish to travel/go travelling
- wanderlust: a strong desire to travel
- travel agency
- holiday destination
- dream holiday/holiday of a lifetime
- go on/take a holiday
- excursion: a short journey or trip usually made for pleasure
- go on/make an excursion
- arrange/organize an excursion/an excursion to somewhere
- layover: a stopping place on a journey: a layover in (somewhere)
- accommodation
- breathtaking view: a beautiful view = spectacular landscapes
- go sightseeing
- itinerary: a planned journey or route of a person's travel
- tourist trap: a place where many tourist visit
- impair the local environment: Many tourists throw rubbish into the water, which can significantly impair the local environment
- spend quality time with family and friends
- affordable destinations/travel
- do as the locals do
- around the world
- exotic destination: not a tourist trap
Thứ Năm, 16 tháng 4, 2020
Education vocabularies in IELTS writing
- vocational training: đào tạo nghề
- enter university = go to university = enroll in college = register for college = vào trường ĐH
- get/achieve/obtain/acquire higher academic results = đạt kqua học tập tốt hơn
- extracurricular/outdoor activities = hoạt động ngoại khóa
- perceive/learn a wide range of skills = học được nhiều kỹ năng
- a reservoir of knowledge = một bể kiến thức
- encourage/stimulate independent learning = khuyến khích tự học
- apathetic parents = cha mẹ vô tâm / parent apathy: sự vô tâm của cha mẹ
- improve educational outcomes = cải thiện đầu ra cho giáo dục
- theoretical knowledge >< practical/working experience
- To pursue tertiary education/To access to tertiary education: Tiếp cận giáo dục đại học
- To offer students comprehensive education/To provide students with ...: cung cấp GD toàn diện
- To obtain/possess formal qualifications: Đạt được bằng cấp đại học
- A knowledge-based society/economy: Xã hội/nền KT dựa trên kiến thức
- To open the door to better career prospects: Mở rộng cơ hội nghề nghiệp
- To give favorable conditions to do STH
- To facilitate online/distance learning: Tạo điều kiện học tập từ xa
- To integrate technology into classroom learning = Tích hợp công nghệ vào học tập
- matriculants/matriculation: người trúng tuyển/sự trúng tuyển: thousands of matriculants gain access to higher education
Chủ Nhật, 12 tháng 4, 2020
The shits always confound me in GRE quant
- Intergers
- factor hay divisor của 1 số là các số cấu thành nên số đó từ phép nhân. Ví dụ 1 2 4 5 10 và các giá trị âm tương ứng là các factors của 20
- 20 là divisible bởi từng factor của nó
- multiple: multiple của 1 số x là các số nguyên có dạng n.x với. Ví dụ 20 là multiple của từng factor/divisor của nó. Multiple của 20 là các số 20, 40, 60, 80 v.v...
- 1 là multiple của chính nó và -1
- prime number là các số nguyên chỉ chia hết cho nó và 1 nghĩa là factor của 1 số prime x là x -x 1 -1. Số prime là các số nguyên dương >= 2
- 0 là multiple của tất cả các số, và 0 là factor của duy nhất chính nó
- Least common multiple của 2 số dương không âm là multiple nhỏ nhất của 2 số đó. Ví dụ LCM của 3 và 4 là 12.
- The greatest common factor (divisor) của hai số dương không âm đó là số lớn nhất mà là factor của cả 2 số. Ví dụ 12 và 15 thì the greatest common factor của chúng là 3.
- Không một phép chia không chia hết ví dụ số c chia bởi d (d không phải là 1 divisor của c), khi đó quotient là phần nguyên và remainder là phần dư. Ví dụ 13/5 thì quotient là 2 là 3 là remainder.
- Ta lưu ý rằng remainder luôn lớn hơn hoặc bằng 0, do đó trong phép chia của số âm ví dụ -25/3 thì quotient là -9 và remainder là 2.
- Prime factorization: Là khi ta sử dụng các factor là số prime (prime factor) để biểu diễn 1 số nguyên lớn hơn 1. ví dụ 12 = 2.2.3 = (2)^2.3
- Các số dương lớn hơn 1 mà không phải số nguyên tố gọi là hợp số (not prime number => composite number). Ví dụ như 4 6 8 9 10 12 14 15 16 18
- số 0 được gọi là neutral integer, không phải nguyên âm cũng ko phải nguyên dương
- Fractions
- Decimal
Thứ Bảy, 11 tháng 4, 2020
Em Cún
- Thích ngủ
Thứ Tư, 8 tháng 4, 2020
Lý thuyết thông tin trong Deep Learning
- Lý thuyết thông tin
- Sự kiện mà ta đoán trước được kết quả sẽ không mang thông tin (zero information)
- Sự kiện có ít biến cố mang ít thông tin: ví dụ như tung đồng xu chọn mặt úp hay ngửa
- Những sự kiện ngẫu nhiên mang nhiều thông tin
In information theory, chaos processes more informationThông tin của 1 sự kiện được định nghĩa bằng công thức.
I(x)=−log(P(x))
- Entropy
- Ví dụ

- Cross Entropy
In deep learning, P is distribution of the true labels, and Q is the prob. distribution of predictions from the deep network.
- KL Divergence

- Maximum Likelihood Estimation
Nhưng việc nhân các giá trị như trên có thể dễ dàng dẫn đến việc tràn số (overflow) hoặc underflow. Do đó ta chuyển công thức trên về dạng log để tránh vấn đề này.
Tuy nhiên, các optimizer thông thường sẽ chỉ hỗ trợ việc minimize một hàm loss cho trước. Do vậy thay vì tối ưu trực tiếp trên MLE, ta áp dụng log và tối ưu giá trị nghịch đảo hay còn được gọi là negative log likelihood (NLL).
θ^=argminθ−∑i=1Nlogp(xi|θ)
Khi này NLL và việc tối ưu cross entropy trở nên tương đương do:
θ^=argminθ−∑i=1Nlogq(xi|θ)=argminθ−∑x∈Xp(x)logq(x|θ)=argminθH(p,q)
Trong công thức trên ta thêm p(x) do p(x) đại diện cho data đã cho trước, có thể coi như là 1 đại lượng không đổi, do vậy việc tối ưu là tương đương khi thêm 1 hẳng số.
- NHẬN XÉT
- Mean square error (MSE)
Many cost functions in deep learning including the MSE, can be dervied from the MLE


