Tối ưu Hóa Nâng Cao - 2019 - Seminar@Optima

Trang web này tập trung các slide bài giảng và bài tập của môn tối ưu hóa nâng cao giảng dạy tại trường Đại học Khoa học Tự nhiên, Đại học Quốc gia Hà Nội.

Tài liệu tham khảo bắt buộc:

1. J. Nocedal and S. Wright, Numerical Optimization (Springer).
2. S. Boyd and L. Vandenberghe, Convex Optimization (Cambridge University Press)

Tài liệu tham khảo thêm

1. D. Luenberger and Y. Ye, Linear and Nonlinear Programming (Springer)

Một số bài giảng online:

1. Convex Optimization, Prof. L. Vandenberghe, (UCLA): http://www.seas.ucla.edu/~vandenbe/ee236b/ee236b.html
2. Optimization Methods for Large-Scale Systems, Prof. L. Vandenberghe, (UCLA): http://www.seas.ucla.edu/~vandenbe/ee236c.html
3. Convex Optimization, Prof. R. Tibshirani (CMU): http://www.stat.cmu.edu/~ryantibs/convexopt/
4. Machine learning refined, https://jermwatt.github.io/mlrefined/

Các điểm thành phần

• Điểm thường xuyên (20% – lấy từ điểm bài tập)
• Điểm giữa kì (20%)
• Điểm cuối kì (60%)

Điểm dự án sẽ quy đổi thành điểm giữa kì và 1/3 điểm cuối kì (tương ứng 20% tổng số điểm). 2/3 điểm cuối kì còn lại (tương ứng 40% tổng số điểm) lấy từ thi viết kết hợp vấn đáp vào cuối kì.

Projects

Lớp chia thành các nhóm 2-3 người. Mỗi nhóm tự tìm ra các vấn đề ứng dụng thực tế của tối ưu (ví dụ trong các bài toán học máy) cũng như dữ liệu cho các bài toán đó. Từ đó các nhóm viết code giải các bài toán tương ứng. Điểm dự án sẽ lấy thành điểm giữa kì và 1/3 điểm cuối kì.

Điểm đánh giá dựa trên độ khó, tính độc đáo/sáng tạo, mức độ hoàn thành, code và thuyết trình.

Thời gian thực hiện:

• Tuần số 2: Bắt đầu tìm kiếm bài toán
• Tuần số 4: Mỗi nhóm viết báo cáo trình bày về vấn đề nhóm mình sẽ chọn cũng như thông tin về nguồn dữ liệu. Báo cáo gửi theo email. Lưu ý: tối đa được phép có 2 nhóm trùng vấn đề. Trong trường hợp trùng nhau sẽ xếp theo thứ tự thời gian. Các nhóm nộp muộn hơn sẽ phải kiếm đề tài khác.
• Tuần số 7: Nộp báo cáo tiến độ giữa kì về cách tiếp cận và các phương pháp giải quyết bài toán
• Tuần số 10: Thuyết trình báo cáo về dự án

Slide bài giảng và bài tập

Phần 1: Giới thiệu chung

Tuần 1 (4.5.2019)

• Giới thiệu chung
• Các kiến thức cơ sở

Tuần 2 (11.5.2019)

• Bài toán tối ưu hóa không ràng buộc
• Line search

Tuần 3 (18.5.2019): Lớp xin nghỉ

Tuần 4 (25.5.2019)

• Bài toán hồi quy tuyến tính
• Thuật toán gradient descent
• Subgradient

Bài tập về nhà – Bài 1: áp dụng thuật toán gradient descent giải bài toán hồi quy tuyến tính, data 1, data 2.

Tuần 5 (1.6.2019)

• Thuật toán subgradient
• Thuật toán proximal gradient descent

Bài tập về nhà – Bài 1 (phần 2): áp dụng thuật toán accelerated gradient descent cho vấn đề đã nêu trong bài 1.

Tuần 6 (8.6.2019)

• Thuyết trình kết quả bài tập 1 (mỗi nhóm 7 phút thuyết trình, 3-5 phút trả lời câu hỏi)
• Thuật toán stochastics gradient descent
• Bài toán hồi quy logistic

Tuần 7 (15.6.2019)

• Thuật toán Newton
• Thuật toán tựa Newton

Bài tập về nhà – Bài 2: áp dụng thuật toán stochastics gradient descent cho linear regression với dữ liệu trong bài 1 hoặc logistic regression với tập dữ liệu voicegender. Hạn nộp bài và thuyết trình 29.6

Tuần 8 (22.6.2019)

• Báo cáo giữa kì về dự án (mỗi nhóm có thời gian 5 phút)

Bài tập về nhà: Bài 3

Tuần 9 (29.6.2019)

• Thuyết trình bài tập 2
• Đối ngẫu
• Điều kiện KKT

Tuần 10 (6.7.2019)

• Thuyết trình project (mỗi nhóm có khoảng 15 phút thuyết trình và 5 phút trả lời câu hỏi)
• Thuyết trình bài tập 3

Tuần 11 (13.7.2019)