Bài Toán Hồi Quy Và Mô Hình Hồi Quy Tuyến Tính - Viblo

Có thể bạn quan tâm

c. Thuật toán tối ưu Loss Function (Optimization Algorithms)

Normal Equation

Một liên tưởng đơn giản, như chúng ta học từ cấp 3, cách đơn giản nhất để tìm giá trị nhỏ nhất của một hàm số (cực tiểu), ta sẽ cho đạo hàm bằng 0 và tìm $\\large \\theta$ .

Công thức toán học

Tìm đạo hàm của $\\large J(\\theta)$

Một chút biến đổi:

$\\large J(\\theta)=\\frac{1}{2m}\\left | X\\theta-y \\right |^2=\\frac{1}{2m}(X\\theta-y)^T(X\\theta-y)$

Chúng ta đơn giản hàm bằng cách bỏ đi $\\large \\frac{1}{2m}$ vì cuối cùng chúng ta cũng cho đạo hàm bằng 0.

$\\large J(\\theta)=(X\\theta)^TX\\theta-(X\\theta)^Ty-y^T(X\\theta)+y^Ty$

Chú ý vì $\\large X\\theta$ và $\\large y$ đều là vector nên khi chúng ta nhân chúng lại với nhau, vị trí của chúng trong tích không quan trọng nữa. Cho nên:

$(X\\theta)^Ty = y^T(X\\theta)$

Cho nên: $\\large J(\\theta)=\\theta^TX^TX\\theta-2(X\\theta)^Ty+y^Ty$

Tiến hành đạo hàm:

$\\large \\frac{\\partial J}{\\partial \\theta}=2X^TX\\theta-2X^{T}y=0$

Tương đương:

$\\large X^TX\\theta=X^{T}y$

Giả sử $\\large X^TX$ có thể nghịch đảo, chuyển vế ta có:

$\\large \\theta=(X^TX)^{-1}X^Ty$
- Điểm mạnh: Công thức đơn giản và chỉ cần đổ data vào tính toán
- Điểm yếu: Tài nguyên để tính toán ma trận nghịch đảo với lượng data lớn là rất tốn kém nên trong thực tế các bài toán hồi quy tuyến tính rất ít khi sử dụng phương pháp này
Gradient Descent

Thay vì sử dụng công thức ăn liền Normal Equation, thì trong thực tế chúng ta sẽ sử dụng thuật toán Gradient Descent. Giải thích một cách đơn giản, chúng ta sẽ cho $\\large \\theta$ tăng và giảm một khoảng nhất định, sao cho giá trị của hàm Loss function $\\large J(\\theta)$ giảm dần đến giá trị cực tiểu.

Như bạn có thể thấy trên hình: Lúc ban đầu hàm $\\large J(\\theta)$ có giá trị lớn nên hàm ban đầu cần tìm dự đoán chưa chính xác các dữ liệu, nhưng khi hàm $\\large J(\\theta)$ m giảm dần, hàm ban đầu dự đoán chính xác hơn rất nhiều.
- Công thức toán học
  - Diễn giải công thức toán:
  $\\large \\theta_{new} := \\theta_{old} - \\alpha\\triangledown J(\\theta)$
  
  Tương đương với:
  
  $\\large \\theta_{new} := \\theta_{old} - \\alpha \\frac{1}{m}X^T(X\\theta - y)$
  
  Nếu bạn đã từng lập trình thì có thể tinh tế nhận ra cách tính toán này. Chúng ta sẽ tạo ra một vòng lặp và qua mỗi vòng lặp đó ta sẽ gán giá trị mới cho $\\large \\theta$ .
  - Chú ý: $\\large \\alpha$ được gọi là một hyper hyper parameters. Nó sẽ được đặt bởi một giá trị cho trước. Ví dụ mình hay đặt sử dụng 0.01 hoặc 0.0001. Ý nghĩa của nó là một tham số quyết định tốc độ học nhanh hay chậm của mô hình.
    - Nếu $\\large \\alpha$ quá lớn: Hàm không thể hội tụ và giá trị của nó sẽ nhảy đến vô cùng. Khi lập trình bạn có thể sẽ hay gặp (nan) trong Python.
    - Nếu $\\large \\alpha$ quá nhỏ: Mô hình hội tụ quá lâu, tốn kém thời gian.
- Điểm mạnh
  
  Tính toán nhẹ nhàng hơn rất nhiều so với phương pháp ban đầu. Về sau chúng ta sẽ tìm hiểu các phương thức khác kết hợp với Gradient Descent để giảm nhẹ khối lượng tính toán.
- Điểm yếu
  
  Kết quả thường không chính xác 100%, nhiều vấn đề liên quan xảy ra ví dụ như giá trị của hàm Loss không thể giảm thêm mà bị mắc kẹt tại một điểm local nào đó. (Như hình mình họa bên trên)
  
  Có rất nhiều phương pháp để giải quyết vấn đề này, tôi sẽ trình bày ở các bài tiếp theo.