11.6. Tính Lồi - Đắm Mình Vào Học Sâu

Trang chủ » Chứng Minh Hàm Số Lồi » 11.6. Tính Lồi - Đắm Mình Vào Học Sâu

Có thể bạn quan tâm

11.6.3.1. Hàm số Lagrange¶

Nhìn chung, giải quyết một bài toán tối ưu hóa bị ràng buộc là tương đối khó khăn. Có một cách giải quyết bắt nguồn từ vật lý dựa trên một trực giác khá đơn giản. Hãy tưởng tượng có một quả banh bên trong một chiếc hộp. Quả banh sẽ lăn đến nơi thấp nhất và trọng lực sẽ cân bằng với lực nâng của các cạnh hộp tác động lên quả banh. Tóm lại, gradient của hàm mục tiêu (ở đây là trọng lực) sẽ được bù lại bởi gradient của hàm ràng buộc (cần phải nằm trong chiếc hộp, bị các bức tưởng “đẩy lại”). Lưu ý rằng bất kỳ ràng buộc nào không kích hoạt (quả banh không đụng đến bức tường) thì sẽ không có bất kỳ một lực tác động nào lên quả banh.

Ta hãy bỏ qua phần diễn giải chứng minh của hàm số Lagrange \(L\) (Xem sách của Boyd và Vandenberghe về vấn đề này [Boyd & Vandenberghe, 2004]). Lý luận bên trên có thể được mô tả thông qua bài toán tối ưu hóa điểm yên ngựa:

(11.6.12)¶\[L(\mathbf{x},\alpha) = f(\mathbf{x}) + \sum_i \alpha_i c_i(\mathbf{x}) \text{ với } \alpha_i \geq 0.\]

Các biến \(\alpha_i\) ở đây được gọi là nhân tử Lagrange (Lagrange Multipliers), chúng đảm bảo rằng các ràng buộc sẽ được tuân thủ đàng hoàng. Chúng được chọn vừa đủ lớn để đảm bảo rằng \(c_i(\mathbf{x}) \leq 0\) với mọi \(i\). Ví dụ, với mọi \(\mathbf{x}\) mà \(c_i(\mathbf{x}) < 0\) một cách tự nhiên, chúng ta rốt cuộc sẽ chọn \(\alpha_i = 0\). Hơn nữa, đây là bài toán tối ưu hóa điểm yên ngựa, nơi ta muốn cực đại hóa \(L\) theo \(\alpha\) và đồng thời cực tiểu hóa nó theo \(\mathbf{x}\). Có rất nhiều tài liệu giải thích về cách đưa đến hàm \(L(\mathbf{x}, \alpha)\). Đối với mục đích của chúng ta, sẽ là đủ khi biết rằng điểm yên ngựa của \(L\) là nơi bài toán tối ưu hóa bị ràng buộc ban đầu được giải quyết một cách tối ưu.

Từ khóa » Chứng Minh Hàm Số Lồi