3.1. Hồi Quy Tuyến Tính - Đắm Mình Vào Học Sâu

3.1.2. Phân phối Chuẩn và Hàm mất mát Bình phương¶

Mặc dù bạn đã có thể thực hành với kiến thức được trình bày phía trên, trong phần tiếp theo chúng ta sẽ làm rõ hơn nguồn gốc của hàm mất mát bình phương thông qua các giả định về phân phối của nhiễu.

Nhắc lại ở trên rằng hàm mất mát bình phương \(l(y, \hat{y}) = \frac{1}{2} (y - \hat{y})^2\) có nhiều thuộc tính tiện lợi. Việc nó có đạo hàm đơn giản \(\partial_{\hat{y}} l(y, \hat{y}) = (\hat{y} - y)\) là một trong số đó.

Như được đề cập trước đó, hồi quy tuyến tính được phát minh bởi Gauss vào năm 1795. Ông cũng là người khám phá ra phân phối chuẩn (còn được gọi là phân phối Gauss). Hóa ra là mối liên hệ giữa phân phối chuẩn và hồi quy tuyến tính không chỉ dừng lại ở việc chúng có chung cha đẻ. Để gợi nhớ lại cho bạn, mật độ xác suất của phân phối chuẩn với trung bình \(\mu\) và phương sai \(\sigma^2\) được cho bởi:

(3.1.11)¶\[p(z) = \frac{1}{\sqrt{2 \pi \sigma^2}} \exp\left(-\frac{1}{2 \sigma^2} (z - \mu)^2\right).\]

Dưới đây ta định nghĩa một hàm Python để tính toán phân phối chuẩn.

x = np.arange(-7, 7, 0.01) def normal(z, mu, sigma): p = 1 / math.sqrt(2 * math.pi * sigma**2) return p * np.exp(- 0.5 / sigma**2 * (z - mu)**2)

Giờ ta có thể trực quan hóa các phân phối chuẩn.

# Mean and variance pairs parameters = [(0, 1), (0, 2), (3, 1)] d2l.plot(x, [normal(x, mu, sigma) for mu, sigma in parameters], xlabel='z', ylabel='p(z)', figsize=(4.5, 2.5), legend=['mean %d, var %d' % (mu, sigma) for mu, sigma in parameters])

Có thể thấy rằng, thay đổi giá trị trung bình tương ứng với việc dịch chuyển phân phối dọc theo trục x, tăng giá trị phương sai sẽ trải rộng phân phối và hạ thấp đỉnh của nó.

Để thấy rõ hơn mối quan hệ giữa hồi quy tuyến tính và hàm mất mát trung bình bình phương sai số (MSE), ta có thể giả định rằng các quan sát bắt nguồn từ những quan sát nhiễu, và giá trị nhiễu này tuân theo phân phối chuẩn như sau:

(3.1.12)¶\[y = \mathbf{w}^\top \mathbf{x} + b + \epsilon \text{ tại } \epsilon \sim \mathcal{N}(0, \sigma^2).\]

Do đó, chúng ta có thể viết khả năng thu được một giá trị cụ thể của \(y\) khi biết trước \(\mathbf{x}\) là

(3.1.13)¶\[p(y|\mathbf{x}) = \frac{1}{\sqrt{2 \pi \sigma^2}} \exp\left(-\frac{1}{2 \sigma^2} (y - \mathbf{w}^\top \mathbf{x} - b)^2\right).\]

Dựa vào nguyên lý hợp lý cực đại, giá trị tốt nhất của \(b\) và \(\mathbf{w}\) là những giá trị giúp cực đại hóa sự hợp lý của toàn bộ tập dữ liệu:

(3.1.14)¶\[P(Y\mid X) = \prod_{i=1}^{n} p(y^{(i)}|\mathbf{x}^{(i)}).\]

Bộ ước lượng được chọn theo nguyên lý hợp lý cực đại được gọi là bộ ước lượng hợp lý cực đại (Maximum Likelihood Estimators – MLE). Dù việc cực đại hóa tích của nhiều hàm mũ trông có vẻ khó khăn, chúng ta có thể khiến mọi thứ đơn giản hơn nhiều mà không làm thay đổi mục tiêu ban đầu bằng cách cực đại hóa log của hàm hợp lý. Vì lý do lịch sử, các bài toán tối ưu thường được biểu diễn dưới dạng bài toán cực tiểu hóa thay vì cực đại hóa. Do đó chúng ta có thể cực tiểu hóa hàm đối log hợp lý (Negative Log-Likelihood - NLL) \(-\log p(\mathbf y|\mathbf X)\) mà không cần thay đổi gì thêm. Kết nối các công thức trên, ta có:

(3.1.15)¶\[-\log p(\mathbf y|\mathbf X) = \sum_{i=1}^n \frac{1}{2} \log(2 \pi \sigma^2) + \frac{1}{2 \sigma^2} \left(y^{(i)} - \mathbf{w}^\top \mathbf{x}^{(i)} - b\right)^2.\]

Giờ ta chỉ cần thêm một giả định nữa: \(\sigma\) là một hằng số cố định. Do đó, ta có thể bỏ qua số hạng đầu tiên bởi nó không phụ thuộc vào \(\mathbf{w}\) hoặc \(b\). Còn số hạng thứ hai thì giống hệt hàm bình phương sai số đã được giới thiệu ở trên, nhưng được nhân thêm với hằng số \(\frac{1}{\sigma^2}\). May mắn thay, nghiệm không phụ thuộc vào \(\sigma\). Điều này dẫn tới việc cực tiểu hóa bình phương sai số tương đương với việc ước lượng hợp lý cực đại cho mô hình tuyến tính dưới giả định có nhiễu cộng Gauss.