18.11. Lý Thuyết Thông Tin - Đắm Mình Vào Học Sâu

Trang chủ » Tính Entropy Của Nguồn Tin » 18.11. Lý Thuyết Thông Tin - Đắm Mình Vào Học Sâu

Có thể bạn quan tâm

18.11.3.1. Entropy Kết hợp¶

Tương tự như entropy của một biến ngẫu nhiên (18.11.3), ta định nghĩa entropy kết hợp (joint entropy) \(H(X,Y)\) của cặp biến ngẫu nhiên \((X,Y)\) như sau

(18.11.9)¶\[H(X, Y) = −E_{(x, y) \sim P} [\log p_{X, Y}(x, y)].\]

Nếu \((X,Y)\) là rời rạc:

(18.11.10)¶\[H(X, Y) = - \sum_{x} \sum_{y} p_{X, Y}(x, y) \log p_{X, Y}(x, y).\]

Mặt khác, nếu \((X,Y)\) là liên tục, ta định nghĩa entropy kết hợp vi phân (differential joint entropy) như sau:

(18.11.11)¶\[H(X, Y) = - \int_{x, y} p_{X, Y}(x, y) \ \log p_{X, Y}(x, y) \;dx \;dy.\]

Ta có thể xem (18.11.9) như tổng mức độ ngẫu nhiên của cặp biến ngẫu nhiên. Ở một cực trị, nếu chúng giống hệt nhau (\(X = Y\)), thông tin của cặp biến này chính là thông tin của từng biến: \(H(X,Y) = H(X) = H(Y)\). Ở cực trị còn lại, nếu \(X\) và \(Y\) độc lập thì \(H(X,Y) = H(X) + H(Y)\). Tất nhiên, thông tin chứa trong một cặp biến ngẫu nhiên sẽ không thể nhỏ hơn entropy của từng biến ngẫu nhiên và không thể lớn hơn tổng entropy của chúng.

(18.11.12)¶\[H(X), H(Y) \le H(X, Y) \le H(X) + H(Y).\]

Hãy cùng lập trình entropy kết hợp từ đầu.

def joint_entropy(p_xy): joint_ent = -p_xy * np.log2(p_xy) # Operator nansum will sum up the non-nan number out = nansum(joint_ent.as_nd_ndarray()) return out joint_entropy(np.array([[0.1, 0.5], [0.1, 0.3]])) [1.6854753] <NDArray 1 @cpu(0)>

Hãy để ý rằng đây chính là đoạn mã từ trước, nhưng giờ ta hiểu nó theo cách khác khi làm việc với phân phối kết hợp của hai biến ngẫu nhiên.

Từ khóa » Tính Entropy Của Nguồn Tin