Phân Tích Thống Kê Các Giá Trị Số (thống Kê Phi Tham Số ...

trong lý thuyết xác suất và thống kê toán học, các họ tham số khác nhau của các phân phối của các biến số ngẫu nhiên được xem xét. Cụ thể, các họ của phân phối chuẩn, phân bố chuẩn logarit, hàm mũ, gamma, phân phối Weibull-Gnedenko, v.v. được nghiên cứu. Tất cả chúng phụ thuộc vào một, hai hoặc ba tham số. Vì vậy, để mô tả đầy đủ phân phối, chỉ cần biết hoặc ước lượng một, hai hoặc ba số là đủ. Rất thoải mái. Do đó, lý thuyết tham số của thống kê toán học được phát triển rộng rãi, trong đó giả định rằng các phân bố của các kết quả quan sát thuộc về một hoặc một họ tham số khác.

Thật không may, họ tham số chỉ tồn tại trong tâm trí của các tác giả sách giáo khoa về lý thuyết xác suất và thống kê toán học. Chúng không tồn tại trong cuộc sống thực. Do đó, kinh tế lượng chủ yếu sử dụng các phương pháp phi tham số, trong đó các phân bố của các kết quả quan sát có thể có dạng tùy ý.

Đầu tiên, sử dụng ví dụ về phân phối chuẩn, chúng ta sẽ thảo luận chi tiết hơn về khả năng không thể sử dụng thực tế của họ tham số để mô tả phân phối của dữ liệu kinh tế cụ thể. Sau đó, chúng tôi sẽ phân tích các phương pháp tham số để bác bỏ các quan sát ngoại lệ và chứng minh tính không thể sử dụng trong thực tế của một số phương pháp thống kê tham số, tính sai lầm của các kết luận mà chúng dẫn đến. Sau đó, chúng tôi sẽ phân tích các phương pháp ước lượng tin cậy phi tham số về các đặc điểm chính của các biến số ngẫu nhiên - kỳ vọng toán học, trung vị, phương sai, độ lệch chuẩn, hệ số biến thiên. Bài giảng sẽ kết thúc với các phương pháp kiểm tra tính đồng nhất của hai mẫu, độc lập hoặc liên quan.

Sự phân bố của các quan sát thường là bình thường?

Trong các mô hình kinh tế lượng và kinh tế - toán học được sử dụng, cụ thể là trong nghiên cứu và tối ưu hóa các quy trình tiếp thị và quản lý, quản lý doanh nghiệp và khu vực, tính chính xác và ổn định của các quy trình công nghệ, trong các vấn đề về độ tin cậy, an toàn, bao gồm an toàn môi trường, hoạt động của kỹ thuật thiết bị và đối tượng, việc phát triển các biểu đồ tổ chức thường áp dụng các khái niệm và kết quả của lý thuyết xác suất và thống kê toán học. Trong trường hợp này, các họ tham số nhất định của phân phối xác suất thường được sử dụng. Phổ biến nhất phân phối bình thường. Cũng được sử dụng theo lôgarit phân phối bình thường, phân phối theo hàm mũ, phân phối gamma, phân phối Weibull-Gnedenko, v.v.

Rõ ràng, luôn luôn cần thiết để kiểm tra sự phù hợp của các mô hình với thực tế. Có hai câu hỏi. Các bản phân phối thực tế có khác với các bản phân phối được sử dụng trong mô hình không? Sự khác biệt này ảnh hưởng đến kết luận ở mức độ nào?

Dưới đây, bằng cách sử dụng ví dụ về phân phối chuẩn và các phương pháp bác bỏ các quan sát khác nhau rõ rệt (giá trị ngoại lai) dựa trên nó, cho thấy rằng các phân phối thực hầu như luôn khác với các phân phối có trong họ tham số cổ điển và độ lệch hiện có từ các họ đã cho đưa ra kết luận không chính xác, trong trường hợp đang được xem xét, về việc từ chối dựa trên việc sử dụng các họ này.

Có lý do nào để giả định trước tính chuẩn mực của các kết quả đo không?

Đôi khi người ta lập luận rằng trong trường hợp lỗi đo lường (hoặc giá trị ngẫu nhiên) được xác định là kết quả của tác động tổng hợp của nhiều yếu tố nhỏ, sau đó, theo Định lý Giới hạn Trung tâm (CLT) của lý thuyết xác suất, giá trị này được xấp xỉ (theo phân phối) bởi một biến ngẫu nhiên thông thường. Tuyên bố này đúng nếu các yếu tố nhỏ hoạt động cộng hưởng và độc lập với nhau. Nếu chúng hoạt động theo cấp số nhân, thì do cùng CLT, cần phải tính gần đúng bằng phân phối log-chuẩn. Trong các bài toán ứng dụng, thường không thể chứng minh tính cộng hơn là tính nhân của hành động của các yếu tố nhỏ. Nếu sự phụ thuộc có tính chất tổng quát, không được rút gọn thành dạng cộng hoặc phép nhân và không có căn cứ để chấp nhận các mô hình cung cấp phân phối hàm mũ, Weibull-Gnedenko, gamma hoặc các phân phối khác, thì thực tế không có gì được biết về phân phối của biến ngẫu nhiên cuối cùng, ngoại trừ các thuộc tính nội bộ toán học như tính đều đặn.

Khi xử lý dữ liệu cụ thể, đôi khi người ta tin rằng lỗi đo lường có phân phối bình thường. Trên giả định về tính chuẩn tắc, các mô hình cổ điển về hồi quy, phân tán, phân tích nhân tố, các mô hình đo lường vẫn tiếp tục được tìm thấy trong các tài liệu quy chuẩn và kỹ thuật trong nước và các tiêu chuẩn quốc tế. Các mô hình tính toán mức tối đa có thể đạt được của các đặc tính nhất định được sử dụng trong thiết kế các hệ thống nhằm đảm bảo an toàn cho hoạt động của các cơ cấu kinh tế, thiết bị kỹ thuật và các đối tượng dựa trên cùng một giả định. Tuy nhiên, không có cơ sở lý thuyết nào cho một giả định như vậy. Nó là cần thiết để nghiên cứu thực nghiệm sự phân bố của sai số.

Kết quả thí nghiệm cho thấy điều gì? Phần tóm tắt được đưa ra trong chuyên khảo cho phép chúng ta phát biểu rằng trong hầu hết các trường hợp, sự phân bố của sai số đo khác với sai số bình thường. Vì vậy, tại Viện Kỹ thuật Máy-Điện (Varna, Bulgaria), sự phân bố của sai số hiệu chuẩn đối với thang đo của các dụng cụ đo điện tương tự đã được nghiên cứu. Các thiết bị được sản xuất tại Tiệp Khắc, Liên Xô và Bulgaria đã được nghiên cứu. Luật phân phối lỗi hóa ra giống nhau. Nó có mật độ

Chúng tôi đã phân tích dữ liệu về các tham số của 219 phân bố sai số thực tế, được nghiên cứu bởi các tác giả khác nhau, khi đo cả các đại lượng điện và không điện với nhiều loại thiết bị (điện) khác nhau. Theo kết quả của nghiên cứu này, nó chỉ ra rằng 111 phân phối, tức là khoảng 50% thuộc về loại phân bố với mật độ

tham số độ ở đâu; - tham số dịch chuyển; - tham số tỷ lệ; - hàm gamma của đối số;

Phòng thí nghiệm Toán học Ứng dụng của Đại học Bang Tartu đã phân tích 2.500 mẫu từ kho lưu trữ dữ liệu thống kê thực. Trong 92%, giả thuyết về tính bình thường đã bị bác bỏ.

Các mô tả trên về dữ liệu thực nghiệm cho thấy rằng sai số đo trong hầu hết các trường hợp có phân bố khác với sai số bình thường. Đặc biệt, điều này có nghĩa là hầu hết các ứng dụng của bài kiểm tra t của Student, Phân tích hồi quy và các phương pháp thống kê khác dựa trên lý thuyết bình thường, nói một cách chính xác, không được chứng minh, vì tiên đề về tính chuẩn của phân phối của các biến ngẫu nhiên tương ứng làm cơ sở cho chúng là không chính xác.

Rõ ràng, để biện minh hoặc thay đổi hợp lý cách thực hành phân tích dữ liệu thống kê hiện nay, cần phải nghiên cứu các đặc tính của thủ tục phân tích dữ liệu trong các ứng dụng "bất hợp pháp". Nghiên cứu về các thủ tục bác bỏ đã chỉ ra rằng chúng cực kỳ không ổn định đối với những sai lệch so với chuẩn mực, và do đó không nên sử dụng chúng để xử lý dữ liệu thực (xem bên dưới); do đó, người ta không thể khẳng định rằng một thủ tục được thực hiện tùy tiện là ổn định chống lại những sai lệch so với quy chuẩn.

Đôi khi người ta đề nghị rằng trước khi áp dụng, ví dụ, kiểm tra của Học sinh về tính đồng nhất của hai mẫu, hãy kiểm tra tính chuẩn mực. Mặc dù có nhiều tiêu chí cho điều này, nhưng kiểm tra tính chuẩn mực là một thủ tục thống kê phức tạp và tốn thời gian hơn so với kiểm tra tính đồng nhất (cả với thống kê kiểu Sinh viên và với kiểm tra không tham số). Cần phải có một số lượng lớn các quan sát để thiết lập tính chuẩn mực một cách đủ tin cậy. Vì vậy, để đảm bảo rằng hàm phân phối của các kết quả quan sát khác với một số bình thường không quá 0,01 (đối với bất kỳ giá trị nào của đối số), cần có khoảng 2500 quan sát. Trong hầu hết các nghiên cứu kinh tế, kỹ thuật, y sinh và các nghiên cứu ứng dụng khác, số lượng các quan sát ít hơn đáng kể. Điều này đặc biệt đúng đối với dữ liệu được sử dụng trong nghiên cứu các vấn đề liên quan đến đảm bảo an toàn cho hoạt động của các cơ cấu kinh tế và các đối tượng kỹ thuật.

Đôi khi họ cố gắng sử dụng CCT để phân bố gần đúng sai số so với sai số bình thường, bao gồm các bộ cộng đặc biệt trong sơ đồ công nghệ của thiết bị đo. Hãy đánh giá mức độ hữu ích của biện pháp này. Hãy để các biến ngẫu nhiên được phân phối giống hệt nhau độc lập với hàm phân phối như vậy mà xem xét

Chỉ số về mức độ gần với bình thường được cung cấp bởi bộ cộng là

Bất đẳng thức bên phải trong quan hệ cuối cùng dựa trên ước lượng của hằng số trong bất đẳng thức Berry-Esseen có được trong cuốn sách và bất đẳng thức bên trái từ ví dụ trong chuyên khảo. Vì luật bình thường, cho đồng nhất, cho hai điểm (đây là giới hạn dưới cho). Do đó, để đảm bảo khoảng cách (theo số liệu Kolmogorov) đến phân phối chuẩn không quá 0,01 đối với các phân phối "không thành công", cần có ít nhất các số hạng, trong đó xác suất rơi vào một tập hợp số thập phân rời rạc với một số nhất định là vị trí thập phân bằng 0.

Từ những điều trên, kết quả của các phép đo và nói chung, dữ liệu thống kê có các đặc tính dẫn đến thực tế là chúng phải được mô hình hóa bởi các biến ngẫu nhiên có phân bố ít nhiều khác với phân bố bình thường. Trong hầu hết các trường hợp, phân bố khác biệt đáng kể so với phân bố bình thường, trong những trường hợp khác, phân bố chuẩn rõ ràng có thể được coi là một dạng xấp xỉ nào đó, nhưng không bao giờ có sự trùng hợp hoàn toàn. Điều này bao hàm cả nhu cầu nghiên cứu các thuộc tính của các thủ tục thống kê cổ điển trong các mô hình xác suất(tương tự như những gì được thực hiện bên dưới đối với bài kiểm tra t của Student), và nhu cầu phát triển ổn định (có tính đến sự hiện diện của các sai lệch so với chuẩn mực) và phi tham số, bao gồm các thủ tục không có phân phối, giới thiệu rộng rãi của chúng vào thực tiễn thống kê xử lí dữ liệu.

Các cân nhắc bị bỏ qua ở đây đối với các họ tham số khác dẫn đến kết luận tương tự. Kết quả có thể được xây dựng như sau. Các phân phối dữ liệu thực hầu như không bao giờ thuộc về bất kỳ họ tham số cụ thể nào. Các phân phối thực luôn khác với các phân phối được bao gồm trong họ tham số. Sự khác biệt có thể lớn hoặc nhỏ, nhưng chúng luôn tồn tại. Chúng ta hãy cố gắng hiểu những khác biệt này quan trọng như thế nào đối với phân tích kinh tế lượng.

Phân phối chuẩn (phân phối Gaussian) luôn đóng một vai trò trung tâm trong lý thuyết xác suất, vì nó phát sinh rất thường xuyên do ảnh hưởng của nhiều yếu tố, đóng góp của bất kỳ yếu tố nào trong số đó là không đáng kể. Định lý Giới hạn Trung tâm (CLT) được ứng dụng trong hầu như tất cả các ngành khoa học ứng dụng, làm cho bộ máy thống kê trở nên phổ biến. Tuy nhiên, có những trường hợp rất thường xuyên xảy ra khi ứng dụng của nó là không thể, và các nhà nghiên cứu cố gắng bằng mọi cách có thể để sắp xếp các kết quả phù hợp với Gaussian. Đó là về một cách tiếp cận thay thế trong trường hợp ảnh hưởng đến sự phân bố của nhiều yếu tố, tôi sẽ nói với bạn ngay bây giờ. Lịch sử tóm tắt của CPT. Khi Newton vẫn còn sống, Abraham de Moivre đã chứng minh một định lý về sự hội tụ của một số lượng quan sát được tập trung và chuẩn hóa của một sự kiện trong một loạt các thử nghiệm độc lập về phân phối chuẩn. Trong suốt thế kỷ 19 và đầu thế kỷ 20, định lý này đóng vai trò như một mô hình khoa học cho các khái quát hóa. Laplace đã chứng minh trường hợp phân phối đều, Poisson - định lý cục bộ cho trường hợp có các xác suất khác nhau. Poincaré, Legendre và Gauss đã phát triển một lý thuyết phong phú về sai số quan sát và phương pháp bình phương nhỏ nhất dựa trên sự hội tụ của các sai số đến một phân phối chuẩn. Chebyshev đã chứng minh một định lý thậm chí còn mạnh hơn cho tổng các biến ngẫu nhiên bằng cách phát triển phương pháp mômen. Lyapunov vào năm 1900, dựa vào Chebyshev và Markov, đã chứng minh CLT ở dạng hiện tại của nó, nhưng chỉ với sự tồn tại của các mômen bậc ba. Và chỉ đến năm 1934, Feller mới chấm dứt nó, cho thấy sự tồn tại của những khoảnh khắc bậc hai vừa là điều kiện cần vừa là điều kiện đủ.

CLT có thể được xây dựng như sau: nếu các biến ngẫu nhiên độc lập, phân phối đều và có phương sai hữu hạn khác 0, thì tổng (ở giữa và chuẩn hóa) của các biến này hội tụ về luật chuẩn. Đó là hình thức mà định lý này được giảng dạy trong các trường đại học và rất thường được sử dụng bởi các nhà quan sát và các nhà nghiên cứu không chuyên về toán học. Có chuyện gì với cô ấy vậy? Thật vậy, định lý này có những ứng dụng tuyệt vời trong các lĩnh vực mà Gauss, Poincare, Chebyshev và các thiên tài khác của thế kỷ 19 đã nghiên cứu, đó là: lý thuyết về sai số quan sát, vật lý thống kê, bình phương nhỏ nhất, nghiên cứu nhân khẩu học, và có thể là những thứ khác. Nhưng các nhà khoa học thiếu sự độc đáo để khám phá, tổng quát hóa và muốn áp dụng định lý này cho mọi thứ, hoặc chỉ kéo phân phối chuẩn bằng tai, nơi mà nó đơn giản là không thể có được. Nếu bạn muốn ví dụ, tôi có chúng.

IQ thương số thông minh. Ban đầu, nó ngụ ý rằng trí thông minh của con người được phân bổ bình thường. Họ tiến hành một bài kiểm tra được biên soạn trước theo cách không tính đến những khả năng nổi trội mà được tính riêng với những yếu tố giống nhau: tư duy logic, thiết kế tinh thần, khả năng tính toán, tư duy trừu tượng và một số thứ khác. Khả năng giải quyết các vấn đề nằm ngoài khả năng của hầu hết hoặc vượt qua bài kiểm tra trong thời gian cực nhanh không được tính đến theo bất kỳ cách nào và việc vượt qua bài kiểm tra sớm hơn sẽ làm tăng kết quả (nhưng không phải là trí thông minh) trong tương lai. Và rồi những người philistines tin rằng “không ai có thể thông minh gấp đôi họ”, “chúng ta hãy lấy nó từ những nhà thông thái và chia sẻ nó”.

Ví dụ thứ hai: sự thay đổi của các chỉ số tài chính. Việc nghiên cứu những thay đổi trong giá cổ phiếu, giá tiền tệ, quyền chọn hàng hóa đòi hỏi phải sử dụng bộ máy thống kê toán học, và đặc biệt ở đây điều quan trọng là không được mắc sai lầm với kiểu phân phối. Trường hợp điển hình: năm 1997, Giải Nobel Kinh tế đã được trả cho đề xuất về mô hình Black-Scholes, dựa trên giả định về phân phối chuẩn của tăng trưởng trong các chỉ số chứng khoán (cái gọi là tiếng ồn trắng). Đồng thời, các tác giả tuyên bố rõ ràng rằng mô hình này cần được tinh chỉnh, nhưng tất cả những gì mà đa số các nhà nghiên cứu tiếp theo quyết định chỉ đơn giản là thêm phân phối Poisson vào phân phối chuẩn. Ở đây, rõ ràng, sẽ có sự thiếu chính xác trong nghiên cứu chuỗi thời gian dài, vì phân phối Poisson đáp ứng quá tốt CLT, và thậm chí với 20 số hạng, nó không thể phân biệt được với phân phối chuẩn. Nhìn vào hình bên dưới (và nó là từ một tạp chí kinh tế rất nghiêm túc), nó cho thấy rằng, mặc dù có một số lượng lớn các quan sát và sự sai lệch rõ ràng, phân phối được giả định là bình thường.

Rõ ràng là sự phân bổ tiền lương giữa dân số của thành phố, kích thước của các tập tin trên đĩa, dân số của các thành phố và quốc gia sẽ không bình thường.

Các phân phối từ các ví dụ này có điểm chung là sự hiện diện của cái gọi là "đuôi nặng", nghĩa là các giá trị khác xa giá trị trung bình và sự bất đối xứng đáng chú ý, thường là đúng. Hãy để chúng tôi xem xét những gì khác, ngoài bình thường, các phân phối như vậy có thể được. Hãy bắt đầu với Poisson đã đề cập trước đó: nó có một cái đuôi, nhưng chúng tôi muốn luật được lặp lại cho một tập hợp các nhóm, trong mỗi nhóm được quan sát (tính toán kích thước tệp cho một doanh nghiệp, mức lương cho một số thành phố) hoặc được chia tỷ lệ (tùy ý tăng hoặc giảm khoảng thời gian của mô hình Black-Scholes), như các quan sát cho thấy, đuôi và sự bất đối xứng không biến mất, nhưng phân phối Poisson, theo CLT, sẽ trở nên bình thường. Vì những lý do tương tự, bản phân phối Erlang, beta, logonormal và tất cả những thứ khác có tính phân tán sẽ không hoạt động. Nó vẫn chỉ để cắt bỏ phân phối Pareto, nhưng nó không phù hợp do sự trùng hợp của thời trang với giá trị nhỏ nhất, điều này hầu như không bao giờ xảy ra trong phân tích dữ liệu mẫu.

Các phân phối với các thuộc tính cần thiết tồn tại và được gọi là phân phối ổn định. Lịch sử của chúng cũng rất thú vị, và định lý chính đã được chứng minh một năm sau công trình của Feller, vào năm 1935, bởi những nỗ lực chung của nhà toán học Pháp Paul Levy và nhà toán học Liên Xô A.Ya. Khinchin. CLT đã được khái quát hóa, điều kiện tồn tại của sự phân tán đã được loại bỏ khỏi nó. Không giống như thông thường, cả mật độ và hàm phân phối của các biến ngẫu nhiên ổn định đều không được biểu thị (với một ngoại lệ hiếm gặp, được thảo luận bên dưới), tất cả những gì biết về chúng là hàm đặc trưng (biến đổi Fourier nghịch đảo của mật độ phân phối, nhưng để hiểu bản chất, điều này không thể biết được). Vì vậy, định lý: nếu các biến ngẫu nhiên là độc lập, phân bố đều, thì tổng của các biến này quy về một luật ổn định.

Bây giờ là định nghĩa. Giá trị ngẫu nhiên X sẽ ổn định nếu và chỉ khi lôgarit của hàm đặc trưng của nó có thể được biểu diễn dưới dạng:

ở đâu .

Thực ra, không có gì phức tạp lắm ở đây, bạn chỉ cần giải thích ý nghĩa của 4 tham số. Các tham số sigma và mu là tỷ lệ và độ lệch thông thường, như trong phân phối chuẩn, mu sẽ bằng với kỳ vọng nếu có, và đó là khi alpha lớn hơn một. Tham số beta là không đối xứng; nếu nó bằng 0, phân phối là đối xứng. Nhưng alpha là một tham số đặc trưng, ​​cho biết thứ tự các thời điểm tồn tại của một đại lượng, càng gần hai thì phân phối càng giống một đại lượng bình thường, nếu nó bằng hai thì phân phối trở thành chuẩn, và chỉ trong trường hợp này nó có các thời điểm có lệnh lớn, cũng trong trường hợp phân phối chuẩn, độ lệch suy giảm. Trong trường hợp alpha bằng một và beta bằng 0, thì phân phối Cauchy thu được, và trong trường hợp alpha bằng một nửa và beta bằng một, thì phân phối Levy, trong các trường hợp khác, không có biểu diễn trong phần tư cho mật độ phân bố của các đại lượng đó. Trong thế kỷ 20, một lý thuyết phong phú về các đại lượng và quá trình ổn định (gọi là quá trình Levy) đã được phát triển, mối liên hệ của chúng với tích phân phân số đã được chỉ ra, các phương pháp tham số hóa và mô hình hóa khác nhau được giới thiệu, các tham số được ước lượng theo một số cách, và tính nhất quán và ổn định trong số các ước tính đã được hiển thị. Nhìn vào bức ảnh, nó cho thấy quỹ đạo mô phỏng của quá trình Levy với một mảnh vỡ được phóng đại 15 lần.

Trong khi xử lý các quy trình như vậy và ứng dụng của chúng trong lĩnh vực tài chính, Benoit Mandelbrot đã đưa ra phương pháp phân dạng. Tuy nhiên, không phải ở đâu cũng tốt như vậy. Nửa sau của thế kỷ 20 trôi qua theo xu hướng chung của khoa học ứng dụng và điều khiển học, đồng nghĩa với một cuộc khủng hoảng của toán học thuần túy, ai cũng muốn sản xuất, nhưng không muốn nghĩ, khoa học nhân văn chiếm lĩnh lĩnh vực toán học với báo chí của họ. Ví dụ: cuốn sách "Năm mươi bài toán xác suất có lời giải thú vị" của Người bán hàng nhiều nhất người Mỹ, bài toán số 11:

Giải pháp của tác giả cho vấn đề này chỉ đơn giản là một sự thất bại của lẽ thường:

Tình huống tương tự là với nhiệm vụ thứ 25, nơi BA câu trả lời trái ngược nhau được đưa ra.

Nhưng trở lại với các bản phân phối ổn định. Trong phần còn lại của bài viết, tôi sẽ cố gắng chỉ ra rằng không nên có thêm khó khăn khi làm việc với họ. Cụ thể, có các phương pháp số và thống kê cho phép bạn đánh giá các tham số, tính toán hàm phân phối và mô phỏng chúng, nghĩa là hoạt động theo cách giống như với bất kỳ phân phối nào khác.

Mô hình hóa các biến ngẫu nhiên ổn định. Vì mọi thứ đều được biết đến trong quá trình so sánh, trước tiên tôi sẽ nhắc lại phương pháp thuận tiện nhất, từ quan điểm tính toán, phương pháp tạo ra giá trị bình thường (phương pháp Box-Muller): if - biến ngẫu nhiên cơ bản (được phân phối đồng nhất trên)