Bayes təhlili

Kontingensiya cədvəli

Hipotez Sübut	Hipotezi ödəyir H	Hipotezi pozur Şablon:Tmath		Cəm
Sübut var E	${\displaystyle P(H\mid E)\cdot P(E)}$ ${\displaystyle =P(E\mid H)\cdot P(H)}$	${\displaystyle P(\neg H\mid E)\cdot P(E)}$ ${\displaystyle =P(E\mid \neg H)\cdot P(\neg H)}$		Şablon:Tmath
Sübut yoxdur Şablon:Tmath	${\displaystyle P(H\mid \neg E)\cdot P(\neg E)}$ ${\displaystyle =P(\neg E\mid H)\cdot P(H)}$	${\displaystyle P(\neg H\mid \neg E)\cdot P(\neg E)}$ ${\displaystyle =P(\neg E\mid \neg H)\cdot P(\neg H)}$		${\displaystyle P(\neg E)}$= ${\displaystyle 1-P(E)}$
Cəm	Şablon:Tmath	${\displaystyle P(\neg H)=1-P(H)}$	1

Bayes inferensiyası aposterior ehtimalı iki öncülün nəticəsi kimi əldə edir: aprior ehtimal və müşahidə olunan məlumatlar üçün statistik modeldən çıxarılan “ehtimal funksiyası”. Bayes inferensiyası aposterior ehtimalı Bayes teoreminə əsasən hesablayır:

$${\displaystyle P(H\mid E)={\frac {P(E\mid H)\cdot P(H)}{P(E)}},}$$

burada:

• ${\displaystyle H}$ — ehtimalı məlumatlardan (aşağıda “sübut” adlandırılır) asılı olaraq dəyişə bilən istənilən hipotezdir. Çox vaxt rəqabət aparan bir neçə hipotez olur və məqsəd onların hansının daha ehtimallı olduğunu müəyyən etməkdir.
• ${\displaystyle P(H)}$ — aprior ehtimaldır və ${\displaystyle E}$ sübutları müşahidə olunmazdan əvvəl hipotez ${\displaystyle H}$-nin ehtimalını ifadə edir.
• ${\displaystyle E}$ — sübutdur və aprior ehtimalın hesablanmasında istifadə olunmamış yeni məlumatlara uyğundur.
• ${\displaystyle P(H\mid E)}$ — aposterior ehtimaldır, yəni ${\displaystyle E}$ müşahidə edildikdən sonra
• ${\displaystyle H}$-nin ehtimalı. Bu, axtardığımız əsas kəmiyyətdir.
• ${\displaystyle P(E\mid H)}$ — ${\displaystyle H}$ doğru olduğu halda ${\displaystyle E}$-nin müşahidə olunma ehtimalıdır və likelihood adlanır. ${\displaystyle H}$ sabit saxlanılmaqla ${\displaystyle E}$-nin funksiyası kimi götürüldükdə, bu funksiya sübutun verilmiş hipotezlə uyğunluğunu göstərir. Ehtimal sübutun funksiyasıdır, aposterior ehtimal isə hipotezin funksiyasıdır.
• ${\displaystyle P(E)}$ — marjinal likelihood və ya “model sübutu” adlanır. Bu amil nəzərdən keçirilən bütün hipotezlər üçün eynidir və buna görə də hipotezlərin nisbi ehtimallarının müqayisəsinə təsir etmir.
• ${\displaystyle P(E)>0}$ (əks halda ${\displaystyle 0/0}$ alınar).

${\displaystyle H}$-nin müxtəlif qiymətləri üçün ${\displaystyle P(H\mid E)}$-nin dəyərinə yalnız surətdə olan ${\displaystyle P(H)}$ və ${\displaystyle P(E\mid H)}$ təsir göstərir – ; yəni hipotezin aposterior ehtimalı onun aprior ehtimalı (daxili inandırıcılığı) və yeni sübutlarla uyğunluğu ilə mütənasibdir.

${\displaystyle \neg H}$ (“${\displaystyle H}$ deyil”), yəni ${\displaystyle H}$-nin məntiqi inkarı, etibarlı hipotez olduqda Bayes qaydası aşağıdakı kimi yenidən yazıla bilər:

$${\displaystyle {\begin{aligned}P(H\mid E)&={\frac {P(E\mid H)P(H)}{P(E)}}\\\\&={\frac {P(E\mid H)P(H)}{P(E\mid H)P(H)+P(E\mid \neg H)P(\neg H)}}\\\\&={\frac {1}{1+\left({\frac {1}{P(H)}}-1\right){\frac {P(E\mid \neg H)}{P(E\mid H)}}}}\end{aligned}}}$$

çünki

$${\displaystyle P(E)=P(E\mid H)P(H)+P(E\mid \neg H)P(\neg H)}$$

və

$${\displaystyle P(H)+P(\neg H)=1.}$$

Bu, aşağıdakı ifadəyə diqqəti yönəldir:

$${\displaystyle \left({\tfrac {1}{P(H)}}-1\right){\tfrac {P(E\mid \neg H)}{P(E\mid H)}}.}$$

Əgər bu ifadə təqribən 1-ə bərabərdirsə, onda sübut verildikdə hipotezin ehtimalı ${\displaystyle P(H\mid E)}$ təxminən ${\displaystyle {\tfrac {1}{2}}}$-yə, yəni 50%-ə bərabərdir. Əgər bu termin çox kiçikdirsə (sıfra yaxın), onda ${\displaystyle P(H\mid E)}$ 1-ə yaxın olur və hipotez kifayət qədər ehtimallı sayılır. Əgər termin çox böyükdürsə (1-dən xeyli böyük), hipotez sübutlara baxmayaraq ehtimalsızdır. Əgər hipotez sübutlar nəzərə alınmadan da ehtimalsızdırsa, onda ${\displaystyle P(H)}$ kiçikdir (amma mütləq son dərəcə kiçik deyil) və ${\displaystyle {\tfrac {1}{P(H)}}}$ 1-dən xeyli böyük olur; bu halda termin təqribən ${\displaystyle {\tfrac {P(E\mid \neg H)}{P(E\mid H)\cdot P(H)}}}$ kimi ifadə oluna bilər və müvafiq ehtimallar birbaşa müqayisə edilə bilər.

Düsturu yadda saxlamağın sadə üsullarından biri vurma qaydasından istifadə etməkdir:

$${\displaystyle P(E\cap H)=P(E\mid H)P(H)=P(H\mid E)P(E).}$$

Bayes yenilənməsi geniş şəkildə istifadə olunur və hesablama baxımından əlverişlidir. Lakin o, rasional hesab edilə bilən yeganə yenilənmə qaydası deyildir.

İen Hakkinq qeyd etmişdir ki, ənənəvi “Dutch book” arqumentləri Bayes yenilənməsini konkret şəkildə tələb etmir: bu arqumentlər qeyri-Bayes yenilənmə qaydalarının da Dutch book-lardan yayınmasının mümkünlüyünü açıq saxlayır. Hacking yazır:^[1] “Və nə Dutch book arqumenti, nə də şəxsi ehtimal yanaşmasının sübut arsenalındakı digər arqumentlər dinamik fərziyyəni tələb edir. Heç biri Bayesianizmi zəruri etmir. Buna görə də personalist Bayesçi olmaq üçün əlavə dinamik fərziyyə qəbul etməlidir. Doğrudur, ardıcıllıq naminə personalist təcrübədən öyrənmənin Bayes modelindən imtina edə bilər. Bu halda isə duz öz dadını itirər.”

Doğrudan da, Riçard Ceffri qaydasının nəşrindən sonra (burada Bayes qaydası sübutun özünün də ehtimalla qiymətləndirildiyi hallara tətbiq olunur) “ehtimal kinematikası” ədəbiyyatında müzakirə edildiyi kimi, Dutch book-lardan yayınan qeyri-Bayes yenilənmə qaydaları mövcuddur.^[2] Bayes yenilənməsini yeganə zəruri qayda kimi tələb etmək üçün lazım olan əlavə hipotezlər isə əhəmiyyətli, mürəkkəb və qənaətbəxş olmayan hesab edilmişdir.^[3]

Tutaq ki, bir proses müstəqil və eyni paylanmaya malik hadisələr yaradır: ${\displaystyle E_{n},\ n=1,2,3,\ldots }$, lakin bu hadisələrin ehtimal paylanması naməlumdur. Hadisə məkanı ${\displaystyle \Omega }$ bu proses barədə mövcud inam vəziyyətini təmsil etsin. Hər bir model ${\displaystyle M_{m}}$ hadisəsi ilə ifadə olunur. Modelləri müəyyən etmək üçün ${\displaystyle P(E_{n}\mid M_{m})}$ şərti ehtimalları verilir. ${\displaystyle P(M_{m})}$ isə ${\displaystyle M_{m}}$-ə olan inam dərəcəsini ifadə edir. İlk inferensiya addımından əvvəl ${\displaystyle {P(M_{m})}}$ çoxluğu ilkin aprior ehtimallar toplusudur. Bu ehtimalların cəmi 1-ə bərabər olmalıdır, lakin başqa baxımdan ixtiyaridir.

Fərz edək ki, prosesin ${\displaystyle E\in {E_{n}}}$ hadisəsini yaratdığı müşahidə olunur. Hər bir ${\displaystyle M\in {M_{m}}}$ üçün aprior ${\displaystyle P(M)}$ ehtimalı aposterior ${\displaystyle P(M\mid E)}$ ehtimalına yenilənir. Bayes teoreminə görə:^[4]

$${\displaystyle P(M\mid E)={\frac {P(E\mid M)}{\sum _{m}{P(E\mid M_{m})P(M_{m})}}}\cdot P(M).}$$

Əlavə sübut müşahidə edildikcə bu prosedur təkrar oluna bilər.

Müstəqil və eyni paylanmaya malik müşahidələr ardıcıllığı üçün ${\displaystyle \mathbf {E} =(e_{1},\dots ,e_{n})}$, induksiya yolu ilə göstərilə bilər ki, yuxarıdakı qaydanın təkrar-təkrar tətbiqi aşağıdakı ifadəyə ekvivalentdir:

$${\displaystyle P(M\mid \mathbf {E} )={\frac {P(\mathbf {E} \mid M)}{\sum _{m}{P(\mathbf {E} \mid M_{m})P(M_{m})}}}\cdot P(M),}$$

burada

$${\displaystyle P(\mathbf {E} \mid M)=\prod _{k}{P(e_{k}\mid M)}.}$$

Modellər məkanını parametrləşdirməklə bütün modellərə olan inamı bir addımda yeniləmək mümkündür. Bu halda model məkanı üzrə inam paylanması parametr məkanı üzrə inam paylanması kimi şərh edilə bilər. Bu bölmədə paylanmalar fasiləsiz hesab olunur və ehtimal sıxlıqları ilə ifadə edilir; bu, ən çox rast gəlinən haldır. Lakin texnika diskret paylanmalara da eyni dərəcədə tətbiq oluna bilər.

${\displaystyle {\boldsymbol {\theta }}}$ vektoru parametr məkanını əhatə etsin. ${\displaystyle {\boldsymbol {\theta }}}$ üzrə ilkin aprior paylanma ${\displaystyle p({\boldsymbol {\theta }}\mid {\boldsymbol {\alpha }})}$ olsun; burada ${\displaystyle {\boldsymbol {\alpha }}}$ apriorun öz parametrləri, yəni hiperparametrlərdir. ${\displaystyle \mathbf {E} =(e_{1},\dots ,e_{n})}$ müstəqil və eyni paylanmaya malik hadisə müşahidələri ardıcıllığı olsun və bütün ${\displaystyle e_{i}}$-lər bəzi ${\displaystyle {\boldsymbol {\theta }}}$ üçün ${\displaystyle p(e\mid {\boldsymbol {\theta }})}$ paylanmasına malik olsun. Bayes teoremi tətbiq edilərək ${\displaystyle {\boldsymbol {\theta }}}$ üzrə aposterior paylanma tapılır:

$${\displaystyle {\begin{aligned}p({\boldsymbol {\theta }}\mid \mathbf {E} ,{\boldsymbol {\alpha }})&={\frac {p(\mathbf {E} \mid {\boldsymbol {\theta }},{\boldsymbol {\alpha }})}{p(\mathbf {E} \mid {\boldsymbol {\alpha }})}}\cdot p({\boldsymbol {\theta }}\mid {\boldsymbol {\alpha }})\\&={\frac {p(\mathbf {E} \mid {\boldsymbol {\theta }},{\boldsymbol {\alpha }})}{\int p(\mathbf {E} \mid {\boldsymbol {\theta }},{\boldsymbol {\alpha }})\,p({\boldsymbol {\theta }}\mid {\boldsymbol {\alpha }})\,d{\boldsymbol {\theta }}}}\cdot p({\boldsymbol {\theta }}\mid {\boldsymbol {\alpha }}),\end{aligned}}}$$

burada

$${\displaystyle p(\mathbf {E} \mid {\boldsymbol {\theta }},{\boldsymbol {\alpha }})=\prod _{k}p(e_{k}\mid {\boldsymbol {\theta }}).}$$

The following books are listed in ascending order of probabilistic sophistication:

• Stone, JV (2013), "Bayes' Rule: A Tutorial Introduction to Bayesian Analysis", Download first chapter here, Sebtel Press, England.
• Dennis V. Lindley. Understanding Uncertainty, Revised Edition (2nd). John Wiley. 2013. ISBN 978-1-118-65012-7.
• Colin Howson; Peter Urbach. Scientific Reasoning: The Bayesian Approach (3rd). Open Court Publishing Company. 2005. ISBN 978-0-8126-9578-6.
• Berry, Donald A. Statistics: A Bayesian Perspective. Duxbury. 1996. ISBN 978-0-534-23476-8.
• Morris H. DeGroot; Mark J. Schervish. Probability and Statistics (third). Addison-Wesley. 2002. ISBN 978-0-201-52488-8.
• Bolstad, William M. (2007) Introduction to Bayesian Statistics: Second Edition, John Wiley ISBN 0-471-27020-2
• Winkler, Robert L. Introduction to Bayesian Inference and Decision (2nd). Probabilistic. 2003. ISBN 978-0-9647938-4-2. Updated classic textbook. Bayesian theory clearly presented.
• Lee, Peter M. Bayesian Statistics: An Introduction. Fourth Edition (2012), John Wiley ISBN 978-1-1183-3257-3
• Carlin, Bradley P.; Louis, Thomas A. Bayesian Methods for Data Analysis, Third Edition. Boca Raton, FL: Chapman and Hall/CRC. 2008. ISBN 978-1-58488-697-6.
• Gelman, Andrew; Carlin, John B.; Stern, Hal S.; Dunson, David B.; Vehtari, Aki; Rubin, Donald B. Bayesian Data Analysis, Third Edition. Chapman and Hall/CRC. 2013. ISBN 978-1-4398-4095-5.

• Berger, James O. Statistical Decision Theory and Bayesian Analysis. Springer Series in Statistics (Second). Springer-Verlag. 1985. Bibcode:1985sdtb.book.....B. ISBN 978-0-387-96098-2.
• Bernardo, José M.; Smith, Adrian F. M. Bayesian Theory. Wiley. 1994.
• Morris H. DeGroot, Optimal Statistical Decisions. Wiley Classics Library. 2004. (Originally published (1970) by McGraw-Hill.) ISBN 0-471-68029-X.
• Schervish, Mark J. Theory of statistics. Springer-Verlag. 1995. ISBN 978-0-387-94546-0.
• Jaynes, E. T. (1998). Probability Theory: The Logic of Science.
• O'Hagan, A. and Forster, J. (2003). Kendall's Advanced Theory of Statistics, Volume 2B: Bayesian Inference. Arnold, New York. ISBN 0-340-52922-9.
• Robert, Christian P. The Bayesian Choice: From Decision-Theoretic Foundations to Computational Implementation (paperback). Springer. 2007. ISBN 978-0-387-71598-8.
• Pearl, Judea. (1988). Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference, San Mateo, CA: Morgan Kaufmann.
• Pierre Bessière et al. (2013). "Bayesian Programming". CRC Press. ISBN 9781439880326
• Francisco J. Samaniego (2010). "A Comparison of the Bayesian and Frequentist Approaches to Estimation". Springer. New York, ISBN 978-1-4419-5940-9