Теорема Баєса
Теорема Баєса дозволяє уточнювати ймовірність якоїсь події після появи нових даних.
Розглянемо приклад. Припустимо нам потрібно визначити з якомога більшою ймовірністю хто за професією - бібліотекар чи фермер - чоловік на ім’я Стів. Нам відомо що він мешкає у США. Статистичні дані США свідчать що на одного бібліотекаря у США припадає двадцять фермерів. Отже - базова ставка - ймовірність того, що Стів бібліотекар становить 1/21 або 4%. Природно, ми схильні думати що Стів фермер.
Але, щоб покращити точність нашого припущення ми попросили додаткові дані і отримали наступну характеристику Стіва.
Стів сором’язливий і замкнутий, завжди готовий допомогти, але дуже мало цікавиться людьми або реальними речами. М’який та інтелігентний, він любить порядок і часто прискіпливий.
Тепер, після ознайомлення з характеристикою Стіва, ми майже на сто відсотків, впевнені що Стів бібліотекар, адже це типовий портрет бібліотекаря. Але не будемо поспішати. Бо якщо ми зробимо розрахунки з використанням теореми Баєса, їх результати нас дуже здивують.
Імовірність того що Стів бібліотекар виходячи із співвідношення бібліотекарів і фермерів у США складає 1/21 і називається апріорною імовірністю.
Початкова, або апріорна ймовірність описує міру нашої упевненості до отримання нами будь-яких додаткових даних.
Відповідно, апріорна ймовірність альтернативного припущення що Стів фермер, складає (1-1/21), тобто 20/21
Оскільки опис дуже схожий на опис бібліотекаря, правдоподібність припущення що Стів бібліотекар вважатимемо рівною 80%, але оскільки все ж існує невелика ймовірність що він фермер, правдоподібність цього припущення вважатимемо рівною 10%.
Ймовірність яку ми будемо розраховувати називається апостеріорною, бо включає міру нашої упевненості у певному результаті, яка визначається наявною у нас характеристикою Стіва та ймовірність альтернативного припущення.
Апостеріорна ймовірність описує нашу упевненість після отримання додаткових даних.
Розрахуємо апостеріорну ймовірність того що Стів бібліотекар з урахуванням правдоподібності.
$$ {\frac{\frac{1}{21}\times 0,8}{\frac{1}{21}\times 0,8+\frac{20}{21}\times 0,1}=0,28} $$
Як бачимо, розрахована ймовірність далека від інтуїтивної оцінки яку ми зробили після ознайомлення з характеристикою Стіва раніше.
Тобто, хоча риси характеру з опису і свідчить про велику ймовірність того що Стів бібліотекар, на результат суттєво впливає у 20 разів менша кількість бібліотекарів у США порівняно з кількістю фермерів.