Метод байеса в технической диагностике. Введение в байесовские методы
Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже
Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.
Размещено на http://www.allbest.ru/
Введение
Метод Байеса относится к статистическим методам распознавания, основное преимущество которых состоит в возможности одновременного учета признаков различной физической природы. Это связано с тем, что все признаки характеризуются безразмерными величинами - вероятностями их появления при различных состояниях системы.
Метод Байеса благодаря своей простоте и эффективности занимает особое место среди методов технической диагностики, хотя имеет и недостатки, например большой объем предварительной информации, «угнетение» редко встречающихся диагнозов и др. Однако в случаях, когда объем статистической информации позволяет применить метод Байеса, его целесообразно использовать как один из наиболее надежных и эффективных методов.
1. Основы метода Байеса
Метод основан на формуле Байеса (формуле вероятности гипотез).
Если имеется диагноз D i и простой признак k j , встречающийся при этом диагнозе, то вероятность совместного появления событий (наличие у объекта состояния D i и признака k j ), определяется по формуле:
P (D i k j ) = P (D i ) P (k j /D i ) = P (k j ) P (D i / k j ). (1.1.)
Из этого равенства вытекает формула Байеса:
P(D i / k j ) = P(D i ) P(k i /D i )/P(k j ) (1.2.)
Очень важно определить точный смысл всех входящих в эту формулу величин.
P (D i ) --вероятность диагноза D i , определяемая по статистическим данным (априорная вероятность диагноза ). Так, если предварительно обследовано N объектов и у N i объектов имелось состояние D i , то
P (D i ) = N i /N . (1.3.)
P (k j /D i k j у объектов с состоянием D i .
Если среди N i объектов, имеющих диагноз D i , у N ij проявился признак k j , то байес корреляционный вероятностный
P (k j /D i ) = N ij /N i . (1.4.)
P (k j ) --вероятность появления признака k j во всех объектах независимо от состояния (диагноза)объекта. Пусть из общего числа N объектов признак k j был обнаружен у N j объектов, тогда
P (k j ) = N j /N . (1.5.)
Для установления диагноза специальное вычисление P (kj ) не требуется. Как будет ясно из дальнейшего, значения P (D i )и P (k j / D i ), известные для всех возможных состояний, определяют величину P (k j ).
В равенстве P (D i /k j )--вероятность диагноза D i после того, как стало известно наличие у рассматриваемого объекта признака k j (апостериорная вероя т ность диагноза ).
2 . Обобщенная формула Байеса
Эта формула относится к случаю, когда обследование проводится по комплексу признаков К , включающему признаки k 1 , k 2 , ..., k v . Каждый из признаков k j имеет m j разрядов (k j l , k j 2 , ..., k js , ...,). В результате обследования становится известной реализация признака
k j * = k js (1.5.)
и всего комплекса признаков K *. Индекс *, как и раньше, означает конкретное значение (реализацию) признака. Формула Байеса для комплекса признаков имеет вид
P (D i / К * )= P (D i )P (К */D i )/P (К * )(i = 1, 2, ..., n ), (1.6.)
где P (D i / К * ) --вероятность диагноза D i после того, как стали известны результаты обследования по комплексу признаков К , P (D i ) --предварительная вероятность диагноза D i (по предшествующей статистике).
Формула (1.6.) относится к любому из n возможных состояний (диагнозов) системы. Предполагается, что система находится только в одном из указанных состояний и потому
В практических задачах нередко допускается возможность существования нескольких состояний А1, ….., Аr, причем некоторые из них могут встретиться в комбинации друг с другом.
P (К */ D i ) = P(k 1 */ D i )P (k 2 */ k 1 * D i )...P (k v */ k l * ...k* v- 1 D i ), (1.8.)
где k j * = k js --разряд признака, выявившийся в результате обследования. Для диагностически независимых признаков
P (К */ D i ) = P (k 1 */ D i ) P (k 2 */ D i )... P (k v * / D i ). (1.9.)
В большинстве практических задач, особенно при большом числе признаков, можно принимать условие независимости признаков даже при наличии существенных корреляционных связей между ними.
Вероятность появления комплекса признаков К *
P (К *)= P (D s )P (К */D s ) . (1.10.)
Обобщенная формула Байеса может быть записана так :
P (D i / K * ) (1.11.)
где P (К */ D i )определяется равенством (1.8.) или (1.9.). Из соотношения (1.11.) вытекает
P (D i / К *)=l, (1.12.)
что, разумеется, и должно быть, так как один из диагнозов обязательно реализуется, а реализация одновременно двух диагнозов невозможна. Следует обратить внимание на то, что знаменатель формулы Байеса для всех диагн о зов одинаков. Это позволяет сначала определить вероятности совместного появл е ния i -гo диагноза и данной реализации комплекса признаков
P (D i К *) = P (D i )P (К */D i ) (1.13.)
и затем апостериорную вероятность диагноза
P (D i /К *) = P (D i К *)/P (D s К *). (1.14.)
Отметим, что иногда целесообразно использовать предварительное логарифмирование формулы (1.11.), так как выражение (1.9.) содержит произведения малых величин.
Если реализация некоторого комплекса признаков К * является детерминирующей для диагноза D p , то этот комплекс не встречается при других диагнозах:
Тогда, в силу равенства (1.11.)
Таким образом, детерминистская логика установления диагноза является частным случаем вероятностной логики. Формула Байеса может использоваться и в том случае, когда часть признаков имеет дискретное распределение, а другая часть -- непрерывное. Для непрерывного распределения используются плотности распределения. Однако в расчетном плане указанное различие признаков несущественно, если задание непрерывной кривой осуществляется с помощью совокупности дискретных значений.
3 . Диагностическая матрица
Для определения вероятности диагнозов по методу Байеса необходимо составить диагностическую матрицу (табл. 1.1), которая формируется на основе предварительного статистического материала. В этой таблице содержатся вероятности разрядов признаков при различных диагнозах.
Таблица 1.1
Диагностическая матрица в методе Байеса
|
ДиагнозD i |
Признак k j |
|||||||||
|
k 1 |
k 2 |
|||||||||
|
P(k 11 /D i ) |
P(k 12 /D i ) |
P(k 21 /D i ) |
P(k 22 /D i ) |
P(k 23 /D i ) |
P(k 24 /D i ) |
P(k 31 /D i ) |
P(k 32 /D i ) |
|||
|
D 1 |
||||||||||
|
D 2 |
Если признаки двухразрядные (простые признаки «да -- нет»), то в таблице достаточно указать вероятность появления признака Р (k i /D i ). Вероятность отсутствия признака Р ( /D,-) = 1 - Р (k i /D i ).
Однако более удобно использовать единообразную форму, полагая, например, для двухразрядного признака Р (k j /D i ) = Р (k i 1 /D i ); Р ( /D,) = Р (k i 2 /D i ).
Отметим, что P(k js /Di) = 1, где т, -- число разрядов признака k j . Сумма вероятностей всех возможных реализаций признака равна единице.
В диагностическую матрицу включены априорные вероятности диагнозов. Процесс обучения в методе Байеса состоит в формировании диагностической матрицы. Важно предусмотреть возможность уточнения таблицы в процессе диагностики. Для этого в памяти ЭВМ следует хранить не только значения P(k js /Di), но и следующие величины: N -- общее число объектов, использованных для составления диагностической матрицы; N i D i ; N ij -- число объектов с диагнозом D i , обследованных по признаку k j . Если поступает новый объект с диагнозом D м , то проводится корректировка прежних априорных вероятностей диагнозов.
Далее вводятся поправки к вероятностям признаков. Пусть у нового объекта с диагнозом D м выявлен разряд r признака k j . Тогда для дальнейшей диагностики принимаются новые значения вероятности интервалов признака k j при диагнозе D м :
Условные вероятности признаков при других диагнозах корректировки не требуют.
Заключение
В методе Байеса объект с комплексом признаков К * относится к диагнозу с наибольшей (апостериорной) вероятностью
K* D i , если P(D i / K *) > P(D j / K *) (j = 1, 2,..., n ; i ? j ). (1.17.)
Символ , применяемый в функциональном анализе, означает принадлежность множеству. Условие (1.17.) указывает, что объект, обладающий данной реализацией комплекса признаков К * или, короче, реализация К * принадлежит диагнозу (состоянию) D i . Правило (1.17.) обычно уточняется введением порогового значения для вероятности диагноза:
P (D i / K *) ? P i , (1.18.)
где P i . -- заранее выбранный уровень распознавания для диагноза D i . При этом вероятность ближайшего конкурирующего диагноза не выше 1 - P i . Обычно принимается P i ? 0,9. При условии
P(D i / K *)
i (1.19.)
решение о диагнозе не принимается (отказ от распознавания) и требуется поступление дополнительной информации.
Процесс принятия решения в методе Байеса при расчете на ЭВМ происходит достаточно быстро. Например, постановка диагноза для 24 состояний при 80 многоразрядных признаках занимает на ЭВМ с быстродействием 10 - 20 тысяч операций в секунду всего несколько минут.
Как указывалось, методу Байеса присущи некоторые недостатки, например погрешности при распознавании редких диагнозов. При практических расчетах целесообразно провести диагностику и для случая равновероятностных диагнозов, положив
P(D i ) = l / n (1.20.)
Тогда наибольшим значением апостериорной вероятности будет обладать диагноз D i , для которого Р (K* /D i ) максимальна:
K* D i , если P(K* /D i ) > P(K* /D j ) (j = 1, 2,..., n ; i ? j ). (1.21.)
Иными словами, устанавливается диагноз D i если данная совокупность признаков чаще встречается при диагнозе D i , чем при других диагнозах. Такое решающее правило соответствует методу максимального правдоподобия. Из предыдущего вытекает, что этот метод является частным случаем метода Байеса при одинаковых априорных вероятностях диагнозов. В методе максимального правдоподобия «частые» и «редкие» диагнозы равноправны.
Список использованных источников
1. Горелик, А. Л. Методы распознавания [Текст] : учеб. пособие для вузов / А. Л. Горелик, В. А. Скрипкин. - М. : Высш. шк., 2004. - 261 с.
2. Сапожников, В. В. Основы технической диагностики [Текст] : учеб. пособие / В. В. Сапожников, Вл. В. Сапожников. - М. : Маршрут, 2004. - 318 с.
3. Сердаков, А. С. Автоматический контроль и техническая диагностика [Текст] / А. С. Сердаков. - Киев: Техника, 1971. - 244 с.
4. Стецюк. А. Е. «Основы технической диагностики. Теория распознавания»: учеб. пособие / А. Е. Стецюк, Я. Ю. Бобровников. - Хабаровск: Изд-во ДВГУПС, 2012. - 69 с.
Размещено на Allbest.ru
Подобные документы
Изучение наиболее типичных алгоритмов решения задач, имеющих вероятностный характер. Ознакомление с элементами комбинаторики, теорией урн, формулой Байеса, способами нахождения дискретных, непрерывных случайных величин. Рассмотрение основ алгебры событий.
методичка , добавлен 06.05.2010
Определение и оценка вероятности наступления заданного события. Методика решения задачи, с использованием теоремы сложения и умножения, формулы полной вероятности или Байеса. Применение схемы Бернулли при решении задач. Расчет квадратического отклонения.
практическая работа , добавлен 23.08.2015
Статистическое, аксиоматическое и классическое определение вероятности. Дискретные случайные величины. Предельные теоремы Лапласа и Пуассона. Функция распределения вероятностей для многомерных случайных величин. Формула Байеса. Точечная оценка дисперсии.
шпаргалка , добавлен 04.05.2015
Вычисление вероятности непогашения кредита юридическим и физическим лицом, с помощью формулы Байеса. Расчет выборочной дисперсии, его методика, основные этапы. Определение вероятности выпадания белого шара из трех, взятых наудачу, обоснование результата.
контрольная работа , добавлен 11.02.2014
Применение формул и законов теории вероятности при решении задач. Формула Байеса, позволяющая определить вероятность какого-либо события при условии, что произошло другое статистически взаимозависимое с ним событие. Центральная предельная теорема.
курсовая работа , добавлен 04.11.2015
Опыт со случайным исходом. Статистическая устойчивость. Понятие вероятности. Алгебра событий. Принцип двойственности для событий. Условные вероятности. Формулы сложения и умножения вероятностей. Формула Байеса. Пространство элементарных событий.
реферат , добавлен 03.12.2007
Определение вероятности выпадения не менее 4-х очков на игральной кости при кидании ее один раз. Определение вероятности изготовления детали (если наудачу взятая сборщиком деталь оказалась отличного качества) первым заводом из используя формулу Байеса.
контрольная работа , добавлен 29.05.2012
Показатели безотказности как показатели надежности невосстанавливаемых объектов. Классическое и геометрическое определение вероятности. Частота случайного события и "статистическое определение" вероятности. Теоремы сложения и умножения вероятностей.
курсовая работа , добавлен 18.11.2011
Дискретные случайные величины и их распределения. Формула полной вероятности и формула Байеса. Общие свойства математического ожидания. Дисперсия случайной величины. Функция распределения случайной величины. Классическое определение вероятностей.
контрольная работа , добавлен 13.12.2010
Математические модели явлений или процессов. Сходимость метода простой итерации. Апостериорная оценка погрешности. Метод вращений линейных систем. Контроль точности и приближенного решения в рамках прямого метода. Метод релаксации и метод Гаусса.
Основы метода Обобщенная формула Байеса. МЕТОД БАЙЕСА Среди методов технической диагностики метод основанный на обобщенной формуле Байеса Теорема Байеса или формула Байеса одна из основных теорем теории вероятностей которая позволяет определить вероятность того что произошло какоелибо событиегипотеза при наличии лишь косвенных тому подтверждений данных которые могут быть неточны занимает особое место благодаря простоте и эффективности. Метод Байеса имеет недостатки: большой объем...
Поделитесь работой в социальных сетях
Если эта работа Вам не подошла внизу страницы есть список похожих работ. Так же Вы можете воспользоваться кнопкой поиск
Лекция 6
Тема. СТАТИСТИЧЕСКИЕ МЕТОДЫ РАСПОЗНАВАНИЯ
Цель. Дать понятие распознавания цифрового сигнала .
Учебная. Разъяснить процесс распознавания цифрового сигнала.
Развивающая. Развивать логическое мышление и естественное - научное мировоззрение.
Воспитательная . Воспитывать интерес к научным достижениям и открытиям в отрасли телекоммуникации.
Межпредметные связи:
Обеспечивающие: информатика, математика, вычислительная техника и МП , системы программирования.
Обеспечиваемые: Стажерская практика
Методическое обеспечение и оборудование:
Методическая разработка к занятию.
Учебный план.
Учебная программа
Рабочая программа.
Инструктаж по технике безопасности.
Технические средства обучения: персональный компьютер.
Обеспечение рабочих мест:
Рабочие тетради
Ход лекции.
Организационный момент.
Анализ и проверка домашней работы
Ответьте на вопросы:
- В чем заключается отличие цифровых сигналов от аналоговых?
- Какие классы диаграмм используются при проведении измерений?
- Дайте краткое описание каждому классу.
- Что используется для построения глазковой диаграммы?
- Поясните суть глазковой диаграммы.
План лекции
- МЕТ ОД БАЙЕСА
- Основы метода
- Обобщенная формула Байеса.
- Диагностическая матрица.
- Решающее правило
- Основы метода.
- Общая процедура метода.
Основное преимущество статистических методов распознавания состоит в возможности одновременного учета признаков различной физической природы, так как они характеризуются безразмерными величинами вероятностями их появления при различных состояниях системы .
- МЕТ ОД БАЙЕСА
Среди методов технической диагностики метод, основанный на обобщенной формуле Байеса (Теорема Байеса (или формула Байеса) одна из основных теорем теории вероятностей , которая позволяет определить вероятность того, что произошло какое-либо событие(гипотеза) при наличии лишь косвенных тому подтверждений (данных), которые могут быть неточны ) , занимает особое место благодаря простоте и эффективности.
Метод Байеса имеет недостатки: большой объем предварительной информации, «угнетение» редко встречающихся диагнозов и др. Однако в случаях, когда объем статистических данных позволяет применить метод Байеса, его целесообразно использовать как один из наиболее надежных и эффективных методов.
Основы метода. Метод основан на простой формуле Байеса. Если имеется диагноз D i и простой признак ki , встречающийся при этом диагнозе, то вероятность совместного появления событий (наличие у объекта состояния Di и признака ki ).
Априорная вероятность распределение вероятностей, которое выражает предположения до учёта экспериментальных данных.
Априорное распределение вероятностей (англ. prior probability distribution , или просто prior ) неопределённой величины p распределение вероятностей , которое выражает предположения о p до учёта экспериментальных данных.
(3.1)
Из этого равенства вытекает формула Байеса
(3.2)
Очень важно определить точный смысл всех входящих в эту формулу величин.
P(Di)- априорная вероятность гипотезы D
P (ki / Di ) - вероятность гипотезы ki при наступлении события D (апостериорная вероятность - вероятность случайного события при условии того, что известны апостериорные данные, т.е. полученные после опыта.)
P (ki ) - полная вероятность наступления события ki
P (Di / ki ) - вероятность наступления события Di при истинности гипотезы ki
Р(D ) вероятность диагноза D , определяемая по статистическим данным (априорная вероятность диагноза). Так, если предварительно обследовано N объектов и у W ,- объектов имелось состояние D , то
P (D i ) = N i / N . (3.3)
Р (kj / Di ) k j ; у объектов с состоянием Di . Если среди Ni , объектов, имеющих диагноз Di , у N ij проявился признак k j то
(3.4)
Р (kj ) вероятность появления признака kj во всех объектах независимо от состояния (диагноза) объекта . Пусть из общего числа N объектов признак к } был обнаружен у Nj объектов, тогда
(3.5)
В равенстве (3.2) Р (Di / kj ) вероятность диагноза D после того, как стало известно наличие у рассматриваемого объекта признака kj (апостериорная вероятность диагноза ).
Обобщенная формула Байеса.
Эта формула относится к случаю, когда обследование проводится по комплексу признаков K , включающему признаки k 1, k 2 ..., k v . Каждый из признаков kj имеет т j разрядов (k j 1 k j 2 ..., k jS ..., k jm ). В результате обследования становится известной реализация признака kj * = k js (3.6) и всего комплекса признаков K *. Индекс *, как и раньше, означает конкретное значение (реализацию) признака. Формула Байеса для комплекса признаков имеет вид
Р (D i / K *) = Р (Di ) Р (K */ D i )/ P (K *) (i = 1, 2, ..., n ), (3.7)
где Р (Di / K *) вероятность диагноза D после того, как стали известны результаты обследования по комплексу признаков K , Р (Di ) предварительная вероятность диагноза D (по предшествующей статистике).
Формула (3.7) относится к любому из п возможных состояний (диагнозов) системы. Предполагается, что система находится только в одном из указанных состояний и потому
(3.8)
В практических задачах нередко допускается возможность существования нескольких состояний А1 ... An , причем некоторые из них могут встретиться в комбинации друг с другом. Тогда в качестве различных диагнозов D i следует рассматривать отдельные состояния D i = А 1, ..., D r = А r и их комбинации
Dr + i = A 1Λ A 2 и т. п.
В большинстве практических задач, особенно при большом числе признаков, можно принимать условие независимости признаков даже при наличии существенных корреляционных связей между ними.
Вероятность появления комплекса признаков K *
.
(3.11)
Обобщенная формула Байеса может быть записана так:
(3.12)
где Р (K */ Di ) определяется равенством. Из обобщенной формул ы Байеса (3.12) вытекает что, разумеется,
(3.13)
и должно быть, так как один из диагнозов обязательно реализуется, а реализация одновременно двух диагнозов невозможна.
Следует обратить внимание на то, что знаменатель формулы Байеса для всех диагнозов одинаков. Это позволяет сначала определить вероятности совместного появления 1-го диагноза и данной реализации комплекса признаков и затем апостериорную вероятность диагноза
Отметим, что иногда целесообразно использовать предварительное логарифмирование формулы (3.12).
Если реализация некоторого комплекса признаков K * является детерминирующей (детерминирующая - определяющая направленность, избирательность в зависимости от поставленной задачи.) для диагноза Dp , то этот комплекс не встречается при других диагнозах:
Тогда, в силу равенства (3.12)
Таким образом, детерминистская логика установления диагноза является частным случаем вероятностной логики. Формула Байеса может использоваться и в том случае, когда часть признаков имеет дискретное распределение, а другая часть непрерывное. Для непрерывного распределения используются плотности распределения. Однако в расчетном плане указанное различие признаков несущественно, если задание непрерывной кривой осуществляется с помощью совокупности дискретных значений.
Диагностическая матрица.
Для определения вероятности диагнозов по методу Байеса необходимо составить диагностическую матрицу (табл. 1), которая формируется на основе предварительного статистического материала. В этой таблице содержатся вероятности разрядов признаков при различных диагнозах. Если признаки двухразрядные (простые признаки «данет»), то в таблице достаточно указать вероятность появления признака P (kj ,/ Di ).
Таблица 1
Диагностическая матрица в методе Байеса
В диагностическую матрицу включены априорные вероятности диагнозов. Процесс обучения в методе. Байеса состоит в формировании диагностической матрицы. Важно предусмотреть возможность уточнения таблицы в процессе диагностики. Для этого в памяти ЭВМ следует хранить не только значения вероятности, но и следующие величины: N общее число объектов, использованных для составления диагностической матрицы; N t число объектов с диагнозом D ; Nij число объектов с диагнозом D , обследованных по признаку Kj .
Решающее правило правило, в соответствии с которым принимается решение о диагнозе. В методе Байеса объект с комплексом признаков К* относится к диагнозу с наибольшей (апостериорной) вероятностью (Апостерио́рная вероя́тность - условная вероятность случайного события при условии того, что известны данные, полученные после опыта)
(3.19)
Символ Є , применяемый в функциональном анализе, означает принадлежность множеству. Условие (3.19) указывает, что объект, обладающий данной реализацией комплекса признаков К * или, реализация K * принадлежит диагнозу (состоянию) D . Правило (3.19) обычно уточняется введением порогового значения для вероятности диагноза:
P (Di / K *)> Pi , (3.20)
где Pi заранее выбранный уровень распознавания для диагноза D . При этом вероятность ближайшего конкурирующего диагноза не выше 1 P i . Обычно принимается P i > 0,9. При условии
P (Di / K *)≤ Pi , (3.21)
решение о диагнозе не принимается (отказ от распознавания) и требуется поступление дополнительной информации.
Процесс принятия решения в методе Байеса при расчете на ЭВМ происходит достаточно быстро.
Как указывалось, методу Байеса присущи некоторые недостатки, например погрешности при распознавании редких диагнозов. При практических расчетах целесообразно провести диагностику и для случая равновероятностных диагнозов, положив
P (D ) i =1/ n . (3.22)
Тогда наибольшим значением апостериорной вероятности будет обладать диагноз D , для которого P (D ) i максимальна:
Иными словами, устанавливается диагноз D , если данная совокупность признаков чаще встречается при диагнозе D , чем при других диагнозах. Такое решающее правило соответствует методу максимального правдоподобия . Из предыдущего вытекает, что этот метод является частным случаем метода Байеса при одинаковых априорных вероятностях диагнозов. В методе максимального правдоподобия «частые» и «редкие» диагнозы равноправны.
- МЕТОД ПОСЛЕДОВАТЕЛЬНОГО АНАЛИЗА
Метод последовательного анализа, предложенный Вальдом, применяется для дифференциальной диагностики (распознавания двух состояний). В отличие от метода Байеса, число обследований заранее не устанавливается, их проводится столько, сколько необходимо для принятия решения с определенной степенью риска.
Основы метода. При использовании метода Байеса для распознавания состояний D 1 и D 2 следует составить отношение (для независимых признаков)
Если
Или
то принимается решение К* Є D 2
В методе последовательного анализа рассматриваемые отношения вероятностей признаков (отношения правдоподобия) составляются не сразу, а в последовательном порядке; поэтому, как правило, требуется меньшее число обследований . Подобная форма применяется при нормальном распределении количественных признаков.
Общая процедура метода. Будем для краткости считать, что признаки являются независимыми. Пусть проведено v 1 обследований, которые еще не дали возможности принятия решения,
но после v - ro обследования
Тогда принимается решение об отнесении объекта к диагнозу D 2 . К * Є D 2 . Если после v - г o обследования
то объект относится к диагнозу D 1.
Для сокращения объема обследований следует вначале проводить обследование по наиболее информативным признакам.
С вязь границ принятия решения с вероятностями ошибок первого и второго рода.
При распознавании могут быть ошибки двоякого рода.
Ошибка относящаяся к диагнозу D 1 (принимается решение о наличии диагноза D 2 , когда в действительности объект принадлежит диагнозу D 1 ), называется ошибкой первого рода. Ошибка, относящаяся к диагнозу D 2 (принимается решение в пользу диагноза D 1 когда справедлив диагноз D 2 ), называется ошибкой второго рода.
Считая состояние D 1 исправным, а состояние D 2 дефектным, легко понять, что ошибка первого рода является «ложной тревогой», а ошибка второго рода «пропуском дефекта».
Обозначим вероятность ошибки первого рода α, второго рода β . Допустим, что имеются условия и принимается решение в пользу диагноза D 2 . Вероятность того, что это решение будет справедливым, равна 1 β . Вероятность принадлежности объекта с данной реализацией признаков к диагнозу D 1 составляет α . С другой стороны, в силу соотношения вероятность диагноза D 2 , по крайней мере, в А раз больше, чем диагноза D 1 т. е.
(4.11)
Подобным образом можно получить и следующую оценку:
(4.12)
В практических расчетах часто принимают α = β = 0,05 или α = β = 0,10.
Домашнее задание: § конспект.
Закрепление материала:
Ответьте на вопросы:
- Что позволяет определить формула Байеса?
- В чем состоят основы метода Байеса? Приведите формулу. Дайте определение точного смысла всех входящих в эту формулу величин.
- Что означает, что реализация некоторого комплекса признаков K * является детерминирующей?
- Объясните принцип формирования диагностической матрицы.
- Что означает решающее правило принятия?
- Дайте определение методу последовательного анализа.
- В чем состоит связь границ принятия решения с вероятностями ошибок первого и второго рода?
Литература:
Амренов С. А. «Методы контроля и диагностики систем и сетей связи» КОНСПЕКТ ЛЕКЦИЙ -: Астана, Казахский государственный агротехнический университет, 2005 г.
И.Г. Бакланов Тестирование и диагностика систем связи. - М.: Эко-Трендз, 2001.
Биргер И. А. Техническая диагностика. М.: «Машиностроение», 1978.240,с, ил.
АРИПОВ М.Н, ДЖУРАЕВ Р.Х., ДЖАББАРОВ Ш.Ю. «ТЕХНИЧЕСКАЯ ДИАГНОСТИКА ЦИФРОВЫХ СИСТЕМ» -Ташкент, ТЭИС, 2005
Платонов Ю. М., Уткин Ю. Г. Диагностика, ремонт и профилактика персональных компьютеров. -М.: Горячая линия - Телеком, 2003.-312 с: ил.
М.Е.Бушуева, В.В.Беляков Диагностика сложных технических систем Труды 1-го совещания по проекту НАТО SfP-973799 Semiconductors . Нижний Новгород, 2001
Малышенко Ю.В. ТЕХНИЧЕСКАЯ ДИАГНОСТИКА часть I конспект лекций
Платонов Ю. М., Уткин Ю. Г. Диагностика зависания и неисправностей компьютера/Серия «Техномир». Ростов-на-Дону: «Феникс», 2001. 320 с.
PAGE \* MERGEFORMAT 5
Другие похожие работы, которые могут вас заинтересовать.вшм> |
|||
| 12903. | СТАТИСТИЧЕСКИЕ МЕТОДЫ В АСТРОФИЗИКЕ | 56.4 KB | |
| Космологическая теория Фридмана 1922-1924 гг предсказывала что Вселенная расширяется по закону: где есть лучевая скорость какойто галактики лучевая означает проекцию скорости на луч зрения соединяющий наблюдателя и изучаемый объект на небе расстояние до галактики А некоторая константа. Здесь важно отметить то что Хаббл повидимому не знал теории Фридмана. Одна из целей курса продемонстрировать что скрыто за термином построение статистической модели или статистическое моделирование 2. зависимость угловой скорости... | |||
| 2157. | МЕТРИЧЕСКИЕ МЕТОДЫ РАСПОЗНАВАНИЯ | 81.48 KB | |
| Дать понятие о метрических методах распознавания Учебная. Разъяснить суть и практическую направленность метрических методов распознавания. Алгоритм распознавания. | |||
| 225. | Методы распознавания технических состояний | 623.74 KB | |
| Последовательный метод распознавания технических состояний Распознавание текущих технических состояний объекта производится путем выполнения проверок. В зависимости от последовательности выполнения проверок выделяются методы последовательного и комбинационного распознавания. 1 При комбинационном распознавании решение о текущем техническом состоянии объекта принимается на основе результатов анализа всех проверок из заданного множества которые могут выполняться в произвольном порядке. 5 В выражении 5... | |||
| 2153. | ЛОГИЧЕСКИЕ МЕТОДЫ РАСПОЗНАВАНИЯ И РАСПОЗНАВАНИЕ КРИВЫХ | 61.37 KB | |
| Логические методы основаны на установлении логических связей между признаками и состояниями объектов, поэтому будут рассмотрены только простые (качественные) признаки, для которых возможны лишь два значения (например 0 и 1). Точно также и состояния технической системы (диагнозы) в рассматриваемых методах могут иметь только два значения | |||
| 15259. | Методы, применяемые в анализе синтетических аналогов папаверина и многокомпонентных лекарственных форм на их основе 3.1. Хроматографические методы 3.2. Электрохимические методы 3.3. Фотометрические методы Заключение Список л | 233.66 KB | |
| Дротаверина гидрохлорид. Дротаверина гидрохлорид является синтетическим аналогом папаверина гидрохлорида а с точки зрения химического строения является производным бензилизохинолина. Дротаверина гидрохлорид принадлежит к группе лекарственных средств обладающих спазмолитической активностью спазмолитик миотропного действия и является основным действующим веществом препарата но-шпа. Дротаверина гидрохлорид Фармакопейная статья на дротаверина гидрохлорид представлена в Фармакопее издания. | |||
| 2635. | СТАТИСТИЧЕСКИЕ ОЦЕНКИ | 77.14 KB | |
| Одной из центральных задач математической статистики является задача оценивания теоретического распределения случайной величины на основе выборочных данных. Требуется найти приближенные значения этих параметров то есть получить статистические оценки указанных параметров. Если для оценки взять несколько выборок то получим столько же случайных оценок. Точечные оценки Статистические оценки могут быть точечными и интервальными. | |||
| 2629. | Статистические игры | 186.64 KB | |
| Отличительная особенность таких игр состоит в том, что в ней сознательно действует только один из участников. Объективно окружающая среда против игрока не действует. Она принимает одно из нескольких возможных состояний. | |||
| 217. | Контроль и диагностирование как задача распознавания образов | 23.59 KB | |
| Вновь предъявляемый объект будет отнесен к первому или второму классу в зависимости от пола. К какому классу отнести вновь предъявляемый объект зависит от региона его проживания. Чтобы объект классифицировать в обязательном порядке потребуется допустить некоторую нестрогость размытость критерия отнесение объекта к тому или иному классу или по совпадению регионов проживания или их наиболее близкому их расположению. Объекты относимые к одному классу кластеру обладают общими свойствами. | |||
| 227. | Оптимальные программы распознавания технических состояний | 33.92 KB | |
| Требования к показателям эффективности процесса распознавания технических состояний 3. Исходные данные для построения произвольной программы распознавания ТС лекция 10. Такие условные единицы и используются при построении программ распознавания ТС. | |||
| 966. | Основные статистические показатели образования в Российской Федерации в 2013 году | 85.45 KB | |
| Статистика уровня образования населения и развития системы обучения. Общие сведения о статистике образования населения. Система показателей статистики образования. Статистика уровня образования населения... | |||
Формула Байеса
Теорема Байеса - одна из основных теорем элементарной теории вероятностей , которая определяет вероятность наступления события в условиях, когда на основе наблюдений известна лишь некоторая частичная информация о событиях. По формуле Байеса можно более точно пересчитывать вероятность, беря в учёт как ранее известную информацию, так и данные новых наблюдений.
«Физический смысл» и терминология
Формула Байеса позволяет «переставить причину и следствие»: по известному факту события вычислить вероятность того, что оно было вызвано данной причиной.
События, отражающие действие «причин», в данном случае обычно называют гипотезами , так как они - предполагаемые события, повлекшие данное. Безусловную вероятность справедливости гипотезы называют априорной (насколько вероятна причина вообще ), а условную - с учетом факта произошедшего события - апостериорной (насколько вероятна причина оказалась с учетом данных о событии ).
Следствие
Важным следствием формулы Байеса является формула полной вероятности события, зависящего от нескольких несовместных гипотез (и только от них! ).
- вероятность наступления события B
, зависящего от ряда гипотез A
i
, если известны степени достоверности этих гипотез (например, измерены экспериментально);
Вывод формулы
Если событие зависит только от причин A i , то если оно произошло, значит, обязательно произошла какая-то из причин, т.е.
По формуле Байеса
Переносом P (B ) вправо получаем искомое выражение.
Метод фильтрации спама
Метод, основанный на теореме Байеса, нашел успешное применение в фильтрации спама .
Описание
При обучении фильтра для каждого встреченного в письмах слова высчитывается и сохраняется его «вес» - вероятность того, что письмо с этим словом - спам (в простейшем случае - по классическому определению вероятности: «появлений в спаме / появлений всего» ).
При проверке вновь пришедшего письма вычисляется вероятность того, что оно - спам, по указанной выше формуле для множества гипотез. В данном случае «гипотезы» - это слова, и для каждого слова «достоверность гипотезы» - % этого слова в письме, а «зависимость события от гипотезы» P (B | A i ) - вычисленнный ранее «вес» слова. То есть «вес» письма в данном случае - не что иное, как усредненный «вес» всех его слов.
Отнесение письма к «спаму» или «не-спаму» производится по тому, превышает ли его «вес» некую планку, заданную пользователем (обычно берут 60-80 %). После принятия решения по письму в базе данных обновляются «веса» для вошедших в него слов.
Характеристика
Данный метод прост (алгоритмы элементарны), удобен (позволяет обходиться без «черных списков» и подобных искусственных приемов), эффективен (после обучения на достаточно большой выборке отсекает до 95-97 % спама, и в случае любых ошибок его можно дообучать). В общем, есть все показания для его повсеместного использования, что и имеет место на практике - на его основе построены практически все современные спам-фильтры.
Впрочем, у метода есть и принципиальный недостаток: он базируется на предположении , что одни слова чаще встречаются в спаме, а другие - в обычных письмах , и неэффективен, если данное предположение неверно. Впрочем, как показывает практика, такой спам даже человек не в состоянии определить «на глаз» - только прочтя письмо и поняв его смысл.
Еще один, не принципиальный, недостаток, связанный с реализацией - метод работает только с текстом. Зная об этом ограничении, спамеры стали вкладывать рекламную информацию в картинку, текст же в письме либо отсутствует, либо не несет смысла. Против этого приходится пользоваться либо средствами распознавания текста («дорогая» процедура, применяется только при крайней необходимости), либо старыми методами фильтрации - «черные списки» и регулярные выражения (так как такие письма часто имеют стереотипную форму).
См. также
Примечания
Ссылки
Литература
- Берд Киви. Теорема преподобного Байеса . // Журнал «Компьютерра», 24 августа 2001 г.
- Paul Graham. A plan for spam (англ.). // Персональный сайт Paul Graham.
Wikimedia Foundation . 2010 .
Смотреть что такое "Формула Байеса" в других словарях:
Формула, имеющая вид: где a1, А2,..., Ап несовместимые события, Общая схема применения Ф. в. г.: если событие В может происходить в разл. условиях, относительно которых сделано п гипотез А1, А2, ..., Аn с известными до опыта вероятностями P(A1),… … Геологическая энциклопедия
Позволяет вычислить вероятность интересующего события через условные вероятности этого события в предположении неких гипотез, а также вероятностей этих гипотез. Формулировка Пусть дано вероятностное пространство, и полная группа попарно… … Википедия
Позволяет вычислить вероятность интересующего события через условные вероятности этого события в предположении неких гипотез, а также вероятностей этих гипотез. Формулировка Пусть дано вероятностное пространство, и полная группа событий, таких… … Википедия
- (или формула Байеса) одна из основных теорем теории вероятностей, которая позволяет определить вероятность того, что произошло какое либо событие (гипотеза) при наличии лишь косвенных тому подтверждений (данных), которые могут быть неточны … Википедия
Теорема Байеса одна из основных теорем элементарной теории вероятностей, которая определяет вероятность наступления события в условиях, когда на основе наблюдений известна лишь некоторая частичная информация о событиях. По формуле Байеса можно… … Википедия
Байес, Томас Томас Байес Reverend Thomas Bayes Дата рождения: 1702 год(1702) Место рождения … Википедия
Томас Байес Reverend Thomas Bayes Дата рождения: 1702 год(1702) Место рождения: Лондон … Википедия
Байесовский вывод один из методов статистического вывода, в котором для уточнения вероятностных оценок на истинность гипотез при поступлении свидетельств используется формула Байеса. Использование байесовского обновления особенно важно в… … Википедия
Для улучшения этой статьи желательно?: Найти и оформить в виде сносок ссылки на авторитетные источники, подтверждающие написанное. Проставив сноски, внести более точные указания на источники. Пере … Википедия
Будут ли заключенные друг друга предавать, следуя своим эгоистическим интересам, или будут молчать, тем самым минимизируя общий срок? Дилемма заключённого (англ. Prisoner s dilemma, реже употребляется название «дилемма … Википедия
Книги
- Теория вероятностей и математическая статистика в задачах. Более 360 задач и упражнений , Борзых Д.А.. В предлагаемом пособии содержатся задачи различного уровня сложности. Однако основной акцент сделан на задачах средней сложности. Это сделано намеренно с тем, чтобы побудить студентов к…
К настоящему моменту разработано большое количество методов, применение которых позволяет распознать вид технического состояния диагностируемого объекта. В данной работе рассмотрены лишь некоторые из них, наиболее широко используемые в практике диагностирования.
Метод Байеса
Метод диагностирования, основанный на применении формулы Байеса, относится к статистическим методам распознавания.
Вероятность события А, которое может наступить лишь при появлении одного из несовместимых событий 2? 1? В 2 ,..., В п, равна сумме произведений вероятностей каждого из этих событий на соответствующую вероятность события А:
Эту формулу называют формулой полной вероятности. Следствие теоремы умножения и формулы полной вероятности - так называемая теория гипотез. Предположим, что событие А может наступить лишь при появлении одного из несовместных событий В , В 2 , ..., В п, но поскольку заранее неизвестно, какое из них наступит, их называют гипотезами. Вероятность появления события Л определяют по формуле полной вероятности (1.5), а условную вероятность Р А (В/) по формуле
Подставив значение Р(Л), получим
Формулу (1.6) называют формулой Байеса. Она позволяет переоценить вероятности гипотез после того, как станут известными результаты испытания, в ходе которого появилось событие А.
Выявление величин условных вероятностей появления признака является ключом к использованию формулы Байеса для диагностики состояния. Байесовский подход широко используется в науке об управлении, теории обнаружения сигналов и распознавания образов, в медицинской и технической диагностике.
Рассмотрим суть метода применительно к задаче диагностирования. Подробно математическая сторона вопроса изложена в работе Ц3]. В процессе эксплуатации любой объект может находиться в одном из возможных состояний TVj, ...,Nj (в простейшем случае - «норма», «отказ»), которым ставятся в соответствие гипотезы (диагнозы) Z)j,...,Z) ; . В процессе эксплуатации объекта контролируются параметры (признаки) к, ..., kj. Вероятность совместного наличия у объекта состояния Z)- и признака kj определяется
где Р(Dj) - вероятность диагноза Dj, определяемая по статистическим данным:
где п - количество обследованных объектов;
Nj - количество состояний;
P(kj /Dj) kj у объектов с состоянием Dj. Если среди п объектов, имеющих диагноз Dj, у проявился признак kj, то
Р(кр - вероятность появления признака kj во всех объектах независимо от состояния (диагноза) объекта. Пусть из общего числа п объектов признак kj был обнаружен у rij объектов, тогда
P(Dj/kj ) - вероятность диагноза Z) ; после того, как стало известно наличие у рассматриваемого объекта признака к-.
Обобщенная формула Байеса относится к случаю, когда обследование проводится по комплексу признаков К, включающему признаки (ку, к п). Каждый из признаков kj имеет rrij разрядов (,к д,
kj 2 , ..., kj s , ..., k jm). В результате обследования становиться известной
реализация признака к.-к . и всего комплекса признаков К . Ин-
деке означает конкретное значение признака. Формула Байеса для комплекса признаков имеет вид
где P(Dj /А*) - вероятность диагноза?Г после того, как стали известны результаты обследования по комплексу признаков К;
P(Dj) - предварительная вероятность диагноза Dj.
Предполагается, что система находится только в одном из указанных состояний, т.е.
Для определения вероятности диагноза по методу Байеса на основе предварительного статистического материала формируется диагностическая матрица (табл. 1.1). Количество строк соответствует количеству возможных диагнозов. Количество столбцов рассчитывается как сумма произведений количества признаков на соответствующее им количество разрядов плюс один для априорных вероятностей диагнозов. В этой таблице содержатся вероятности разрядов признаков при различных диагнозах. Если призна-
ки двухразрядные (простые признаки «да - нет»), то в таблице достаточно указать вероятность появления признака Р(к-
/Dj).
Вероятность отсутствия признака
I. Более удобно
использовать единообразную форму, полагая, например, для двухразрядного признака
. Следует уточнить, что
, где nij -
число разрядов признака kj.
Сумма вероятностей всех возможных реализаций признака равна единице. Решающее правило - это правило, в соответствии с которым принимается решение о диагнозе. В методе Байеса объект с комплексом признаков ft
относится к диагнозу с наибольшей (апостериорной) вероятностью ft е Dj,
если P(Dj/lt)
>
> P(Dj/ft) (J - 1, 2, ..., n i * j). Это правило обычно уточняется введением порогового значения для вероятности диагноза P(Dj/ft) >
> Pj, где Pj - заранее выбранный уровень распознавания для диагноза Dj. При этом вероятность ближайшего конкурирующего диагноза не выше 1 - Pj. Обычно принимается Р { > 0,9. При условии PiD/t?) решение о диагнозе не принимается и требуется поступление дополнительной информации.
Таблица 1.1
Диагностическая матрица в методе Байеса
|
Признак kj | ||||||||||
|
Р(к 12 / |
Р(к 22 / |
Р(к п / |
||||||||
Пример. Под наблюдением находится тепловозный дизель. При этом проверяются два признака: к - увеличение часового расхода топлива дизелем на номинальной позиции контроллера машиниста более чем на 10 % от паспортного значения, к 2 - снижение мощности дизель-генераторной установки на номинальной позиции контроллера машиниста более чем на 15 % от паспортного значения. Предположим, что появление этих признаков связано либо с повышенным износом деталей цилиндро-поршневой группы (диагноз /)]), либо с неисправностью топливной аппаратуры (диагноз D 2). При исправном состоянии дизеля (диагноз D 3) признак к не наблюдается, а признак к 2 наблюдается в 7 % случаев. По статистическим данным установлено, что с диагнозом Z) 3 до планового ремонта дорабатывают 60 % двигателей, с диагнозом D 2 - 30 %, с диагнозом Z)j - 10 %. Также установлено, что признак к j при состоянии Z)| встречается в 10 %, а при состоянии D 2 - в 40 % случаев; признак к 2 при состоянии Z)| встречается в 15 %, а при состоянии D 2 - в 20 % случаев. Исходную информацию представим в виде табл. 1.2.
Таблица 1.2
Вероятности состояний и проявления признаков
|
Р(к 2 / А) |
|||
Рассчитаем вероятности состояний при различных вариантах реализации контролируемых признаков:
1. Признаки к и к 2 обнаружены, тогда:
2. Признак к обнаружен, признак к 2 отсутствует.
Отсутствие признака k i
означает присутствие признака к.
(противоположное событие), причем P(k./D.)-- P(k./D.).
3. Признак к 2 обнаружен, признак к отсутствует:
4. Признаки /:| и к 2 отсутствуют:
Анализ полученных результатов расчета позволяет сделать следующие выводы:
- 1. Наличие двух признаков к и к 2 с вероятностью 0,942 свидетельствует о состоянии Dj
- 2. Наличие признака к с вероятностью 0,919 свидетельствует о состоянии D 2 (неисправность топливной аппаратуры).
- 3. Наличие признака к 2 с вероятностью 0,394 свидетельствует о состоянии D 2 (неисправность топливной аппаратуры) и с вероятностью 0,459 о состоянии Z) 3 (исправное стояние). При таком соотношении вероятностей принятие решения затруднено, поэтому требуется проведение дополнительных обследований.
- 4. Отсутствие обоих признаков с вероятностью 0,717 свидетельствует об исправном состоянии (Z) 3).
В дальнейшем я бы хотел перейти к непосредственно Байесовскому анализу и рассказать об обработке реальных данных и о, на мой взгляд, отличной альтернативе языку R (о нем немного писалось ) - Python с модулем pymc . Лично мне Python кажется гораздо более понятным и логичным, чем R с пакетами и BUGS , к тому же Python дает гораздо бо льшую свободу и гибкость (хотя в Python есть и свои трудности, но они преодолимы, да и в простом анализе встречаются нечасто).
Немного истории
В качестве краткой исторической справки скажу, что формула Байеса была опубликована аж в 1763 году спустя 2 года после смерти ее автора, Томаса Байеса. Однако, методы, использующие ее, получили действительно широкое распространение только к концу ХХ века. Это объясняется тем, что расчеты требуют определенных вычислительных затрат, и они стали возможны только с развитием информационных технологий.О вероятности и теореме Байеса
Формула Байеса и все последующее изложение требует понимания вероятности. Подробнее о вероятности можно почитать на Википедии .На практике вероятность наступления события есть частота наступления этого события, то есть отношение количества наблюдений события к общему количеству наблюдений при большом (теоретически бесконечном) общем количестве наблюдений.
Рассмотрим следующий эксперимент: мы называем любое число из отрезка и смотрим за тем, что это число будет между, например, 0.1 и 0.4. Как нетрудно догадаться, вероятность этого события будет равна отношению длины отрезка к общей длине отрезка (другими словами, отношение «количества» возможных равновероятных значений к общему «количеству» значений), то есть (0.4 - 0.1) / (1 - 0) = 0.3, то есть вероятность попадания в отрезок равна 30%.
Теперь посмотрим на квадрат x .
Допустим, мы должны называть пары чисел (x, y), каждое из которых больше нуля и меньше единицы. Вероятность того, что x (первое число) будет в пределах отрезка (показан на первом рисунке как синяя область, на данный момент для нас второе число y не важно), равна отношению площади синей области к площади всего квадрата, то есть (0.4 - 0.1) * (1 - 0) / (1 * 1) = 0.3, то есть 30%. Таким образом можно записать, что вероятность того, что x принадлежит отрезку равна p(0.1 <= x <= 0.4) = 0.3 или для краткости p(X) = 0.3.
Если мы теперь посмотрим на y, то, аналогично, вероятность того, что y находится внутри отрезка равна отношению площади зеленой области к площади всего квадрата p(0.5 <= y <= 0.7) = 0.2, или для краткости p(Y) = 0.2.
Теперь посмотрим, что можно узнать о значениях одновременно x и y.
Если мы хотим знать, какова вероятность того, что одновременно x и y находятся в соответствующих заданных отрезках, то нам нужно посчитать отношение темной площади (пересечения зеленой и синей областей) к площади всего квадрата: p(X, Y) = (0.4 - 0.1) * (0.7 - 0.5) / (1 * 1) = 0.06.
А теперь допустим мы хотим знать какова вероятность того, что y находится в интервале , если x уже находится в интервале . То есть фактически у нас есть фильтр и когда мы называем пары (x, y), то мы сразу отбрасывает те пары, которые не удовлетворяют условию нахождения x в заданном интервале, а потом из отфильтрованных пар мы считаем те, для которых y удовлетворяет нашему условию и считаем вероятность как отношение количества пар, для которых y лежит в вышеупомянутом отрезке к общему количеству отфильтрованных пар (то есть для которых x лежит в отрезке ). Мы можем записать эту вероятность как p(Y|X). Очевидно, что эта вероятность равна отношению площади темной области (пересечение зеленой и синей областей) к площади синей области. Площадь темной области равна (0.4 - 0.1) * (0.7 - 0.5) = 0.06, а площадь синей (0.4 - 0.1) * (1 - 0) = 0.3, тогда их отношение равно 0.06 / 0.3 = 0.2. Другими словами, вероятность нахождения y на отрезке при том, что x уже принадлежит отрезку равна p(Y|X) = 0.2.
Можно заметить, что с учетом всего вышесказанного и всех приведенных выше обозначений, мы можем написать следующее выражение
p(Y|X) = p(X, Y) / p(X)
Кратко воспроизведем всю предыдущую логику теперь по отношению к p(X|Y): мы называем пары (x, y) и фильтруем те, для которых y лежит между 0.5 и 0.7, тогда вероятность того, что x находится в отрезке при условии, что y принадлежит отрезку равна отношению площади темной области к площади зеленой:
p(X|Y) = p(X, Y) / p(Y)
В двух приведенных выше формулах мы видим, что член p(X, Y) одинаков, и мы можем его исключить:
Мы можем переписать последнее равенство как
Это и есть теорема Байеса.
Интересно еще заметить, что p(Y) это фактически p(X,Y) при всех значениях X. То есть, если мы возьмем темную область и растянем ее так, что она будет покрывать все значения X, она будет в точности повторять зеленую область, а значит, она будет равна p(Y). На языке математики это будет означать следующее:
Тогда мы можем переписать формулу Байеса в следующем виде:
Применение теоремы Байеса
Давайте рассмотрим следующий пример. Возьмем монетку и подкинем ее 3 раза. С одинаковой вероятностью мы можем получить следующие результаты (О - орел, Р - решка): ООО, ООР, ОРО, ОРР, РОО, РОР, РРО, РРР.Мы можем посчитать какое количество орлов выпало в каждом случае и сколько при этом было смен орел-решка, решка-орел:
Мы можем рассматривать количество орлов и количество изменений как две случайные величины. Тогда таблица вероятностей будет иметь следуюший вид:
Теперь мы можем увидеть формулу Байеса в действии.
Но прежде проведем аналогию с квадратом, который мы рассматривали ранее.
Можно заметить, что p(1O) есть сумма третьего столбца («синяя область» квадрата) и равна сумме всех значений ячеек в этом столбце: p(1O) = 2/8 + 1/8 = 3/8
p(1С) есть сумма третьей строки («зеленая область» квадрата) и, аналогично, равна сумме всех значений ячеек в этой строке p(1С) = 2/8 + 2/8 = 4/8
Вероятность того, что мы получили одного орла и одну смену равна пересечению этих областей (то есть значение в клетке пересечения третьего столбца и третьей строки) p(1С, 1О) = 2/8
Тогда, следуя формулам описанным выше, мы можем посчитать вероятность получить одну смену, если мы получили одного орла в трех бросках:
p(1С|1О) = p(1С, 1О) / p(1О) = (2/8) / (3/8) = 2/3
или вероятность получить одного орла, если мы получили одну смену:
p(1О|1С) = p(1С, 1О) / p(1С) = (2/8) / (4/8) = 1/2
Если мы посчитаем вероятность получить одну смену при наличии одного орла p(1О|1С) через формулу Байеса, то получим:
p(1О|1С) = p(1С|1О) * p(1О) / p(1С) = (2/3) * (3/8) / (4/8) = 1/2
Что мы и получили выше.
Но какое практическое значение имеет приведенный выше пример?
Дело в том, что, когда мы анализируем реальные данные, обычно нас интересует какой-то параметр этих данных (например, среднее, дисперсия и пр.). Тогда мы можем провести следующую аналогию с вышеприведенной таблицей вероятностей: пусть строки будут нашими экспериментальными данными (обозначим их Data), а столбцы - возможными значениями интересующего нас параметра этих данных (обозначим его ). Тогда нас интересует вероятность получить определенное значение параметра на основе имеющихся данных .
Мы можем применить формулу Баейса и записать следующее:
А вспомнив формулу с интегралом, можно записать следующее:
То есть фактически как результат нашего анализа мы имеет вероятность как функцию параметра. Теперь мы можем, например, максимизировать эту функцию и найти наиболее вероятное значение параметра, посчитать дисперсию и среднее значение параметра, посчитать границы отрезка, внутри которого интересующий нас параметр лежит с вероятностью 95% и пр.
Вероятность называют апостериорной вероятностью. И для того, чтобы посчитать ее нам надо иметь
- функцию правдоподобия и - априорную вероятность.
Функция правдоподобия определяется нашей моделью. То есть мы создаем модель сбора данных, которая зависит от интересующего нас параметра. К примеру, мы хотим интерполировать данные с помощью прямой y = a * x + b (таким образом мы предполагаем, что все данные имеют линейную зависимость с наложенным на нее гауссовым шумом с известной дисперсией). Тогда a и b - это наши параметры, и мы хотим узнать их наиболее вероятные значения, а функция правдоподобия - гаусс со средним, заданным уравнением прямой, и данной дисперсией.
Априорная вероятность включает в себя информацию, которую мы знаем до проведения анализа. Например, мы точно знаем, что прямая должна иметь положительный наклон, или, что значение в точке пересечения с осью x должно быть положительным, - все это и не только мы можем инкорпорировать в наш анализ.
Как можно заметить, знаменатель дроби является интегралом (или в случае, когда параметры могут принимать только определенные дискретные значения, суммой) числителя по всем возможным значениям параметра. Практически это означает, что знаменатель является константой и служит для того, что нормализировать апостериорную вероятность (то есть, чтобы интеграл апостериорной вероятности был равен единице).
На этом я бы хотел закончить свой пост (продолжение
