Гаусса алгоритм: Как решить методом Гаусса СЛАУ (систему линейных уравнений). Правила, примеры

gaussian-elimination-algorithm · Темы GitHub · GitHub

Вот 16 публичных репозиториев соответствует этой теме…

петермчале / математика205А

Звезда 21

арасгунгор / EE242-проекты

Звезда 8

Кяблонска / Численные методы

Звезда 3

электрофокус / исключение Гаусса

Звезда 1

МарвинЖонг / GaussianElimination

Звезда 0

mndxpnsn / Гаусс-Джордан

Звезда 1

Эмильхаугберг / исключение Гаусса

Звезда 0

таврелкат / исключение Гаусса

Звезда 0

гекчешуку / Лаборатория машинного обучения-1

Звезда 0

jwu277 / GJE_One

Звезда 0

Хенриксонг / MA375-Проект3

Звезда 0

АмеанАсад / линейный системный решатель

Звезда 0

дерехаррисон / матрица-обратная-gj

Звезда 0

mndxpnsn / gauss-benchmark-eigen

Звезда 0

шибовича / исключение Гаусса

Звезда 0

ПаносНиколау / Gaussian-Elimination

Звезда 0

Улучшить эту страницу

Добавьте описание, изображение и ссылки на гауссовский-элиминационный-алгоритм страницу темы, чтобы разработчикам было легче узнать о ней.

Курировать эту тему

Добавьте эту тему в свой репозиторий

Чтобы связать ваш репозиторий с гауссовский-элиминационный-алгоритм тему, перейдите на целевую страницу репозитория и выберите “управление темами”.

Узнать больше

2.1. Гауссовые смешанные модели — документация scikit-learn 1.2.1

sklearn.mixture

— это пакет, который позволяет изучать Модели гауссовой смеси (диагональная, сферическая, связанная и полная ковариация). поддерживаемых матриц), отберите их и оцените по данные. Средства, помогающие определить необходимое количество компоненты также предоставляются.

Модель двухкомпонентной смеси Гаусса: точек данных и равновероятность поверхности модели.

Смешанная модель Гаусса — это вероятностная модель, которая предполагает все точки данных генерируются из смеси конечного числа Распределения Гаусса с неизвестными параметрами.

Можно подумать о смешанные модели как обобщающие кластеризацию k-средних для включения информацию о ковариационной структуре данных, а также центры латентных гауссианов.

Scikit-learn реализует различные классы для оценки гауссова смешанные модели, соответствующие разным стратегиям оценивания, подробно ниже.

2.1.1. Гауссова смесь

Объект GaussianMixture реализует максимизация ожидания (EM) алгоритм подбора смешанных гауссовых моделей. Он также может рисовать эллипсоиды доверия для многомерных моделей и вычислить Байесовский информационный критерий для оценки количества кластеров в данные. А GaussianMixture.fit предоставляет метод, который изучает гауссову Модель смеси из данных поезда. Учитывая тестовые данные, он может назначить каждому выборка гауссова, она в основном, вероятно, относится к использованию метод

GaussianMixture.predict .

GaussianMixture поставляется с различными опциями для ограничения оценивается ковариация разностных классов: сферическая, диагональная, связанная или полная ковариация.

Примеры:

2.1.1.1. Плюсы и минусы 9 класса0051 Смесь Гаусса

2.1.1.1.1. Плюсы

Скорость:

Самый быстрый алгоритм обучения смешанных моделей

Агностик:

Поскольку этот алгоритм максимизирует только вероятность, он не будет смещать средние значения к нулю или смещать размеры кластеров к имеют определенные структуры, которые могут применяться, а могут и не применяться.

2.1.1.1.2. Минусы

Особенности:

При недостаточном количестве очков за смеси, оценка ковариационных матриц становится затруднительной, известно, что алгоритм расходится и находит решения с бесконечная вероятность, если только искусственно не упорядочить ковариации.

Количество компонентов:

Этот алгоритм всегда будет использовать все компоненты, к которым у него есть доступ, нуждающиеся в удерживаемых данных или информационные теоретические критерии, чтобы решить, сколько компонентов использовать при отсутствии внешних сигналов.

2.1.1.2. Выбор количества компонентов в классической гауссовской модели смеси

Критерий BIC можно использовать для выбора количества компонентов в гауссовой Смешивание эффективным способом. Теоретически он восстанавливает истинное количество компоненты только в асимптотическом режиме (т.е. если имеется много данных и предполагая, что данные были фактически сгенерированы i.i.d. из смеси гауссовых распределение). Обратите внимание, что использование вариационной байесовской гауссовой смеси избегает указания количества компонентов для гауссовской смеси модель.

Примеры:

2.1.1.3. Алгоритм оценки Максимизация ожидания

Основная трудность в изучении смешанных моделей Гаусса из немаркированных данных заключается в том, что обычно не известно, из каких точек какой скрытый компонент (если кто-то имеет доступ к этой информации, он получает очень легко подогнать отдельное распределение Гаусса к каждому набору точки). Ожидание-максимизация является хорошо обоснованным статистическим алгоритм, чтобы обойти эту проблему с помощью итеративного процесса. Первый один предполагает случайные компоненты (случайно сосредоточенные на точках данных, полученные из k-средних, или даже просто нормально распределенные по происхождения) и вычисляет для каждой точки вероятность того, что она будет сгенерирована каждого компонента модели. Затем человек настраивает параметры, чтобы максимизировать вероятность данных, учитывая те задания. Повторение этого процесса всегда гарантирует сходимость к локальному оптимуму.

2.1.1.4. Выбор метода инициализации

Можно выбрать один из четырех методов инициализации (а также ввести пользовательский начальные средства) для создания начальных центров для компонентов модели:

k-средних (по умолчанию)

Применяется традиционный алгоритм кластеризации k-средних. Это может быть дорогостоящим в вычислительном отношении по сравнению с другими методами инициализации.

k-means++

Здесь используется метод инициализации кластеризации k-средних: k-means++. Это выберет первый центр случайным образом из данных. Последующие центры будут выбран из взвешенного распределения данных в пользу точек, находящихся дальше от действующие центры. k-means++ — это инициализация по умолчанию для k-means, поэтому будет быстрее, чем выполнение полного k-средних, но все же может занять значительное количество времени. время для больших наборов данных со многими компонентами.

random_from_data

Это выберет случайные точки данных из входных данных в качестве исходных центры. Это очень быстрый метод инициализации, но он может привести к неконвергентным результатам. результаты, если выбранные точки находятся слишком близко друг к другу.

random

Центры выбираются как небольшое отклонение от среднего значения всех данных. Этот метод прост, но может привести к увеличению времени сходимости модели.

Примеров:

2.1.2. Вариационная байесовская гауссовская смесь

Объект BayesianGaussianMixture реализует вариант Модель смеси Гаусса с вариационными алгоритмами вывода. API это аналогично тому, что определено

GaussianMixture .

2.1.2.1. Алгоритм оценки: вариационный вывод

Вариационный вывод — это расширение максимизации ожидания, которое максимизирует нижнюю границу модельных доказательств (включая априорные) вместо вероятности данных. Принцип, лежащий в основе вариационные методы аналогичны методу максимизации ожидания (т. оба являются итеративными алгоритмами, которые чередуются между поиском вероятности образования каждой точки каждой смесью и подгонка смеси к этим назначенным точкам), но вариационная методы добавляют регуляризацию, интегрируя информацию из предыдущих дистрибутивы. Это позволяет избежать сингулярностей, часто встречающихся в решения для максимизации ожиданий, но вносит некоторые тонкие предубеждения к модели. Вывод часто заметно медленнее, но обычно не так быстро, как настолько, чтобы сделать использование непрактичным.

Из-за своей байесовской природы вариационный алгоритм нуждается в большем количестве гиперпараметров чем максимизация ожидания, наиболее важным из которых является параметр концентрации weight_concentration_prior . Указание низкого значения для предварительной концентрации модель придаст большую часть веса нескольким компонентов и установите веса остальных компонентов очень близко к нулю. Высокий Предварительные значения концентрации позволят большему количеству компонентов быть активным в смеси.

Параметры реализации класса BayesianGaussianMixture предлагает два типа априорного распределения весов: модель конечной смеси с распределением Дирихле и модель бесконечной смеси с распределением Дирихле Процесс. На практике алгоритм вывода процесса Дирихле аппроксимируется и использует усеченный дистрибутив с фиксированным максимальным числом компонентов (называемым представление ломания палки). Количество компонентов, которые фактически используются почти всегда зависит от данных.

На следующем рисунке сравниваются результаты, полученные для разных типов предварительная концентрация веса (параметр weight_concentration_prior_type ) для разных значений weight_concentration_prior . Здесь мы видим значение параметра weight_concentration_prior . оказывает сильное влияние на эффективное количество полученных активных компонентов. Мы можно также заметить, что большие значения массы концентрации ранее приводили к более однородные веса, когда тип априорного распределения — «dirichlet_distribution», а это не обязательно относится к типу «dirichlet_process» (используется по умолчанию).

В приведенных ниже примерах сравниваются смешанные модели Гаусса с фиксированным числом компонентов, к вариационным гауссовским моделям смеси с процессом Дирихле прежний. Здесь классическая гауссовская смесь снабжена 5 компонентами на набор данных, состоящий из 2 кластеров. Мы видим, что вариационная гауссовская смесь с предварительным процессом Дирихле может ограничиться только двумя компонентами тогда как смесь Гаусса соответствует данным с фиксированным количеством компонентов который должен быть установлен пользователем заранее. В этом случае пользователь выбрал n_components=5 , что не соответствует истинному генеративному распределению этого игрушечный набор данных. Обратите внимание, что при очень небольшом количестве наблюдений вариационный гауссовский смешанные модели с априорным процессом Дирихле могут занять консервативную позицию, и подходит только один компонент.

На следующем рисунке мы аппроксимируем набор данных, плохо представленный Гауссова смесь. Настройка параметра weight_concentration_prior BayesianGaussianMixture контролирует количество компонентов, используемых для эти данные. Мы также представляем на последних двух графиках случайную выборку, сгенерированную из двух полученных смесей.

Примеры:

• См. эллипсоид модели смеси Гаусса для примера на построение доверительных эллипсоидов для обоих GaussianMixture и BayesianGaussianMixture .

• Гауссова модель смеси Синусоидальная кривая показывает использование GaussianMixture и BayesianGaussianMixture для синусоидальная волна.

• См. Концентрация предшествующего анализа вариационной байесовской гауссовой смеси для примера построения эллипсоидов доверия для BayesianGaussianСмесь с разными weight_concentration_prior_type для разных значений параметра weight_concentration_prior .

2.1.2.2. Плюсы и минусы вариационного вывода с

BayesianGaussianMixture

2.1.2.2.1. Плюсы

Автоматический выбор:

, когда weight_concentration_prior достаточно мал и n_components больше, чем требуется моделью, Модель вариационной байесовской смеси имеет естественную тенденцию задавать некоторую смесь. значения весов близки к нулю. Это позволяет модели выбирать подходящее количество эффективных компонентов автоматически. Только верхняя граница необходимо указать это количество. Обратите внимание, однако, что «идеальное» количество активные компоненты очень специфичны для приложения и обычно плохо определены в настройках исследования данных.

Меньшая чувствительность к количеству параметров:

в отличие от конечных моделей, которые почти всегда используют все компоненты настолько, насколько это возможно, и, следовательно, производят совершенно разные решения для разного количества компонентов, вариационный вывод с предварительным процессом Дирихле ( weight_concentration_prior_type='dirichlet_process' ) мало что изменится с изменениями параметров, что приводит к большей стабильности и меньшему количеству настроек.

Регуляризация:

в связи с включением предварительной информации, вариационные решения имеют меньше патологических частных случаев, чем решения, максимизирующие ожидания.

2.1.2.2.2. Минусы

Скорость:

дополнительная параметризация, необходимая для вариационного вывода, делает вывод медленнее, хотя и ненамного.

Гиперпараметры:

этому алгоритму нужен дополнительный гиперпараметр для этого может потребоваться экспериментальная настройка с помощью перекрестной проверки.

Смещение:

в алгоритмах вывода (а также в процесс Дирихле, если он используется), и всякий раз, когда возникает несоответствие между эти предубеждения и данные, возможно, можно было бы подобрать лучшие модели, используя конечная смесь.

2.1.2.3. Процесс Дирихле

Здесь мы описываем алгоритмы вариационного вывода по процессу Дирихле. смесь. Процесс Дирихле представляет собой априорное распределение вероятностей на кластеризации с бесконечным, неограниченным числом разделов . Вариационные методы позволяют нам включить эту предыдущую структуру в Смешанные модели Гаусса почти без потерь во времени вывода, сравнивая с моделью конечной гауссовой смеси.

Важный вопрос заключается в том, как процесс Дирихле может использовать бесконечное, неограниченное количество кластеров и при этом быть непротиворечивым. Пока полное объяснение не подходит к этому руководству, можно подумать о процессе ломания палки аналогия, чтобы помочь понять это.