Для создания ансамбля моделей загрузим тестовые данные по Ирисам:

Первый тип ансамблей, которые рассмотрим — это бегинг (bagging). Загрузим необходимые библиотеки:

Попробуем создать ансамбль из 10 логистических регрессий по типу бегинга и оценить параметры:

После оценки модели, проверим качество получившейся модели:

Попробуем следующий тип ансамблей — бустинговые ансамбли (boosting) и в качестве примера построим бустинговый ансамбль моделей Adaboost. Загрузим необходимый метод:

На следующем этапе обучим ансамбль из 10 логистических регрессий и оценим параметры:

Оценим результаты итоговой метамодели:

Следущий тип ансамблей — стекинговые (stacking). Для этого исходно загрузим 3 типа моделей: случайный лес, логистическую регрессию и модель наивного Байесса.

Создадим стек моделей и оценим его. В качестве результирующей модели используем логистическую регрессию:

Оценим качество ансамбля:

Рассмотрим последний тип ансамблей: комитеты или голосующий ансамбли (voting).

Создадим и оценим ансамбль, для этого воспользуемся уже ранее созданным объектом estimators.

Параметр voting может быть hard или soft. Hard — используем простое правило большинства, soft — используем argmax сумму вероятностей выдаваемых моделями. Оценим качество получившегося ансамбля:

Самостоятельное задание:
Используя предыдущий источник данных по Титанику:
1. Создайте ансамбль моделей типа бегинг (bagging)
2. Создайте ансамбль моделей типа бустинг (boosting)
3. Создайте ансамбль моделей типа стекинг (stacking)
4. Создайте ансамбль моделей типа голосования (voting)

Ансамбли моделей в Python