Гибридные модели

Исходя из анализа множества описанных в литературе исследований и практических примеров использования комбинированных, или, как их еще называют, гибридных или агрегированных, моделей [14], можно выделить три разновидности комбинирования: последовательное, параллельное и смешанное. Комбинирование дает синергетический эффект, при котором недостатки одних мономоделей компенсируются достоинствами других. Простейший и давно известный подход к гибридизации состоит в разбиении всего множества исходных данных на кластеры данных, имеющих однородные статистические характеристики, и построении для них отдельных мономоделей. Проблема состоит в правильности разбиения на кластеры. Вендоры, применявшие подобные решения, говорили о том, что их приложения быстро строят сотни различных скоринговых моделей и при этом не возникает необходимости сводить получаемые результаты к итоговому каким-то определенным способом.
Метод обучения ансамбля моделей (агрегирования моделей) – Ensemble learning [15] является парадигмой машинного обучения, когда группа моделей настраивается для решения одной проблемы с целью получения более высокого качества прогноза, чем точность любой отдельно взятой модели.
Большую роль в качестве результирующих моделей играют обучающие выборки. Поэтому в большинстве комбинированных моделей вводится предварительный этап подготовки данных. Обучающие алгоритмы с учителем решают задачу определения наилучшей комбинации предиктивных переменных модели в описании обучающих данных, которая позволяет повысить робастность модели и оптимизировать прогноз для новых наборов данных.
Метод агрегирования представляет собой технику комбинирования слабых в прогнозном отношении моделей в целях получения модели с лучшим прогнозом, чем у отдельных моделей, используемых в агрегате (наиболее известные методы агрегации – bagging, boosting, stacking [24]). В последнее время появились примеры агрегированных моделей, отличных от применявшихся ранее. Процедуры построения модели стали еще более дифференцированными. Фрагмент И-ИЛИ графа порождающей среды для синтеза комбинированных моделей представлен на рисунке №1.

Рисунок 1. Фрагмент И-ИЛИ графа порождающей среды для синтеза комбинированных моделей

В отличие от обычного подхода машинного обучения, когда стремятся проверить одну гипотезу о структуре данных на основе обучающей выборки, методом обучения ансамбля моделей стремятся конструировать множество гипотез относительно структуры данных (описывающих переменных) и комбинировать их для дальнейшего использования. Этот метод обычно применяется для улучшения использования и повышения точности в задачах классификации. Групповой классификатор основан на агрегации пула классификаторов, так что их объединенное действие достигает более высокого качества использования и точности, чем у отдельного классификатора. Ключевая идея большинства методов построения ансамбля классификаторов состоит в модификации множества обучающих данных, построении классификаторов на этих новых обучающих множествах и затем – комбинировании их в финальное решающее правило. Рациональная идея здесь состоит в том, что бывает труднее обучить отдельный классификатор на обучающей выборке, чем оптимизировать комбинацию относительно простых классификаторов.
В методе ансамбля моделей ошибка и разброс одного классификатора компенсируются другими участниками ансамбля, используемыми в решении задачи классификации. Способность к обобщению у ансамбля классификаторов обычно больше, чем у отдельного классификатора. Этому можно дать объяснение с точки зрения машинного обучения - как использованию более обширного пространства гипотез относительно структуры данных для получения наиболее точной гипотезы.
Во-первых, эффективность ансамбля классификаторов может определяться тем, что обучающая выборка может не иметь достаточной информации для выбора отдельного наилучшего классификатора. Например, может быть множество отдельных классификаторов, одинаково хорошо работающих на обучающей выборке. Таким образом, комбинация этих классификаторов может дать больший эффект, чем отдельный классификатор.
Во-вторых, алгоритмы поиска отдельных классификаторов могут быть недостаточно совершенны: даже если есть наилучшая гипотеза относительно структуры данных, ее может быть трудно достичь, так как поисковые, настроечные (обучающие) алгоритмы отдельных классификаторов выходят только на субоптимальные структуры данных. Таким образом, ансамбль классификаторов может компенсировать недостатки настроечных алгоритмов отдельных классификаторов.
В-третьих, причина эффективности ансамбля классификаторов по сравнению с отдельным классификатором может состоять в том, что пространство гипотез относительно структуры данных может не иметь выражения в виде точной функциональной зависимости, в то время как ансамбль классификаторов может найти хорошую аппроксимацию для такой структуры данных.
Предварительная обработка данных (data preprocessing)
Предварительная обработка данных – важный шаг, которым часто пренебрегают в процессе сбора и подготовки информации. Фраза «Мусор на входе, мусор на выходе» особенно применима на стадии сбора данных. Таким образом, обеспечение качества данных, достигаемое их препроцессорной обработкой, является главной задачей перед проведением анализа данных [21]. Задачи предварительной (препроцессорной) обработки данных включают очистку, интеграцию, преобразование и сжатие данных.
Очистка данных – процесс сглаживания «зашумленных» данных путем идентификации и удаления выбросов и устранения и (или) исправления искаженных данных. Интеграция данных – процедура организации представления исходных данных из разных баз и файлов в едином формате и в одном источнике (data warehouse). В процессе преобразования данные трансформируются в формат, необходимый для применения методов Data Mining. Сжатие данных необходимо в случае, когда процесс Data Mining для обработки большого объема данных занимает много времени, делая процесс анализа практически неосуществимым. Сжатие данных подразумевает сокращение объема данных и (или) количества атрибутов данных при сохранении целостности и качества.
Выбор входных характеристик для скоринга
Предложенные в статье [22] генетические алгоритмы (GA) используются как эвристическая комбинаторная техника оптимизации поиска значимых характеристик скоринга. По сравнению с традиционным статистическим подходом GA имеют преимущество в том, что здесь нет ограничений, определяемых формой функций, связывающих исследуемые переменные. С использованием GA анализируется влияние входных переменных на качество выполнения обязательств по кредиту, которое выражается относительными показателями значимости характеристик, изменяющихся в пределах от 0 до 1, и сумма относительных показателей значимости нормируется до 1. Входные переменные с более высокими показателями значимости имеют более высокую предсказательную способность. Применение GA дает систематическую идентификацию значимости входных переменных и позволяет определить, какие переменные полезны для расчета скоринга, а какие могут быть исключены как неэффективные [23]. В качестве входных переменных для скоринга заявок используются социодемографические характеристики клиентов (возраст, пол, семейное положение, количество иждивенцев, образование, занятость, рабочий стаж и др.). Для поведенческого скоринга используются данные отчета кредитного бюро о кредитной истории клиента (количество запросов на кредит за последнее время, количество открытых кредитов, количество просрочек, их длительность и пр.). Отобранные сегменты должны быть достаточно большими, чтобы можно было построить значимые модели скоринга.
Кластеризация исходных данных
Это фаза препроцессинговой обработки для мономоделей (или, как их часто называют, агентов классификации), которая генерирует однородные кластеры с одинаковыми свойствами. Сегментация клиентов разбивает множество клиентов на однородные сегменты (кластеры) в зависимости от их персональных характеристик, качества исполнения обязательств по кредиту и особенностей кредитного продукта. Клиенты, принадлежащие к одному сегменту, однородны по показателям риска.
Такой препроцессинг ведет к лучшей обученности агентов классификации, построению более совершенной классификационной модели и сокращению ошибок классификации, которые вызваны неподходящими обучающими данными. Иногда даже при наличии корректной классификационной модели, построенной на обучающей выборке, возможности модели классифицировать новые объекты (робастность) ограничены и подвержены риску больших ошибок. Такие ограничения возникают из-за неправильных классификационных образцов, полученных из обучающей выборки. Вдобавок разброс данных ведет к более сложному процессу обучения для мономоделей. Следовательно, более высокое качество обучающих данных влечет за собой увеличение способности агентов классификации проводить корректную классификацию с меньшим уровнем ошибок. В общем случае точность получаемого скоринга возрастает с увеличением числа «хороших» и «плохих» клиентов [24].
Нормализация данных
Нормализация необходима для того, чтобы на вход агентов классификации подавались данные, изменяющиеся в одном и том же интервале для каждого входного узла. При оценке кредитов численные значения характеристик клиента значительно меняются по величине, и, если простой процесс нормализации применить сразу ко всей базе данных, некоторая полезная информация может быть потеряна.
Классификация
На этом этапе могут использоваться любые мономодели из описанных в статье, а также их любые параллельные и последовательные комбинации. Чаще всего применяются логит-регрессия (LR), генетические алгоритмы (GA), наивный байесовский классификатор (NB) и др.
Логит-регрессия использует множество предиктивных переменных для прогноза вероятности дефолта. В этих целях применяется логит-преобразование по следующей формуле:

Где,
p - вероятность того, что клиент «плохой»;
x - входная переменная скоринга;
β0 - постоянный член линии регрессии;
β1…βк - коэффициенты регрессии.

Логит-регрессия определяет регрессию логита - логарифма отношения шансов (отношение шансов = количество «хороших» / количество «плохих») на входные переменные скоринга. Для оценки параметров регрессии βк (к=0…к) используется метод максимального правдоподобия. Эти оценки параметров измеряют степень изменчивости логита на единицу изменения входной переменной.
Имеется большое количество исследований по применению LR для классификации клиентов в кредитном скоринге, где отмечается хорошее качество решений с использованием LR при разделении «плохих» и «хороших» клиентов [26, 27]. Необходимо учитывать, что логит-модели плохо работают при количестве объясняющих переменных больше 12-15. Для преодоления данного недостатка необходимо тщательно отбирать из всего множества атрибутов описания кредитного проекта/заемщика только наиболее значимые.
Для удобства использования и интерпретации результатов скоринговых моделей скоринговые баллы обычно линейно масштабируются с целью включения в интервал скоринговых баллов большого числа целых точек для выражения более точной градации степени риска в виде:

Score = ALogit + B

Для определения постоянного слагаемого B задают некоторый исходный уровень скоринга (например, 300 баллов), соответствующий отношению шансов, равному 1, а множитель A определяют исходя из условия, что увеличение кредитного скоринга на 20 баллов соответствует удвоению отношения шансов.
Выработка совокупного решения
В качестве правил определения агрегированного решения использовались метод голосования по большинству и метод голосования по степени принадлежности.
Голосование по большинству является наиболее общим и часто используемым методом для комбинирования решений по ансамблю классификаторов. Несмотря на хорошие возможности этого метода для комбинирования групповых решений, имеются еще другие методы, ведущие к лучшей точности классификации, чем метод голосования по большинству. Метод голосования по степени принадлежности приписывает каждому агенту вес, равный сумме степеней принадлежности элементов кластера, соответствующего данному агенту.
Общая схема использования агрегата моделей представлена на рис. 2. За основу взята схема, представленная в работе [16].

Рисунок 2. Обобщенная схема построения комбинированных моделей

На обучающей выборке с использованием различных методов классификации , ...  настраиваются различные модели кредитного скоринга , ...  затем эти модели используются при классификации тестовой выборки для получения классификаций , ... . Далее определяется результирующая классификация с использованием заданного метода агрегации решений отдельных моделей в результирующее решение. Чаще всего используется метод голосования по большинству, когда тестируемый пример относится к тому классу, за который «проголосовало» большинство моделей.

Оценка качества классификации
Оценка качества классификации осуществляется с помощью численных критериев, приведенных в табл. 1. Кроме них широко используются статистический критерий Колмогорова-Смирнова (KS-критерий), а также ROC-кривые, Area under Curve (AUC) (площадь под кривой, показатель оценки качества классификации с использованием ROC-кривой) и коэффициент Джини.

Таблица 1. Критерии качества использования
	Результаты классификации - количество объектов, признанных:	
Реальные объекты:	«хорошими» (good)	«плохими» (bad)	
«хорошие»	Ngg	Ngb	
«плохие»	Nbg	Nbb	

Критерии качества (Accuracy 1, Accuracy 2, Total Accuracy) рассчитываются на основе данных из табл. 3: