Влияние ошибочной классификации затрат на нейронной сети классификаторов,

РЕЗЮМЕ

Потенциал нейронных сетей для задач классификации была создана многочисленных успешных применений в литературе. Одним из основных допущений, используемых практически во всех исследованиях равной стоимости следствием ошибочной классификации. При таком предположении, сводя к минимуму общее число ошибочной классификации ошибок единственная цель в развитии нейронных классификаторов сети. Зачастую это делается просто для облегчения разработки моделей и выбор точек решения о классификации. Тем не менее, это не

подходит для многих реальных ситуациях, таких, как обеспечение качества, прямой маркетинг, банкротства прогнозирование и медицинской диагностики, где ошибочной классификации расходов последствия являются неодинаковыми для различных категорий. В данной работе мы исследуем вопрос о неравных ошибочной классификации расходов в нейронных классификаторов сети. Благодаря применению в диагностики заболеваний щитовидной железы, мы находим, что различные вопросы стоимости оказывают существенное влияние на эффективность классификации и надлежащего использования информации о расходах могут помочь в оптимальных решений. Перекрестной проверки, метод используется, чтобы облегчить задачу смещения в обучающей выборке, и для изучения устойчивости нейронных классификаторов сети в связи с выборка изменений и различия в издержках.

Предметные области: классификация, медицинская диагностика, неправильная классификация затрат, нейронных сетей, а также статистические методы.

ВВЕДЕНИЕ

Проблема классификации возникает, когда один хочет присвоить объект в соответствующую группу на основе набора атрибутов переменных, характеризующих объект. Гордон (1981) показали, что классификация проблемы существуют во многих различных областях, таких, как таксономия, психология, нозологии, археологии, распознавание образов, лингвистики и исследования рынка. Медицинская диагностика, продуктов и контроль качества процесса, кредитный скоринг, прогнозирование банкротства, а также использование кредита, также рассматриваются как проблемы классификации.

Традиционные инструменты принятия решений, используемые при классификации включают как параметрических методов, таких как дискриминантного анализа и логистической регрессии; непараметрических моделей, таких как K-ближайших соседей; математические модели программирования, а также различных методов машинного обучения, таких как тележку и ID3. Одним из основных ограничений традиционных статистических моделей является то, что они хорошо работают только тогда, когда исходные посылки не будут удовлетворены. Эффективность этих методов зависит в значительной степени на предположениях или условий, при которых модели разработки. Пользователи должны иметь хорошие знания и данных свойств и возможностей модели, прежде чем они могут успешно применить модель. Например, пресса и Вильсон (1978) показал, что если переменные имеют многомерного нормального распределения внутри классов, дискриминантный анализ более эффективен, чем логистической регрессии. Однако, если переменные не имеют внутри класса нормальных распределений логистической регрессии является более предпочтительным.

Искусственные нейронные сети новых методов классификации. Они становятся все более популярным и широко используются в задачах классификации. Успех нейронных сетей может быть связано с их уникальными свойствами в отношении распознавания образов и распознавание образов. Во-первых, нейронные сети являются универсальными аппроксиматоров (Cybenko, 1989; Хорник, 1991; Хорник, Стинчкомб,

В литературе классификации с помощью нейронной сети, мало исследований считают ошибочной классификации расходов решения о классификации. Иными словами, ученые прямо или косвенно предполагать равные последствия ошибочной классификации расходов. Часто, равные затраты используются лишь для упрощения модели развития и выбор точек классификации обрезания. При равной стоимости предположение, нейронные сети в основном разработаны для сведения к минимуму общего количества случаев ошибочной. Хотя это предположение справедливо для некоторых приложений, они не представляют реальной многих других ситуациях, для которых расходы неравномерным ошибочной классификации более уместным. В зависимости от ситуации и точки зрения лица, принимающего решение, различия ошибочной классификации расходов может быть очень большим, что может существенно повлиять на принятие решения о классификации.

Рассмотрим применение в процессе и контроля качества продукции. Тип ошибки я, который вытекает из классификации в процессе контроля (в соответствии продукта), а outof-контроль (несоответствующей) может иметь весьма различные последствия, чем ошибки типа 11, что является результатом неспособности обнаружить вне процесса контроля ( несоответствующей продукции). Ложные сигналы тревоги, которые являются результатом ошибок, которые я типа может быть очень дорогостоящей во многих производственных процессах, где даже небольшие изменения процесса может привести к расширенной время простоя машины. С другой стороны, идентификация несоответствующей продукции имеет огромное значение и в других ситуациях, таких как реактивный двигатель производства. Медицинская диагностика аналогично контроль качества, поскольку классификация злокачественных опухолей как доброкачественных, например, имеют гораздо более серьезные последствия для пациента, чем наоборот. Другим примером может служить в прогнозировании банкротства. Маловероятно, что misclassifying в трудном финансовом положении фирмы, как здоровый влечет за собой расходы на равных misclassifying платежеспособная фирма, как расстроен. Акцент на котором ошибочной классификации является более дорогостоящим, зависит от точки зрения принимающего решения. Консервативные инвесторы могут более охотно, имеют относительно низкие затраты, связанные с неправильной классификации растворителя фирм в то время как руководство может предпочитают иметь низкие издержки, связанные с misclassfying проблемных предприятий.

Очевидно, что в таких ситуациях, не обращая внимания неравные последствия ошибочной классификации будет генерировать предвзятости и в результате классификатор мало практической пользы. Хотя точной информации о соответствующих расходов не предоставляется в некоторых случаях, относительные величины ошибочной классификации расходов достаточно стоимостью основе классификации процессов принятия решений ..

Некоторые исследователи в нейронных сетях обратились к проблемам с симметричными расходов в различных приложениях. Например, Kohers, грабли, и Риз (1994, 1996) исследовали использованием нейронных сетей для объединения прогнозов. Различные функции затрат казни в контексте переоценки и недооценки фактических значений будущем были заняты по изучению эффективности нейронных сетей, как прогнозирование композитных моделей. Salchenberger, Cinar и ресниц (1992), в результате применения нейронных сетей для прогнозирования банкротства, были рассмотрены различные величины обрезания, которые соответствуют различным расходы, связанные с I типа и типа 11 ошибок. Philipoom, Wiegmann и Риз (1997) по сравнению нейронных сетей с традиционными подходами к проблемам из-за назначение даты, в котором расходы на отделочные работы до и после установленных сроков отличаются. Они обнаружили, что косвенным образом игнорируя неравные последствия из-за назначение даты может быть дорогостоящим и нейронных сетей может быть более подходящим для задач с неравными расходы на скороспелость и медлительность.

Основной целью данного исследования является изучение последствий неравного ошибочной классификации расходов на выполнение нейронных классификаторов сети. Щитовидной проблемы диагностики дисфункции используется для иллюстрации. В диагностики заболеваний щитовидной железы, misclassifying человека как здорового, который в самом деле, имеет недо-или гиперактивностью щитовидной железы может в некоторых случаях привести к смерти пациента. Щитовидная железа диагноз представляет трудную задачу классификации с медицинской и статистической точки зрения. Неспецифический характер симптомов и многофакторных взаимодействия сделать диагностику заболеваний щитовидной железы трудной задачей в клинике. Кроме того, она является чрезвычайно несбалансированные три группы классификации проблема, которая является сложной проблемой со статистической точки зрения классификации. Реальные данные используются также содержать собственных шумов, что является типичным для многих практических задач классификации. Мы считаем, что методология и анализ результатов, полученных с этого медицинского применения полезной для классификации проблем в других областях, как отмечалось ранее.

Надежность нейронных классификаторов сеть также рассмотрел в связи с дифференциацией издержек и отбор вариантов. Традиционно, по разработке классификаторов, по имеющимся данным можно разделить на две части. Первая часть, называемая обучающей выборки, используется для построения модели, а вторая часть, называемую тестового набора, используется для проверки по классификации работы. Потому что лучшие модели подстраиваться под один подвыборки, часто оценки потенциала в области классификации чрезмерно оптимистичным образом. Кроме того, из-за отсутствия детерминированной нормы, регулирующей данные раздела, результирующая раздел может быть нехарактерным истинного населения и привести к предвзятости классификатора дизайна. Чтобы решить эту проблему, мы используем кросс-валидации подход к изучению надежности нейронных сетей в рамках неравные издержки ошибочной классификации.

Остальная часть статья организована следующим образом. Во-первых, связь между нейронными сетями и традиционными байесовской теории классификации обсуждается. За ними следуют методологии исследований, которая включает в себя диагностику щитовидной проблемы, набор данных, опытно-конструкторских перекрестной проверки анализа, а также вопросы дизайна нейронных сетей. Затем результаты докладывались и обсуждались. Наконец, мы предоставляем резюме и выводы.

Нейронных сетей для КЛАССИФИКАЦИЯ

Известно, что правильно построенные нейронные сети могут функционировать в качестве статистических классификаторов. В этом разделе рассматривается связь между нейронными сетями, задний вероятности, и байесовского классификаторов.

Нейронных сетей

Нейронных сетей параллельная система взаимосвязанных элементов, называемых вычислительных узлов. Информация обрабатывается с помощью взаимодействия между большим числом узлов, в которой знания представляют веса связей между узлами. Рисунок 1 содержит простой трехслойной Упреждающее репрезентативной сети, которые используются в этом исследовании. Первый или нижний слой, является входом внешнего слоя, в котором информация поступает в сеть. Последнее, или верхний слой, является выходного слоя сети, где выпускает модели решения. Средний слой (ы), или скрытом слое (ы), обеспечивают связи, необходимые для нейронных сетей для выявления сложных узоров данных. Все узлы в соседних слоях связаны ациклические дугами от входного слоя к скрытого слоя к выходному слою.

Arc веса параметров в модели нейронной сети. Как и в любой статистической модели, эти параметры должны быть определены до сети, могут быть приняты для использования. Обучения нейронной сети представляет собой процесс, в котором эти веса определяются и, следовательно, является то, сеть групп. Сеть подготовку проблемы классификации осуществляется через обучения с учителем, в которой известные мероприятия и связанные с ними затраты представлены в сети. Входных значений узел активации взвешиваются и суммируются на каждом узле скрытый слой. Взвешенная сумма затем передаются в соответствующие функции перевода в активации скрытых узла значение, которое станет вкладом в узлов выходного слоя. Значения выхода сети сравниваются с известными фактических значений с целью сведения к минимуму различия между сетью и выходных значений известных величин, за все учебные структуры.

Пусть X = (X ^ подпункта 1 ^ X ^ 2 ^ к югу, .... X ^ ^ Sub-D) есть вектор г атрибут переменных, Y = (Y ^ ^ 1 к югу, у ^ ^ 2 югу .. ., у ^ M ^ к югу) будет M-мерный выходной вектор из сети, и W ^ ^ 1 к югу и к югу W ^ ^ 2 будет матриц увязки весом от вклада в скрытом слое и от скрытых в выходной слой, соответственно, . Затем сеть трехслойной нейронной на самом деле является нелинейной модели в виде:

к югу, где альфа-^ т ^ ^ и у ^ ^ т ^ к югу представляют ценность цели и выход сети (активации) в мес узел diejth модель обучения, соответственно, М-количество выходных узлов и N это число учебных моделей. Сеть обучения может поэтому рассматриваться как непринужденно нелинейной задачи минимизации.

Байесовский классификатор

Байесовской теории принятия решений является традиционным статистический подход к распознаванию образов, определяющий задачи в вероятностных терминах и предполагает, что все соответствующие вероятности известны (Дуда

Из сказанного ясно показывает важную роль задней вероятностей в байесовской классификации решения.

Нейронных сетей классификации исследования были направлены почти исключительно на использование нулевой 1 функция потерь через классификацию, основанную на максимальной апостериорной вероятности. Последствия использования этого специальные функции потерь является то, что общий уровень классификации является наиболее важной мерой эффективности и ошибочной классификации расходов предполагаются равными для различных групп. В действительности, последствия ошибочной классификации редко совпадают для каждого класса (например, производство реактивного двигателя) и, следовательно, правило решения о классификации (6) с использованием общих функций потерь (4) и (5) является более целесообразным. Предполагая, равной стоимости последствия misclassifications, когда на самом деле Есть различия вызовет предвзято или переоценил классификации номера и требуют дальнейшего исследования.

Оценка вероятности Задняя через нейронные сети

На основании Хунг и др.. (1996), нейронные сети могут обеспечить хорошие оценки задней вероятностей, которые имеют решающее значение в традиционном байесовской теории классификации. В этом разделе показано, как нейронные сети оценка апостериорные вероятности.

Чтобы увидеть взаимосвязь между нейронных сетей и байесовский классификатор, мы должны следующая теорема (Papoulix, 1965):

Теорема 1. Рассмотрим задачу прогнозирования у от х, где х г-векторной случайной величины и у М-векторной случайной величины. F функция отображения: X -> Y, которая минимизирует квадрат ожидаемая ошибка

Уравнение (11) показывает, что оценка наименьших квадратов для отображения функций в задаче классификации именно задней вероятности,

Как отмечалось ранее, нейронные сети являются универсальными аппроксиматоров функции. Нейронной сети для задачи классификации можно рассматривать как отображение функции F: R ^ SUP г ^ -> R ^ SUP M ^, где г-мерного входного х представленных в сети и сети Mvectored выход у получается в чтобы решения о классификации. Если все данные в целом населения для подготовки и глобальный минимум будет достигнут, то (2) и (9) эквивалентны, и нейронных сетей, производить точное апостериорные вероятности в теории. На практике, однако, обучение данные почти всегда сэмпл из неизвестных населения. Таким образом, становится ясно, что выход сети на самом деле является оценка апостериорной вероятности.

Исследования структуры и методологии

Основное внимание в этом исследовании последствий неравного ошибочной классификации расходов по классификации производительности нейронных сетей. Некоторые вопросы исследования мы рассматриваем следующие:

* Каковы общие последствия неравного расходы на ошибочной классификации нейронных классификаторов сети?

* Как делать различные соображения неравные ошибочной классификации изменить классификацию результатов?

* Как надежные нейронные сети в связи с ошибочной классификации расходов и отбор вариантов?

Чтобы ответить на эти вопросы, мы выбираем щитовидной проблемы диагностики заболеваний для детального исследования. Мы считаем, 729 различных комбинаций стоимость ошибочной классификации для оценки неравные эффекты стоимости. Кроме того, мы будем смотреть на несколько конкретных ситуаций, изучить, как изменения в процессе принятия решений внимание влияет в целом и конкретного выполнения групповой классификации. Перекрестной проверки методология используется для исследования устойчивости вопросу.

Щитовидная железа Диагностика проблемы

Щитовидной железы является одним из наиболее важных органов в организме, поскольку гормоны щитовидной железы контроля метаболизма и влияют на функции многих других органов. Щитовидной результаты беспорядок, когда что-то пойдет не так в процессе создания гормонов. Наиболее распространенным нарушением является щитовидной железы, известная как гипотиреоз, в котором не хватает вырабатывается. Реже, щитовидной железы вырабатывает слишком много гормона, который известен как гипертиреоза. Примерно 11 миллионов американцев страдают от гипотиреоз, тиреотоксикоз с, влияющие на миллион больше (Танбридж, Брюис,

Заболевания щитовидной железы часто трудно диагностировать (душ Ремедиос, Вебер, Фельдман, Шафф,

Врачи полагаются на анализы крови, чтобы сделать диагноз. Хотя лабораторные тесты полезны в диагностике патологий щитовидной железы, положительная прогностическая ставка может быть как низка как 15-26% (Fukazawa, Сакурада,

Правильная идентификация щитовидной железы важно, потому что значительное число случаев ведет к смерти из-за шторма в щитовидной острой гипертиреоза и микседема комы при гипотиреозе (Danese, 1996; Нолан, Tarsa,

Ошибки, допущенные при классификации щитовидной железы есть целый ряд потенциально вредных последствий. Пациенты ошибочно классифицировано как щитовидной железы могут неправильно принимать лекарства или лечения радиоактивным йодом, или даже их щитовидной железы хирургическим путем. Пациенты неправильно диагностируются как страдающие от гипотиреоза могут быть размещены на пожизненное полка дополнение гормона. Те, классифицируются как нормально, когда на самом деле страдают от дисфункции щитовидной, тем временем, могут возникнуть долгосрочные повреждения органов, рассматривается, для других неверный диагноз условиях, или будут вынуждены переносить свои щитовидной вызванных симптомов.

Таким образом, проблема диагностики заболеваний щитовидной железы влечет за собой неравное ошибочной классификации расходов. Процедура классификации на основе максимальной апостериорной вероятности просто для достижения максимальной эффективности работы классификацию не подходит. В этом постановка проблемы, правильном определении гипер-или hypothyroidal пациенты будут гораздо большее значение. Точные уровни неравные издержки ошибочной классификации зависит от цели, принимающих решения, и как решения о классификации будет использоваться. Например, если решения о классификации должен быть использован для оправдания или нет дальнейшие испытания не требуется, то относительно небольшие расходы могут быть отнесены к misclassifying нормальных пациентов с щитовидной железы. Однако, если пациент классифицируется как гипер-или hypothyroidal является хирургическая операция или лечение радиоактивным йодом, а затем относительно крупных ошибочной классификации расходов является целесообразным. Врач может также использовать и малые и большие ошибочной классификации затрат для разных пациентов и даже для одного пациента, в зависимости от того, насколько далеко по этой больной находится в диагностического процесса. Этот вопрос будет более подробно рассматривается в обсуждение конкретных экспериментальных результатов.

Набор данных

Набор данных, занятых в этом исследовании содержит информацию, связанную с дисфункцией щитовидной железы. В диагностики заболеваний щитовидной железы, целью определить, относится ли пациент имеет нормального функционирования щитовидной железы, underfunctioning щитовидной железы (гипотиреоз) или гиперактивностью щитовидной железы (щитовидной железы). Есть 7200 случаев в наборе данных. Щитовидной железы класс представляет 2,3% (166 случаев) точек данных, гипотиреозом счетов класса 5,1% (367 случаев) наблюдения, а нормальная группа составляет оставшиеся 92,6% (6667 случаев). Очень несбалансированный групп, как известно, трудно классифицировать, в частности, с использованием традиционных методов классификации. Для каждого из 7200 случаев Есть 21 атрибутов с 15 двоичных и 6 непрерывных переменных, используемых для определения, в какой из трех классов принадлежит пациенту. Эти атрибуты могут представлять информацию о пациентах, такие как возраст, пол, состояние здоровья, а также результаты различных медицинских тестов (Куинлан, 1987).

Опытно-конструкторское

Систематически исследовать неравные эффекты расходов на нейронных классификаторов сети, предназначенные factorially экспериментов с 6 факторов проводится. В таблице приведены все возможные результаты в щитовидной железе проблема предсказания. Диагональные элементы представляют собой правильные решения. Каждый из 6 случаев неправильной классификации имеет три уровня затрат на 1, 2 и 10, что составляет относительную степень серьезности ошибочной классификации. Конечно, многие другие альтернативные значения стоимости могут быть выбраны в зависимости от конкретной ситуации и рассмотрения. В самом деле, мы экспериментировали со многими другими комбинациями стоимость содержащие относительные затраты на 10, но обнаружили, что производительность классификации не учитывается. Дело в нечувствительности это проблема конкретных значительной степени определяется степенью группы пересекаются. Для наших целей, эти расходы уровни отражают разумный диапазон возможных значений, которые оказывают существенное влияние на последующее решение классификации как это обсуждается в следующем разделе.

Эти три уровня ошибочной классификации рисков эффективно представлять относительные затраты на 1, 2, 5 и 10. Обратите внимание, что с этим 36 дизайн, 729 серии экспериментов с различными комбинациями ошибочной классификации расходов выполняются. Мы используем 75% от 7200 оригинальных замечаний, обучающего множества, а 25% данных, используемые для тестирования.

Сквозная сверка

Перекрестная проверка методы применяются при изучении надежности нейронных классификаторов сети. В большинстве исследований нейронной сети, простая схема перекрестной проверки, который использует образец подготовки и опытный образец, как правило, используются. Это означает, что исходный набор данных разбивается на две группы, где один используется для разработки классификаторов и других используется для оценки. Уровень классификации ошибке на тестовом наборе, то, как сообщается, оценка истинного ошибка классификатора ставка (Weiss

В данной работе мы используем четыре раза метод перекрестной проверки. Оригинал 7200 случаев в наборе данных являются случайным образом разделены на четыре взаимоисключающих разделов примерно одинакового размера. Расслоение оригинальных случаях используется для того, чтобы доля каждого класса нашли в общем образца составляет около представлены в каждой выборке. Обучение выступила на трех разделов, в четвертом, отведенное для тестирования. Процесс повторяется до каждого раздела была использована для тестирования. Четыре элемента перекрестной проверки используется здесь, чем впятеро или более того, как это часто рекомендуется в литературе, чтобы каждый подвыборки достаточно дел в маленький класс (щитовидной железы). Основываясь на нашем опыте, если группа содержит слишком мало наблюдений в каждой выборке, то нет классификатора надежно предсказать, а для этой группы в связи с недостаточной информацией.

Нейронной сети дизайн

Некоторые факторы играют важную роль в разработке Упреждающее нейронных сетей для задач классификации. К ним относятся ввод, скрытые и конфигурации выходного слоя, а также обучение методике. Хотя общие принципы существуют некоторые факторы, систематически не равномерно применимые принципы существуют, чтобы руководство нейронной сети дизайн. В результате, большая часть нейронной сетевой архитектуры, как правило, определяется экспериментальным путем на практике.

Нейросетевые архитектуры ссылается на количество слоев, узлов в каждом слое, и количество соединений дуги. Было показано Cybenko (1989), Хорник (1991), и Patuwo Ху Цзиньтао и Хун (1993), нейронных сетей с 1 скрытый слой, как правило, достаточно для большинства задач. Все сети исследованных в данной работе использовать один скрытый слой. Двадцать один вход узлами, соответствующими 21 атрибутов ввода используются. Смещения узла также указана. Три бинарных узлов производства, соответствующие трем классам щитовидной железы, работают. Целевых показателей для каждого узла, либо нуль или один в зависимости от истинного класса продукции. Например, цель выхода 0-0-1 соответствует гипотиреозом случае 0-1-0 для щитовидной железы дела, а 1 -0-0 в нормальное состояние. Логистическую функцию активации используется для скрытого и выходного слоев в то время как все слои были полностью связаны со входа на скрытые на выход.

Число скрытых узлов не так легко определить априори. Есть много эмпирических правил, предлагаемых для определения количества скрытых узлов, но никто из них хорошо работает во всех ситуациях. Потому что цель заключается в создании сети способны надежные предсказания невидимых объектов в исследуемом образце, опытный образец MSE используется в качестве критерия для выбора количества скрытых узлов. Эксперименты были проведены изменения числа скрытых узлов от 5 до 50 лет. Нейронных сетей с 10 скрытые узлы были найдены для достижения наилучших результатов тестирования и, следовательно, используемых для экспериментов в перекрестной проверки анализов.

Обучение методологии является еще одним важным фактором в разработке Упреждающее нейронных сетей. Как отмечалось ранее, целью обучения нейронной сети заключается в оценке веса узел связи, с тем чтобы свести к минимуму ошибки меры, например, MSE. Наиболее часто используемых подготовки алгоритм обратного распространения (Rumelhart, Хинтон,

РЕЗУЛЬТАТЫ

Результаты исследования представлены на обсуждение двух частей. Во-первых, последствия неравного расходы на ошибочной классификации нейронной сети производительности классификации представлены. Тогда перекрестной проверки анализа оценки надежности нейронных сетей в отношении стоимости разницы и отбора проб изменения обсуждается.

Воздействие неравной ошибочной классификации расходов

Таблица 2 содержит общие результаты последствий неравного ошибочной классификации расходов на щитовидной эффективность диагностики. Сводные статистические данные о максимальной, минимальной, средней и стандартного отклонения правильный номер классификации и скорость свыше 729 работает даны. Результаты показывают, что неравные издержки ошибочной классификации имеют значительное влияние на эффективность классификации нейронной сети, особенно для небольших групп, таких как щитовидной железы и при гипотиреозе. Максимальная подготовки и цены испытания классификации щитовидной железы группы по 729 комбинаций расходов на 100% и 92,68% соответственно. Тем не менее, минимальная ставка классификации для этой группы только 80,8% в обучающую выборку и 53,66% в тестовый набор. Это показывает, что при различных соображений стоимости, классификации ставки для определенной группы могут значительно варьироваться. Аналогичные результаты можно видеть из номеров категории гипотиреозом. Например, самый высокий уровень испытаний классификации гипотиреозом является 98,91%, тогда как низкие только 64,13%.

Обратите внимание, что неравное рассмотрение расходов не оказывает существенного влияния на нормальную группу. Среди всех 729 комбинаций считается стоимость, максимальная подготовки и цены испытания классификации нормальных группы 99,62% и 99,70%, при этом минимальные ставки 98. 1% и 98,38%. Это связано с тем, что нормальная группа самая большая группа в наборе данных и, следовательно, неправильной классификации расходов меньше влияния на результаты классификации для этой группы. Из-за преобладания нормальных случаях группы в наборе данных, общий уровень классификации, также не чувствительны к неправильной классификации расходов. Эти данные также нашло отражение в стандартных отклонений, которые свидетельствуют о чувствительности классификации ставки ошибочной классификации расходов на гипер-и гипотиреозе групп, а нечувствительность к нормальной группы.

Эти результаты показывают, что значительные ошибки могут результат для практикующих врачей использованием ошибочной классификации расходов равными в принятии решений. В зависимости от серьезности ситуации, а также диагностики стадии, врачи должны применять соответствующие расходы неравные ошибочной классификации. Как альтернативные спецификации стоимость может оказать помощь в минимизации рисков в щитовидной диагноз заболевания будут обсуждаться в следующем.

Для дальнейшего изучения последствий неравного расходы классификация, мы выбираем шесть частности неравные комбинации затрат и сравнить их результаты с равными классификации расходов. Эти сценарии приведены в таблице 3. Сценарии представляют собой 1-6 неравных ситуациях затрат, в то время как сценарий 0 является базой случае равенства расходов ошибочной классификации.

Сценарии 1-3 назначить высокую стоимость ошибочной классификации с единой истинной перспективы группы. Сценарий 1 устанавливает высокие наказание за misclassifying щитовидной железы группы, тогда как меньше внимания уделяется ошибочной классификации других групп. Он представляет собой ситуацию, в которой правильно определить истинные щитовидной железы пациентов имеет первостепенное значение. Эти ошибочной классификации расходов целесообразно в начале процесса диагностики, когда пациент первым рассмотрели и, жалуясь на симптомы свидетельствуют о гипертиреоза. В этой ситуации, то незначительными неудобствами для пациента есть дополнительные испытания, проводящиеся для оказания помощи правильного диагноза. С другой стороны, невыявленным хроническим гипертиреоза может вызвать долговременные повреждения органов. Кроме того, сценарии 2 и 3 место суровое наказание для misclassifying гипотиреозом группы и нормальные группы, соответственно.

Сценарии 4-6, в то время, принять предсказал группы точку зрения присвоить высокий штраф за misclassifying людей к определенной группе. Сценарий 4 является ситуация, в которой ошибочной классификации пациентов на щитовидной железы является наиболее нежелательным и, следовательно, должно быть сведено к минимуму. Это распределение затрат может быть соответствующие позднее в процесс диагностики, когда решения о классификации используется для определения того, или нет операции или радиоактивных терапии будет выполнена. Очевидно, что эти действия выполнять основные, непосредственные последствия для пациента. Сценарии 5 и 6 представляют собой аналогичные ситуации, гипотиреозом и нормальные группы. Эти шесть сценариев выбираются так, чтобы подчеркнуть последствия ошибочной классификации расходов неравный, поскольку они представляют общей, но важное решение ситуации, в которых это решение может иметь серьезные последствия, и экономически обоснованное принятие решений является наиболее подходящим.

Таблица 4 содержит подробные результаты классификации для каждого из семи выбранных сценариев. Результаты свидетельствуют о сценарии 1-3 максимизации эффекта нужного одной идентификации группы. В сценарии 1, для которых стоимость misclassifying щитовидной железы является высокой, щитовидной железы правильной классификации максимальной мере роста количества жирным шоу, классификация щитовидной железы в подготовке множества 100%, тогда как скорость испытания классификации является самым высоким на 92,68% ( См. также таблицу 2). При неправильной классификации расходов для определенной группы высока, классификатор направлен на повышение правильный уровень классификации (число) для этой группы. Платой за это увеличение в правильной идентификации определенной группы является снижение правильной идентификации других групп. Это согласуется с целью ранней диагностики в процесс, при котором точка дополнительного тестирования для пациентов на самом деле не является щитовидной железы с незначительными неудобствами. Сценарии 2 и 3 дают аналогичные результаты.

Результаты Сценарии 4-6 изобразить ситуацию, в которой расходы на misclassifying больных в определенной группе являются высокими. Когда есть высокий штраф за неправильной классификации предметов в группе классификатора пытается уменьшить общее количество предметов неправильно установленного для этой группы. В результате, уменьшается уровень правильной классификации. Например, сценарий 4 представляет собой ситуацию, в которой misclassifying субъектов в щитовидной железы очень нежелательно. Щитовидной железы уровень классификации падает до своего минимума в 80,80% в подготовке образцов и 53,66% в опытных образцах. Заметим, что при классификации курсу щитовидной железы снижается, классификации тарифов на двух других группах рост или оставаться неизменным по сравнению с равной ситуации стоимость. Аналогичные эффекты можно встретить Сценарии 5 и 6.

Таблица 4 показывает также, что общий уровень классификации неравные сценарий стоимость ниже, чем для базового равной цене Сценарий 0 в обоих подготовки и тестовых образцов. Это разумно, учитывая, что общая максимизация скорости классификация цели равной стоимости основе классификатора, а это не для неравных стоимость решений на основе. Это свидетельствует о том, что общий уровень классификация не является надлежащим показателем для неравных ситуациях ошибочной классификации расходов.

Таблицы 5 и 6 содержат дополнительный анализ ошибок классификации. В таблице 5 представлены точки зрения misclassifying предметы из определенной группе в то время как в другие Таблица 6 представляет собой неправильной классификации субъектов в определенной группе. Ошибки раз показывают существенное влияние классификации различных целей, принимающих решения, как это отражается неравные соображений стоимости. В таблице 5, четкой тенденции распределения ошибки видел среди Сценарии 1-3 и 4-6 из сценариев. Эти модели в соответствии с задачами, поставленными сценарий расходов. Например, цель в 1-3 сценариев заключается в максимальном случае правильной классификации, или, другими словами, чтобы свести к минимуму неправильных классификаций.

Результаты показывают, ожидается изменение ошибок классификации, соответствующие каждому индивидуальному сценарию. Минимизации ошибок классификации на определенную тему целевой группой является ценой значительного увеличения misclassifying других субъектов группы в данной целевой группе, как это предлагается в таблице 6. В сценарии 1, мы поставили высокий штраф за misclassifying щитовидной железы пациентов. В результате реализации данной политики по сравнению с Сценарий 0, равное случае стоимость, является значительное снижение темпов ошибка misclassifying щитовидной железы от 11,20% до 0% в обучающей выборки и от 23,81% до 7,14% в тестовый набор (см. Таблицу 5). Однако эта политика также значительно повышает точность классификации в том смысле, что люди в гипотиреозом и нормальные группы ошибочно помечены как щитовидной железы, что является относительно небольшая ошибка влечет за собой дополнительные испытания. Таблица 6 показывает, что процент ошибок увеличится с 3,20% и 4,76% равной случае стоимость 31,20% и 40,48%. В сценарии 4, в котором цель состоит в минимизации неправильно классифицирован субъектов в щитовидной железы группы, номера ошибочной классификации в эту группу, только 1,60% от подготовки и 2,38% от испытаний (табл. 6), в то время как цены на ошибку misclassifying истинной щитовидной железы пациентов существенно увеличилась до 19,20% и 45,24% (табл. 5).

Перекрестная проверка Анализ

Вторая основная цель данной работы заключается в оценке надежности нейронных сетей в отношении стоимости разницы и отбора проб вариации. Как описано в разделе методологии научных исследований, четырехкратный процедуры кросс-валидации проводится анализ изменчивости в классификации работы. Каждый перекрестной проверки подготовки и тестирования набора данных используется наряду с 729 комбинаций стоимости. Результаты среднее количество предметов правильно разделить на каждой группы, а стандартное отклонение по всем 729 работает представлены в таблице 7.

Таблица 7 показывает, что через четыре перекрестной проверки образцов результаты достаточно устойчивы в том, что изменчивость как в среднем правильный номер классификации и стандартного отклонения мала. Например, средняя правильные номера классификации щитовидной железы группы 112,4, 108,9, 112,6, 111,0 и подготовки проб и 33,2, 33,8, 29,9 и 36,4 для испытания образцов. Различие между этими малочисленных с практической точки зрения.

Из-за эффекта неравного расходы ошибочной классификации, целесообразно изучить надежность нейронных классификаторов сети для отбора проб изменения в стоимости фиксированной комбинации. Таблица 8 содержит перекрестной проверки результатов для отдельных сценариев. Число наблюдений могут быть сделаны. Во-первых, как и ожидалось, различные соображения стоимости оказать существенное влияние на перекрестной проверки результатов классификации. По сравнению с эталоном при равной стоимости (сценарий 0), сценарии 1-3 и 4-6 показывают Сценарии же модели классификации среди 3 групп, как указывалось выше (см. номера жирным шрифтом). Это означает то же неравные расходов воздействие на каждого перекрестной проверки образца. Во-вторых, общий уровень классификации очень надежный различных разделов учебных и испытательных образцов, как показано на средний уровень классификации и диапазоны, независимо от того, какой ценой будет использоваться комбинация. Неравный ошибочной классификации расходов Сценарии 1-6 имеют более низкий общий уровень классификации и более широких диапазонах, чем равные стоимости Сценарий 0, но различия не являются значимыми. В-третьих, чем меньше группа, тем больше изменчивость обменных перекрестной проверки классификации. Наконец, разных форм изменчивости существуют для разных целей принятия решений с учетом ошибочной классификации расходов ..

Напомним, что Сценарии 1-3 место суровое наказание по ошибочной классификации одной конкретной группы в другие. В этих случаях, классификатор посвящен классификации, как много правильных числа предметов в указанную группу, как это возможно. В результате неправильной классификации номера, а также изменчивости для этой группы ниже, чем соответствующие равное количество сценарий стоимости. Сценарии 4-6, с другой стороны, направлены на сокращение неправильной классификации в определенной группе. В качестве побочного продукта, это приводит к сокращению числа правильных субъектов в данной группе. Кроме того, изменчивость по четырем разделам возросла с 0 сценарий. Например, в сценарии 4, ассортимент классификации тарифов на щитовидной железы являются 18,48% и 26,19% в подготовке кадров и тест-наборы, которые значительно выше, чем соответствующий 6,52% и 16,67% в сценарии 0.

ВЫВОДЫ

Предыдущие исследования создало потенциал нейронных сетей для классификации. Многочисленные успешного применения нейронных сетей в задачах классификации были зарегистрированы в литературе, и, на наш взгляд, нейронные сети являются жизнеспособной альтернативой традиционным методам классификации. Нейросети не только мощный распознавания образов и возможностей распознавание образов, но они могут также предоставлять точные оценки вероятности задней, которые являются основой для многих обычных методов, таких как линейного и квадратичного дискриминантного анализа.

Большинство традиционных методов классификации, а также модели нейронной сети, используйте равные предположение следствие затрат при классификации ошибка. Нейронные сети развиты в основном для сведения к минимуму общего числа misclassifications. Это является весьма ограниченным в большинстве реальных ситуаций, таких как контроль качества, прогнозирования банкротства, прямой маркетинг, а медицинский диагноз, для которого ошибочной классификации часто влечет значительные последствия являются неодинаковыми. В данной работе мы исследовали влияние ошибочной классификации расходов по классификации производительности нейронных сетей. Проблема диагностики дисфункции щитовидной железы выбран в качестве репрезентативного примера для оценки. Это приложение представляет собой трудную задачу классификации, поскольку Есть множество атрибутов ввода, со сложными связями, влияющих на решения. Кроме того, группы крайне несбалансированной.

Наши результаты показывают, что произвольное использование равной стоимости последствия это будет иметь серьезные последствия решения о классификации во многих приложениях, и что в этих ситуациях различных соображений затрат, необходимых для эффективного принятия управленческих решений. Различные расходы могут быть использованы для достижения оптимального решения классификации с минимальным риском. Мы считаем, что в зависимости от перспективы различных лицо, принимающее решение, и ситуаций, указанных совершенствование классификации производительность может быть достигнута. Хотя шесть сценариев были отобраны для обсуждения в этом исследовании, следует отметить, что Есть также множество комбинаций ошибочной классификации расходов возможным Есть принятия решений ситуаций. Мы считаем, что полученные результаты могут быть распространены на большинстве ситуаций классификацию и на основе затрат классификаторы являются более общими, гибкими и соответствующие методы для задач классификации.

Другим выводом является то, что находятся в неравных соображений стоимости, общий уровень классификации или коэффициент ошибок не надлежащим мерилом производительности, поскольку она не отражает важность правильной классификации один или несколько отдельных групп. В случае возникновения проблем с неравными расходы классификация, специфические ставки классификационной группы имеют относительное значение и интерес. В задаче классификации 2-группа, например, это равносильно тому, в целях минимизации типа I или типа 11 ошибок. Очевидно, что с рассмотрением конкретных производительности групповая классификация является более важным, чем общая производительность классификации несбалансированным проблемы классификации, в которой основное внимание, как правило, по меньшей производительности классификационной группе.

Ошибочной классификации расходов должен быть назначен на основе потребностей каждой конкретной ситуации. Например, в приемки продукции выборки, альтернативных планов выборочного контроля, часто используются для различных продуктов в зависимости от относительных последствий (затраты), приема вредных продуктов для потребителей и / или отказа партии хороших пунктов производителей. В медицинской диагностики, различных заболеваний как правило, имеют разную стоимость ошибочен. Кроме того, на различных этапах диагностики, альтернативных издержек ошибочной классификации могут быть использованы для отражения обновленную информацию и принимать решения потребностей.

Хотя точную оценку ошибочной классификации расходов трудно получить в таких случаях диагностики заболеваний, относительная оценка стоимости является достаточным для принятия решений. Врачи часто знают о относительные риски ошибочный диагноз больному на различных этапах диагностики и может назначить расходов соответственно. Другие данные, такие как исторические данные медицинской статистики, а также данные страховой компании может также опираться при определении относительной стоимости. В контроль качества производственного процесса, относительные затраты на тип I и тип 11 ошибок часто получены от производства записей, данные об обеспечении качества, жалобы клиентов, гарантийное записи и учетной информации. Расходы таких, как отбор проб и тестирования, ненужные процесс корректировки и простоев, продукт переделки и замены, ремонта или лома ставки могут быть основными источниками при определении фактических затрат.

Результаты также показывают, что, в общем, нейронных сетей, надежные связи с изменениями выборки, важной характеристикой для практического применения. Тем не менее, надежность нейронных сетей зависит от конкретной целью решения ситуации. В частности, малые группы классификаций, как правило, более чувствительны к результаты выборочного обследования. Незначительное увеличение количества субъектов для небольших групп может существенно уменьшить изменчивости. Таким образом, пользователи нейронных классификаторов сети должны быть осведомлены о конкретной ситуации, связанной с их стоимость рассмотрения. Кроме того, имея более предметам в малых группах является полезным для достижения общей цели снижения риска и изменчивости. [В редакцию: 16 мая 1997. Принято редколлегией: 1 августа 1998]

Ссылки

Бахемука, М.,

Cybenko, G. (1989). Приближение суперпозициями сигмоидальных функции. Математическая сигналов управления Systems, 2, 303-314.

Danese, М. Д. (1996). Скрининг на мягкой щитовидной провал на периодические медицинские осмотры. Журнал Американской медицинской ассоциации, 276 (4), 285-292. Душ Ремедиос, LV, Вебер, П. М., Фельдман, Р. Шерр Д. А.,

(1980). Обнаружение неожиданные дисфункцией щитовидной железы в результате свободного тироксина индекс. Архивы внутренней медицины, 140, 1045-1049.

Дуда, Р. 0.,

Fukazawa, H., Сакурада, T.,

Гевин, Л. А. (1988). Диагностические дилеммы железы в крови и гипотироксинемии. Достижения в области внутренней медицины, 33, 185-204.

Гордон, А. Д. (1981). Классификации. Лондон: Чепмен и Холл.

Хорник, К. (1991). Приближение возможности многослойные Упреждающее сетей. Нейронных сетей, 4, 251-257.

Хорник К. Стинчкомб, М.,

Хунг, М. С. Ху Цзиньтао, М. Ю., Patuwo, Б. Е.,

Kohers Г. Rakes, Т. Р.,

Kohers Г. Rakes, Т. Р.,

Нолан, J. П., Tarsa, Н. J.,

Papoulix, А. (1965). Вероятность, случайные переменные, и случайные процессы. Нью-Йорк: McGraw-Hill.

Patuwo, Б. Е., Ху Цзиньтао, М. Y,

Philipoom, П. Р., Wiegmann, L.,

Postellon, D. C.,

Пресса, С. J.,

Куинлан, J. (1987). Упрощение деревьев решения. Международный журнал ManMachine исследований, 27, 221-234.

Ричард, М. Д.,

пространения обучения: алгоритм Rprop. Труды Международной конференции по нейронных сетей, Сан-Франциско, штат Калифорния.

Rumelhart, Д. Е., Хинтон, Г. Е.,

Salchengerger, Л. М., Синар, Е. М.,

Танбридж, В. М., Брюис, М.,

Вайс, С. М.,

Белый, Г. Х.,

Вильке, Т. J. (1986). Оценка свободных тиреоидных гормонов в концентрациях клиническая лаборатория. Клинической химии, 32, 585-592.

Wong, Е. Т.,

Виктор Леонидович Берарди

Департамент по вопросам управления, Колледж бизнеса, Блумсберг университет, Bloomsburg, PA 17815, адрес электронной почты: <a href="mailto:vberardi@planetx.bloomu.edu"> vberardi@planetx.bloomu.edu </ A>

Питер Г. Zhang

Департамент Decision Sciences, J. Мак Робинсон бизнес-колледжа, Государственного университета штата Джорджия, Атланта 30303, адрес электронной почты: <a href="mailto:gpzhang@gsu.edu"> gpzhang@gsu.edu </ A>

Виктор Леонидович Берарди является доцентом в Департамент по вопросам управления в Блумсберг университета. Он получил степень бакалавра в области науки и техники бумаги из Университета Майами и степень магистра в Университете штата Огайо до завершения докторскую степень в Кентский государственный университет управления операциями. Его исследовательские интересы лежат в статистического контроля качества, нейронные сети приложений, а также передовые производственные системы. В 1997 году он выиграл Присуждена премия за лучшую студенческую работу в Midwest Решение наук Институт ежегодного совещания. В дополнение к Decision Sciences, его работа появится в Международный журнал по производству экономики, управления здравоохранением науки и компьютеры

Питер Г. Чжан доцента в Департаменте Decision Sciences на Мак J. Robinson Колледж бизнеса, Университет штата Джорджия. Он получил докторскую степень в операциях по управлению Кентского государственного университета в 1998 году. Он является получателем лучшую студенческую работу премия Midwest Решение Научным институтом ежегодном совещании в 1997 году. Его исследовательские интересы лежат в нейронных сетях, прогнозирования, систем учета и статистического контроля качества. Его статьи были опубликованы в решении наук, Европейский журнал исследования операций, OMEGA, Международный научный журнал "Прогнозирование и управления здравоохранением науки, среди других. Он является полноправным членом Sigma Xi, научно-исследовательского общества, а также членом Института Decision Sciences, сообщает и Poms.