Опираясь на мощь выбора моделей и нейронных сетей: многопродуктовыми сравнительный анализ

Опираясь на мощь выбора моделей и нейронных сетей: многопродуктовое Сравнительный анализ *

РЕЗЮМЕ

Выбор моделей и нейронных сетей, 2 подходы, используемые в принятии решений, моделирования выбора. Определение модели производительности вне образца предсказательные возможности модели, мы проверяем две гипотезы: (I) выбор моделей и нейросетевых моделей равны по производительности, и (II), гибридных моделей, состоящая из комбинации выбора и нейронные сети модели выполняют лучше, чем каждый автономной модели. Мы осуществляем статистические тесты для двух классов линейных и нелинейных гибридных моделей и вычислительных эмпирических комплексных ранга (ОДП) индексов для сравнения общее выступление моделей.

Мы тестируем выше гипотез, используя данные для различных брендов и хранить в течение трех выбор потребительских товаров. Обширная jackknifing и вне образцы тестов для четырех различных спецификаций модели применяются для повышения внешней валидности результатов. Наши результаты показывают, что с помощью нейронных сетей большей вероятностью приводит к более высокой производительности. Наши данные также показывают, что гибридные модели превосходят автономных моделей, в том, что с использованием гибридных моделей гарантировать общие результаты равны или лучше, чем два самостоятельных моделей. Улучшение особенно важно в тех случаях, когда ни одна из двух отдельных моделей очень точно прогнозирования, отметив, что предлагаемые гибридных моделей могут быть выявлены аспекты интеллектуального точностью, что ни автономных модель способна самостоятельно. Полученные результаты имеют особое значение для бренд-менеджмента и управления взаимоотношениями с клиентами, о том, что различные технологии и смеси технологий может дать более точные и надежные результаты, чем отдельные из них.

Предметные области: искусственный интеллект, марка выбор, выбор модели, г-удаления Jackknifing, Эмпирическое Комплексной Rank (ОДП), гибридные модели, логит-модели Выбор модели нейронных сетей, а также выбор магазина.

ВВЕДЕНИЕ

модели дискретного выбора были применены широкий выбор решений, таких как оценки роли бренда в принятии решения о покупке (Гуадани

Несмотря на свою основную и интеллектуального преимущества, однако, выбор модели требуют модели строитель указать функцию, которая определяет утилиты для выбора альтернатив. (Функция полезности определяет, каким образом различные атрибуты бренда и маркетинга переменные влияют сколько полезность потребителя вытекает из приобретения бренда, как это обсуждается в дальнейшем.) Это требует знания оценочных процессов, используемых потребителем. И, редко такие знания легко доступны. Модель строители вынуждены использовать такие приближения в виде линейной компенсаторной функции (например, Гуадани

В дополнение к ситуации, в которых оценка noncompensatory, линейные компенсаторные функции могут быть ненадежными в случаях, когда поведение является еще более сложным. Например, потребитель может использовать разработки эвристики, такие как ликвидация по аспекты в некоторых случаях, компенсационные подхода на некоторых, и сочетание этих двух подходов в других, в чем 1 / некоторые атрибуты используются для первого экрана альтернативного набора, а затем компенсационных правило применяется (Fader

Интересно, что даже тогда, когда оценка не является столь сложным, как указано выше, и действительно линейных, могут существовать определенные аспекты поведения, которые могут быть трудно включить в простой линейной модели. Например, в области маркетинга, выбор решения могут быть затронуты не только льготы и / или маркетинговых переменных, но и сложные взаимодействия между ними. Таким образом, они могут оказывать влияние не только цены и лояльность к бренду, но и взаимодействие между этими двумя, с тем чтобы, насколько потребители готовы платить за бренда зависит от того, как они лояльны к нему (Krishnamurthi

В ситуациях, таких, как прежде, в которой процесс принятия решений поведения потребителей могут оказаться слишком сложными для захвата в линейных компенсационной основе, или не хватает знаний в процессе принятия решений использоваться потребителем, нейронные сети могут служить полезный альтернативный подход. Первоначально разработанная для имитации сложных процессах принятия головного мозга человека и тем самым создать системы с искусственным интеллектом, нейронные сети развивались до точки, где они используются для моделирования бизнес-проблем. Например, они были использованы в таких разнообразных областях, как финансы (например, Кимото, Asakawa, Йода,

Главное преимущество нейронных сетей заключается в их способности к модели нелинейного и noncompensatory процессов без необходимости спецификации априорной функциональная зависимость между атрибутами принятия решений связи и результаты процесса принятия решений. Причина этого заключается в том, что, как и в случае с человеческим мозгом, нейронные сети, могут узнать характер этого процесса на опыте. В традиционных параметрических словами, это означает, что сеть косвенно определяет функциональную форму отношений между решением переменных и решений. Таким образом, спецификации модели также эмпирически изгнаны, и вероятность того, модель неправильной спецификации значительно снижается. Кроме того, как в обычных методов оценки, нейронные сети могут также принимать оптимальные функциональную форму, что они определили к данным.

Несмотря на значительные преимущества над выявления лучших из спецификации данных, нейронные сети страдают от некоторых ограничений своего. Во-первых, они могут предоставить несколько основных идеи, так как спецификации, определенные сеть представляет собой "черный ящик" и может быть слишком сложным, чтобы представлять в традиционных параметрических условиях, несмотря на использование анализ чувствительности может обеспечить некоторое представление о воздействии входных переменных. Во-вторых, процесс обучения нейронной сети может быть весьма трудоемким поскольку аналитик перебирать различных архитектурах и отбора проб соображений. Можно перетренироваться модель нейронной сети, чтобы он "запоминает" данных моделей, что приводит к плохой вне - образец работы. Таким образом, как надежного модели зависит в очень значительной степени от того, как опытный тренер (или аналитик) в строительстве нейронных сетей, рандомизации отправной точкой, и использование вне выборки данных для остановки процесса обучения и выбора соответствующей архитектуры .

Нейронные сети были применены в различных сферах бизнеса (Wong, Bodnovich,

Вариант 1: выбор и нейронные модели сетей выполняют аналогично, где производительность определяется как предсказательная сила каждой модели.

Одним из интересных вопрос, который мы также рассматриваем ли два типа моделей могут быть объединены, чтобы воспользоваться их лучшие черты. Иными словами, мы можем смешивать две модели-нейронных сетей и выбор моделей, чтобы сформировать гибридные модели? Чтобы быть конкретным, если выбор модели удалось захватить поведения во всей ее полноте, не должно быть очень мало сигнала остается для нейронных сетей объяснить. Таким образом, производительность нейронные сети, либо по отдельности или в сочетании с мощностью от выбора модели, не должен быть намного лучше, чем выбор модели в одиночку. Если, с другой стороны, поведение носит сложный характер, и закрытая форма выбора модели не в состоянии приближенных его, используя нейронные сети, либо в виде отдельно или в сочетании с выбором модели, должны объяснить больше, чем просто Выбор модели в одиночку.

"Идея объединения классификаторов несет в себе призыв, различные классификаторы разработаны на основе различных концепций и процедур оценки. Кроме того, поскольку каждый классификатор имеет определенные достоинства, то имеет смысл выйти замуж за лучшие черты разных классификаторов по каким-то образом объединить их" (Mojirsheibani , 1999, стр. 600). Смешивание классификатор методов была предложена для различных приложений. Например, Сюй, Kryzak и Син (1992) и Ларки и Крофт (1996) предложил объединить классификаторов для распознавания рукописного текста и категоризации. Они обнаружили, что комбинирование классификаторов приносит лучшие результаты. Кроме того, их эксперименты предложил, что более сложные сочетания различных методов, чем простое большинство голосов подход улучшает результаты распознавания рукописного текста. Кроме того, Mojirsheibani (1999) доказал, что при определенных предположениях распределительных, сочетая классификаторов в порядке, на основе голосования большинством класса асимптотически (с вероятностью 1) по крайней мере так хорошо, как любой из учредительных классификаторов.

Сочетание классификаторов может быть достигнуто разными способами. Одним из способов является сочетание статистических методов с человеческих суждений. Уайткоттон, Сандерс, и Норрис (1998) показали, что сочетание человеческой интуиции статистические методы могут улучшить точность. Второй способ заключается в сочетании различных нейронных сетей. Смит, Palaniswami и Кришнамоортхи (1996) и Чжан и Beradi (2001) показали, что сочетание различных архитектур нейронных сетей приводит к повышению производительности. Третий подход заключается в сочетании статистических методов. Сильные статистические данные есть в поддержку смешения статистические модели для улучшения прогнозных показателей (камень, 1974; Леблан

Различные характеристики отдельных методов тестирования, таких как нелинейное сложности нейронных сетей (НС) и пояснительные возможность выбора модели (СМ), мотивировать нам протестировать две модели не только в условиях конкуренции, но и в совместном режиме. Мы тестируем (нулевой) гипотезы, что:

Гипотеза 2: гибридная модель формируется путем смешивания выбор и нейронных сетей имеет ту же производительность, поскольку каждый автономной модели.

Если эта гипотеза будет отвергнута, мы можем заключить, что сочетание этих двух моделей действительно может улучшить показатели по сравнению с, что, когда один из них использовать по отдельности.

Гибридной модели сформулированы на основе следующих принципа. Допустим у нас есть образец решения, которые мы попытаемся объяснить использованием выбора модели, а также модели нейронной сети. Мы можем оценить выбор модели и использовать его для вычисления вероятности, р ^ с ^ к югу от наблюдения выбор. Кроме того, мы можем обучить нейронных сетей, а также оценить вероятность, р ^ N ^ к югу от наблюдаемых выбор. Мы можем объединить р к югу с ^ и р к югу N ^ и получить смесь контактный вероятностей, которые могли бы потенциально быть лучше, чем предсказывают выбор либо р ^ с ^ к югу и р к югу N ^ сами по себе. Мы используем три различные подходы к определению оптимального сочетания вероятности выбора от выбора модели и от соответствующих нейронных сетей, а именно: (1) простой линейной комбинации, (2) подход, основанный на удар ставки, и (3) нейронных сетей подход, где мы определим гибридных нейронных сетей, для которых входы р к югу с ^ и р к югу N ^ и выход р сп ^ ^ к югу.

Мы тестируем первой гипотезы 192 раз, а вторая гипотеза 1152 раз на выбор потребителями различных марок, а в магазинах, на закупку товаров для дома 3 на 4 различных спецификации модели и 3 типов гибридных моделей. Наш анализ показывает, что проверка выполнения равенства выбор и нейронных сетей отклонил на некоторые продукты, и нейронных сетей, имеет более высокую вероятность лучшую общую производительность, но это превосходство не всегда является статистически значимым. Наши испытания второй гипотезы предполагают, что гибридные модели могут обеспечить лучшую производительность, чем стоять - только моделей в ряде случаев, и может гарантировать эффективность работы лучше, чем или равно автономной модели, хотя и улучшения не всегда является статистически значимым. Улучшение, однако, имеет особое значение, где ни один из двух отдельных моделей очень точной, отметив, что предлагаемые гибридных моделей могут захватить аспекты поведения, что ни одна модель может. Кроме того, мы видим, что гибридные модели могут предложить более последовательной, чем прогнозных показателей как автономных нейронных сетей или выбора модели, а также обеспечить "страховку" от неэффективных автономной модели.

Мы также вычислили эмпирических комплексных ранга (ОДП) индексов для сравнения общее выступление моделей. Полученные результаты подтверждают гипотезу, что первые модели нейронной сети имеет превосходные характеристики, а также вторая гипотеза о том, что гибридные модели, имеют более высокий выступления по сравнению с автономной модели ..

Остальные статья организована следующим образом. В следующем разделе мы описываем выбор модели, использованной в данном исследовании, обеспечивают краткая справочная информация о нейронных сетей и архитектуры, а также представить теоретическую основу для гибридных моделей, а затем раздел, описывающий переменных данных, процедуры отбора проб, а также как jackknifing процедура, которая позволяет строго выполнять статистических испытаний для нашей гипотезы. Затем мы обсудим практические выводы и управленческие последствия наших выводов. В последнем разделе представлены заключительные замечания и дает некоторые направления для дополнительных исследований в этой области.

ОПИСАНИЕ моделей выбора и нейронные сети

Выбор модели

Нейронных сетей

Нейронные сети первоначально были разработаны для имитации обработки информации человеком, обучения и принятия решений. Нейронных сетей название связано с тем, что человеческий мозг может рассматриваться как сеть взаимосвязанных нейронов или подразделения обработки информации. Каждый нейрон предполагается ответить на целый ряд информационных ресурсов, которые вместе, активировать нейроны в реализации мероприятий. Выход нейрона определяется по активации функции взвешенная сумма его входов. Веса, а точнее подключение весов, установленных на входы варьироваться в зависимости от источника ресурсов. Вес сделан на более влиятельным источником больше, чем на источниках, которые не так важны. Или нет источника имеет важное значение для выхода нейрона, извлеченные сетей во время учебного процесса. Таким образом, в модели данных и неявных функциональных форм уроков и хранится в виде объединения веса между нейронами.

Большинство сообщили применения нейронных сетей прямого распространения использовать только архитектурой. В нашем анализе каждого нейронных сетей спецификация включает три тестирования архитектур для модели подходят: обратного распространения, функция радиального основе, и модульные. Обратного распространения выбрана в силу своего универсального аппроксимации и классификация возможностей. Радиальные основе также универсальной архитектурой Н.Н., что речь идет о местных настоящее минимумов прямого распространения с помощью кластеризации в скрытом слое. Модульная сеть представляет собой комбинацию из нескольких сетей прямого распространения, специализирующиеся представлять конкретные случаи, в наборе данных. Эти три наиболее известных архитектур с контролем обучения. В охраняемой обучения архитектуры, производительности модели измеряется с известным результатом, например, фактический выбор торговой марки или магазина. Приложение B содержит краткий обзор этих трех архитектуры.

Гибридные модели

Понятие смешения моделей разных типов для повышения производительности, что в течение какого-либо одного модель имеет давнюю традицию в литературе. Например, подход, смешать регрессионных моделей разработан камень (1974), Breiman (1996), и Леблан и Tibshirani (1996). Кроме того, Wolport (1992) предлагаемых смесей модели нейронных сетей. Лебланк и Tibshirani, однако, предложил модель смеси для регрессионных моделей с непрерывным результатов и перемешивание линейного дискриминантного анализа и ближайших соседей для классификации задач, в которых результаты будут категоричными. Они доказывают, что сочетание оценок помогает в улучшении прогнозных показателей и узнать о структуре этой проблемы.

которая предусматривает оценки веса моделей: бета югу ^ 1 ^ ^ к югу бета 2 ^, ..., бета-^ K ^ к югу. Модель смесь для регрессионного анализа с весами, вынуждены быть неотрицательным была лучше прогнозных показателей (Brieman, 1996; Леблан

Если сравнение между автономных выбор моделей и нейронных сетей показывает, что лучший выбор модели является неустойчивым, и нет явного победителя, то вопрос заключается в том смешивания же два класса модели, может улучшить производительность. Усыновление из однородных (того же класса) гибридных моделей, мы разрабатываем два класса модельных смесей неоднородной модели: (1) линейный подход, когда выбор моделей и нейронных сетей, смешиваются в 2-разному, и (2) нелинейного подхода , где выходы 2 модели объединены в нелинейным образом. Эти подходы мы обсудим ниже.

Мы используем показатель попадания в качестве критерия для оценки производительности. Это общие критерии использовались при отборе моделей выбора, а также в непараметрических моделей, таких как нейронные сети и классификации и регрессии деревьев (покупок), и определяется как отношение правильный выбор общий выбор. Hit номера вычисляются с помощью диагональных значений "матрицы смешивания", в которой ряд элементов фактического выбора и столбцов элементов соответствующей модели предсказал выбор. Off-диагональные значения этой матрицы представляют собой тип I и тип II ошибки. Таким образом, хит-коэффициент критерия исключает оба типа 1 и 2 ошибки. Некоторые эмпирические исследования, различия между расходы, связанные с I типа и типа ошибки II. Это особенно справедливо в области страхования, банкротства, а также проблемы допущения непрерывности деятельности классификации. В таких случаях, классификации банкротом (рискованные или не функционирует) случае, как здоровым и нормальным может быть гораздо дороже, чем ошибки классификации здорового компании банкротом (Этеридж

Линейная комбинация от выбора модели и нейронные сети

Нелинейные сочетание выбор моделей и нейронных сетей

Лебланк и Tibshirani (1996) предложил более общее сочетание моделей позволит сочетании с переменным и более сложной. Одним из возможных путей обеспечения более сложное сочетание Н. Н. CM является объединение их через другой нейронных сетей. В этом случае вероятность выбора каждого варианта, по оценкам выбор моделей и нейронных сетей, смешиваются через другую NN. Если говорить конкретно, то вероятность выбора из двух моделей, рассматриваются как нейронов во входной слой нейронной сети. Таким образом, для K альтернативы, это гибридных нейронных сетей бы 2K входных нейронов для каждого решения дела. И эта модель Н. обучен обеспечить выход K вероятности, которая будет прогнозировать выбор каждого из вариантов. Мы называем эту модель HM-NN.

DATA и спецификация модели

Данные

Мы выбрали сканера AC Nielsen панели набора данных для проверки гипотез с использованием реальных данных. Данные состоят из покупки в течение 1985-87 домашних хозяйств, принадлежащих к панели сканера Эрим. Мы выбрали три несколько разнородных продуктов: маргарин, жидких моющих средств и туалетной бумаги. Несмотря на то, что все три продуктовые товары и, таким образом, часто приобрели, какие диски поведения потребителей в каждой категории могут быть весьма различными. Если говорить конкретно, то, что маргарин пищевой продукт может означать, что процесс принятия решений может быть различным, чем, скажем, в случае туалетной бумаги. С другой стороны, хотя это не пищевой продукт, жидкие моющие средства намного дороже, чем любой категории маргарин или туалетная бумага.

Так как мы хотели, чтобы включить лояльности в качестве одного из потребительских характеристик, а входной переменной, мы ввели два критерия для выбора домашних хозяйств, которые будут включены в анализ. Во-первых, семья должна иметь не менее чем за шесть покупки в течение длины панели. Во-вторых, семья должна пытались по крайней мере три из пяти альтернатив во время его приобретения истории. В таблице 1 приводится резюме образец акций и средние цены на выбранной марки.

Изучаются два типа потребительских решений, марки и магазин отбора, в целях повышения generalizeability результатов. Предварительный анализ образцов показал, что только 9 магазинов были акции 6% или больше в образце, а другие магазины были очень небольшая доля закупок этой категории в выбранных домохозяйств. Для обеспечения стабильности процесса оценки, мы сохранили замечания на покупку только в тех магазинах, которые купли-продажи акций по крайней мере 6%. Сводные данные выбор магазина представлены в таблице 2.

Технические характеристики моделей

Мы указываем 4 модели выбора марки и вызывать их стандарт, Ext-1, Ext-2 и Ext-2WS для выбора марки и четыре характеристики: Стандарт, Ext-1, Ext-2 и Ext-2WB для хранения выбора. Стандартная модель содержит альтернативные конкретных входных переменных обычно используются при выборе модели в маркетинге. Другие три характеристики постепенно вводить дополнительные потребителей конкретных входных переменных, как описано в Приложении А.

Три Н. архитектур-обратного распространения, сеть радиальных функций основе, и модульно-тестирование на каждом из вышеупомянутых 4 спецификации на основе их вне производительности образца, а лучшие архитектура используется в каждом конкретном случае. Эти архитектур кратко описано в Приложении B.

Отбор проб и процедур оценки

Опишем наш подход к тестированию относительной эффективности моделей бренда выбор, нейронные сети, а также гибридных моделей. После этого мы обсудим наш подход к оценке бренда выбор моделей и нейронных сетей.

Образцы

С целью проверки прогнозных показателей моделей, мы придерживаемся традиционного подхода (например, камень, 1974; Гуадани

В случае нейронные сети, мы должны продолжать делать оценки образца в обучающей выборке и остановки образца. Цель этих двух образцов заключается в следующем. Нейронных сетей может быть установлен с любой степенью точности в данном образце. Тем не менее, хотя он является привлекательным, увеличение точности подгонки происходит в прайс-за подготовленных сетей выполняют плохо вне образца. Это избежать с помощью остановки образца для оценки степени overfit если таковые имеются. Если говорить конкретно, обучение продолжается до тех пор, как приступ нейронных сетей для остановки образца улучшается. И после того, как подходят к остановке образца начинает ухудшаться, даже если вписывается в обучающей выборке улучшается, подготовка остановлена, потому что overfitting может происходить. Мы включили в 90% наблюдений в калибровочного образца в обучающей выборке, а оставшиеся 10% в остановке образца.

Мы повторяем описанные выше действия перегородки образца, в целом, для оценки и испытаний гибридных моделей. Тем не менее, мы ограничимся анализом гибридных моделей для проверки образца. Это делается для того, чтобы свести к минимуму вероятность того, что выбор модели или нейронные сети, будет доминировать на гибридные модели исключительно из-за характеристик оценки образца для отдельных моделей. Иными словами, мы используем оценкам автономных моделей, чтобы вне образца (с использованием тестовых данных) прогнозов, которые будут использоваться в качестве вклада в гибридных моделей. Это гарантирует, что лучшие гибридные модели определяется на основе сочетания вне образца выступления отдельных моделей. Кроме того, поскольку две гипотезы проверяются на две совершенно разные наборы данных, нам не нужно, чтобы приспособиться (в нашем случае двойной) р-значения для учета нескольких тестов на той же выборки данных (Johnson

Процедуры отбора образцов,

Учитывая сложность нейронных сетей, это более вероятно, что конечная конфигурация сети на основе местных, а не глобального оптимума. Кроме того, сети могут быть восприимчивы к особенным характеристикам оценки образца и, следовательно, могут работать на очень низком на исследуемом образце. Для сведения к минимуму вероятности обоих видов, сбои сети модельеры обычно следуют процедуры повторного образца, в котором они загрузочный исходном образце несколько раз - как правило, примерно в 10 раз и ремонт нейронных сетей для каждого образца (Западная и др.., 1997 ). Мы принимаем такой же подход. Однако вместо того, отбор проб лишь несколько раз через загрузку, мы используем подход jackknifing которой мы образца большое число раз и подходят нейронные сети для каждого образца. И, по нашим оценкам модели бренда выбор на каждом образце, а также.

Jackknifing подход дает нам строгие статистические процедуры для проверки нашей гипотезы два в отношении равенства производительности выбора и нейронных сетей-моделей, а также выполнения гибридных моделей, в отношении автономных моделей. Мы используем удалить-й процедуры складной нож образца (Haas

Для оценки моделей выбора и нейронных сетей, мы генерации случайных выборок (без возвращения) от размера оценки образца с остальными наблюдения используется для тестирования. Кроме того, для оценки гибридных моделей, генерации случайных образцов размером 75% от выборки для тестирования гибридной модели оценки, а остальные 25% используются для тестирования.

Следующий вопрос о количестве раз jackknifing необходимо выполнить для надежной проверки гипотез. По словам Надежды (1968), повторение должно быть обратным габаритная уровне значимости. Потому что мы заинтересованы в тестировании гипотез как на 0,01 и 0,05 уровнях, мы обращаем 100 образцов и оценка каждого варианта модели, модели нейронной сети, а также соответствующие гибридная модель 100 раз. Это позволяет для проверки гипотез о форме и интеллектуального показатели эффективности на уровне значимости не менее альфа = 0,01.

Оценка

По нашим оценкам моделей для выбора марки и магазины (Приложение А) максимального правдоподобия. Если говорить конкретно, мы используем алгоритм наискорейшего спуска (DFP) для оценки значений параметров для каждого из спецификации, чтобы максимизировать вероятность того, что наблюдаемые выбор. Переходя к оценке нейронных сетей, мы использовали Professional II Plus по NeuralWare для развития наших сетей (NeuralWare, 1998), и встроенные этого программного обеспечения в рамках программы Visual Basic, разработанные для этого проекта для широкого отбора и оценки различных архитектур-прямого распространения, радиальной базисной функции и модульных сетей.

РЕЗУЛЬТАТЫ

Как уже упоминалось ранее в разделе Технические характеристики моделей, а также в приложении, в каждом из 4 спецификации для моделирования выбор брэнда-Standard, Ext-1, Ext - 2 и Ext-2WS и стандарт, Ext-1, Ext- 2 и Ext-2WB в случае выбор магазина-оценивалась и испытаны 100 раз для каждого из трех продуктов. Кроме того, три гибридные модели, ассоциированные с каждой спецификации были оценены и испытаны 100 раз каждый. Таким образом, мы все эмпирические результаты от 24000 наборы моделей оценки и тестирования. Гипотеза была проверена 1 192 парных тестов и гипотезы 2 было проверено 1152 парных тестов. Результаты этого анализа представлены в данном разделе.

Мы первые обобщения результатов для выбора архитектуры нейронных сетей, как в автономном случае, как и в случае гибридных моделей. После этого мы обсудим эффективности различных типов моделей с точки зрения попадания номера.

Выбранный нейронных сетей архитектуры

В таблицах 3 и 4 настоящей лучшие архитектуры, с точки зрения соответствия, для каждого Н.Н., соответствующие каждой марки и модели выбор магазина.

Каждая архитектура выбирается в зависимости от обширные испытания 3 архитектур с различными слоями, активации функции и функции обучения. Выполнение разнообразных архитектур в каждом случае. Окончательный выбор был сделан на основе вне образец выполнения сметных модели.

Как записей в таблицах предложить, выбранного архитектуры, почти во всех случаях, либо прямого распространения или радиальной основе. Интересное замечание в том, что прямого распространения является доминирующим архитектуры бренда выбора (18 из 24 моделей), в то время как радиальные основой является доминирующей архитектурой (17 из 24 моделей) для хранения выбор. Модульная архитектура была лучшей только один раз за выбор магазина. Наши результаты, таким образом, показывают, что выбор типа имеет серьезные последствия от типа архитектуры, и обратного распространения не должна быть единственным архитектуры выбора, как это имеет место во многих сообщили приложений. Радиальные архитектуры основе, должны быть проверены на выбор моделирования, а также.

Когда Н. Н. превосходит CM в конкретной марки, это означает, что поведение покупателей в выборе бренда следующим нелинейных отношений. Более того, когда прямого распространения является лучшим архитектуры, это означает, что модель оптимизации природы, где ошибка может быть оптимизирована за счет градиента происхождения или других методов наименьших квадратов. С другой стороны, если функция радиального база наилучшего, это означает, что входных векторов (затраты потребителей в это заявление) могут быть классифицированы в соответствии с их сходство с прототипом вектора. При модульной архитектуры является архитектура выбора, это означает, что комбинация из нескольких сетей прямого распространения взвешенных может отдельное пространство ввода в зависимости от их конкретных характеристик и, что модель может быть более эффективно решить, когда отдельные оптимизации сетей сделки с каждой входной подпространство.

Кроме того, в случае прямого распространения, Есть также много случаев с 1 скрытый слой Есть две модели для бренда выбор. Две скрытом слое случае доминирует на выбор магазина, указывая на возможность более сложного выбора поведения для хранения выбора. Это означает, что простые НН один скрытый слой не может захватить электорального поведения потребителей (как это часто используется), а также дополнительные слои должны быть проверены на обратного распространения архитектуры.

Выполнение Автономные модели

Гипотеза была проверена 1 192 раз за три продукции, 5 марка выбор (плюс общий выбор бренда), 9 магазин выбор (плюс общий выбор магазина), а четыре характеристики модели. Удар отношения сообщили в данном разделе, средние по 100 jackknifed перекрестной проверки образцов. Из-за ограниченности места, лишь удар соотношения для общего бренда и хранить выбор из трех продуктов и четыре характеристики представлены в таблице 5, а для автономных выбор и модели нейронных сетей, что составляет 24 парных тестов.

Результаты статистических испытаний представлены в таблице 5 показывают, что производительность Н. Н. значительно превосходит CM в четырех случаях при р

Если мы сравним вне образца средние результаты Н.Н., CM, вне зависимости от статистической значимости, Н. Н. превосходит CM в 16 случаях и превосходит CM Н.Н. в восьми случаях. Таким образом, Н. Н. имеет соотношении 2 к 1 повлекло за собой лучшую общую производительность, чем CM. Еще один интересный вывод от исполнения этих моделей является то, что в случае выбора бренда, дополнительные демографические и хранения входных переменных в расширенном-1, расширенная-2, а также расширенным 2WS характеристики не оказывают существенного улучшения отношений ударил по сравнению со стандартной спецификацией . Мы наблюдали аналогичную модель в модельном выбор магазинов.

Гибридная модель производительности

Мы сравнили производительность гибридной модели (ТМ) в отношении их автономной CM и Н. Н. коллег за четыре характеристики марки и магазин для выбора из трех продуктов. Гипотеза была проверена 2 1152 раз. В таблице 6 ниже, из-за ограниченности места, мы приводим только результаты тестирования общей магазина и бренд выбор для 3 продуктов и четыре характеристики, что составляет 144 парных тестов для гибридных моделей (HM-L1, L2-HM и HM-НН " ).

Анализ этих результатов подтверждает вывод о том, что гипотеза 2 должна быть отвергнута, что свидетельствует о превосходстве гибридных моделей. Если говорить конкретно, никто из 144 тесты показывают статистические превосходство автономных Н.Н. или CM моделей над гибридной модели. Во всех случаях, гибридные модели превосходят по крайней мере один из двух или CM Н. моделей. В спецификации выбор марки (табл. 6), гибридная модель с использованием нейронных сетей (HM-NN) превосходит автономных CM и Н. Н. коллегами в 16 из 24 случаев, 6 случаев статистически значимым. Другие две гибридные модели не имеют, как хороший спектакль, как модель HM-NN. В случае, ткани, 3 гибридных моделей значительно более высокую производительность (р

В случае выбор магазина, хотя производительность гибридной модели не является статистически значимым по сравнению с автономной модели, есть только один случай, когда автономный модель CM небольшое преимущество. Во всех других случаях, один из трех гибридных моделей, либо превосходит или по крайней мере, такую же производительность, как автономных моделей. Из трех типов гибридных моделей, HM-L1 имеет лучшую производительность в большинстве случаев, чем два других.

Показатели оценки с помощью ОДП

Таблица 7 докладов ОДП для брендов и магазинов по отдельности, а также общей эффективности моделей. Для автономных моделей, Н. Н. намного выше производительности по сравнению с CM модели брендов, магазины, а в целом. Для гибридных моделей, Н. Н. продолжает опережать CM во всех случаях. Гибридной модели превосходят Н. торговые марки, но Н. Н. имеет производительность равных с гибридной модели в магазинах. Однако, сравнивая эффективность работы модели, гибридные модели превосходят автономных моделей. Кроме того, эффективность работы гибридной модели показывают, что их работа находится относительно недалеко друг от друга. Таким образом, ОДП индексов поддержку гипотезы 1 в том, что Н.Н. имеет превосходные характеристики по CM, а также 2 гипотезы в том, что гибридные модели превосходят автономных моделей.

Обсуждение

Статистических испытаний, а также данные показывают, что ОДП гибридных моделей, гарантии исполнения на уровне или выше лучшего из двух отдельных моделей. Поэтому мы можем заключить, что гибридные модели могут использовать своеобразный сильных самостоятельных моделей. Одно из объяснений этого может быть, что ни Н. CM, ни сам по себе способен обнаруживать потенциальные нелинейности в поведении, что только гибрид из двух моделей может захватить.

Во-вторых, превосходные характеристики нейронных сетей в ОДП индексов означает, что нейронные сети должны быть всегда включены в качестве одной из автономных моделей в выборе анализа.

В-третьих, стандартные отклонения гибридные модели, как правило не подпадают или ниже, чем в автономных моделей. Если говорить конкретно, во всех, за исключением одного случая в таблице 6, ТМ-НН имеет равные или ниже стандартного отклонения по сравнению с одной или обеих стенд - один Н.Н., CM. Для тканей, все стандартные отклонения HM-НН являются ниже, чем у обоих CM и NN. Кроме того, во всех тестах для выбора магазина, HM-L1 имеет стандартное отклонение меньше или равен 1 из 2 автономных моделей. Кроме того, мы наблюдали улучшение согласованности гибридных моделей в отдельных марки и магазин, а также выбор. Это важный результат, поскольку он показывает, что эффективность гибридных моделей, в частности нелинейных смесь, более стойкая, чем у любого два самостоятельных моделей. Таким образом, объединяя нейронных сетей и модели выбора не только приводит к увеличению прогнозных показателей во многих случаях, но и обеспечивает более надежную работу в различных ситуациях и образцы. Опять же, степень превосходства продукта зависит в наших выводов.

В-четвертых, в некоторых случаях, улучшение предоставляемых гибридная модель может быть значительным. Например, в статистических испытаний все четыре характеристики, мы обнаружили, что гибридные модели обеспечивают значительное улучшение по сравнению либо автономными модели прогнозирования выбор марки 5 для маргарина. Это интересно по двум причинам. Во-первых, все четыре характеристики, крупнейший улучшения за счет гибридной модели в случае HM-НН ", которая является нелинейной гибридные модели. Во-вторых, как выбор моделей и нейронных сетей, имеют самый низкий коэффициент попадания марки 5 для маргарина. В общем индексов ОДП, гибридные модели показали явное превосходство над автономной модели, а Н.Н. сопоставимой производительности в магазинах случаях. Таким образом, гибридные модели появятся предложить наибольшую пользу в случаях, когда автономные модели работают плохо.

В целом, наша результатов от бренда и анализирует выбор магазина позволяют предположить, что гибридные модели:

может гарантировать, общие результаты, которые равны или лучше, чем любой из двух отдельных моделей;

может предложить большую последовательность в прогнозировании некоторых видов выбора, например, выбор брэнда, чем нейронные сети и выбор моделей, используемых сами по себе;

может предложить большее повышение производительности, где (а) обе модели не работают достаточно эффективно и (б) от 2, автономных CM имеет лучшую производительность, чем автономные NN.

Общий результат для гибридных моделей является то, что существует достаточно доказательств, что модель смеси может улучшить прогнозных показателей во многих случаях и смеси, которые используют нейронные сети являются более подходящим транспортными средствами для создания таких гибридных моделей.

Практические и управленческих последствий Результаты

Бренд-менеджеры обычно необходимо для принятия решений по четырем направлениям маркетинга: продукт, цена, продвижение и размещение. Например, они должны будут ввести новые и лучшие варианты их существующих брендов и адаптировать свои цены к изменяющимся потребителей и конкурентных условиях. Кроме того, они должны провести торговли и бытового рекламной деятельности, как в оборонительных (чтобы лишить конкурентов с рынка), а также наступление (чтобы получить долю рынка у конкурентов) целей. Это особенно важно в сочетании традиционного маркетинга с е-бизнеса, где клиент укрепление королевской власти и улучшения удержания клиентов, имеют решающее значение для выживания компании. Наконец, в связи с размещением, им придется постоянно корректировать сочетание различных традиционных и онлайн-магазины, через которые они распространяют свой бренд (ы).

Все приведенные выше решения принимаются, однако, реализовать конкретные доли рынка, объема продаж и прибыли целей с марками), и, возможно, еще важнее, чтобы сохранить или повысить конкурентные преимущества своих торговых марок. Бренд-менеджеры, следовательно, должны быть в состоянии принимать наиболее подходящие решения, с тем, что изменения, которые они осуществляют приведет к достижению желаемой цели. Один из подходов к улучшению их способности принимать правильные решения, является прогнозирование результатов до начала их осуществления и подстроить решение, если предсказал результаты не оправдывают поставленных целей. Например, менеджер может экспериментировать с различными комбинациями улучшения бренда, прогноз результатов каждого из них и выбрать идеальное сочетание. Традиционно такие методы, как совместный анализ были использованы для этой цели. Наши результаты показывают, что вместо того, используя такие методы сами по себе, сочетая их с помощью нейронной сети может улучшить прогнозы и, следовательно, качества продукции улучшений. Кроме того, в контексте ценообразования, маркетинга традиционно полагались на такие меры, как эластичность цены, которое может быть получено от бренда выбор моделей, прогнозирование последствий изменения цен по продажам. Опять, как и в случае улучшения продукта, а не полагаться на цене эластичности, полученных от бренда выбор моделей только бренд-менеджеры могут использовать их в сочетании с помощью нейронной сети для прогнозирования результатов корректировки цен, и выбрать лучшую цену.

Кроме того, смеси традиционных подходов и нейронные сети могут быть использованы для оценки результатов рекламной деятельности и сохранять параметры, а лучшие рекламные решения и сохранять комбинации могут быть выбраны. Мы оставляем таких приложений, как возможных будущих направлений исследований в смешении традиционной модели маркетинга и нейронных сетей ..

Полученные результаты имеют важное значение для интеллектуального анализа данных в управление взаимоотношениями с клиентами. Моделирование клиентов поведение и выбор общих черт во многих приложениях интеллектуального анализа данных в целом, а также в управление взаимоотношениями с клиентами, в частности. Наши данные показывают, что Существуют сложные нелинейные отношения в поведении моделирования клиентов, которые могут быть захвачены более эффективно с помощью нейронных сетей. Кроме того, зависимость от одной модели не всегда лучшая стратегия. Несколько автономных моделей, а также гибридных моделей неоднородной и различные типы могут улучшить качество анализа во многих случаях.

Кроме того, сравнение выбор модели и Н. Н., как правило, исходя из средней за весь набор данных, предполагая, что каждый потребитель в наборе данных имеет основные функции полезности, которая равномерно как следует предположения о выборе модели или более сложным и требует оценка NN. Однако, выбор данных состоят из разных людей, некоторые предположения выбора типа модели может быть достаточно, а для других простых предположений выбора модели не могут занимать, что требует оценки NN. При использовании гибридной модели, которая сочетает в себе результаты выбора модели и Н. Н., мы даем оценок и играть определенную роль в оценке выбор каждого человека, с различными весами. Это может увеличить общую производительность среднем результатов. Когда гибридная модель превосходит либо Н.Н. или CM, предположение об однородности поведения отдельных лиц, принимающих решения "может быть под вопросом, и не должно быть само собой разумеющимся.

ВЫВОДЫ

Целью нашего исследования было строго проверить выбор и нейронных сетей одинаково хорошо прогнозных показателей и является ли предсказательная сила модели может быть улучшено с использованием гибридных моделей, полученных путем их смешивания. На основании статистической основы, разработанные для перемешивания однородной модели, мы предлагаем два вида гибридных моделей: линейные и нелинейные. Линейные гибридные модели, основанные на использовании комбинации выпуклых объединить вероятности выбора получить от автономного выбор моделей и нейронных сетей. Нелинейной модели, с другой стороны, гибридных нейронных сетей, к которым вероятности выбора получить форму автономных моделей для каждого наблюдения кормили как входы.

Мы эмпирически проверили два множества гипотез на реальных данных для выбора марки и выбор магазина решения группы потребителей в их покупки маргарин, моющие средства, и ткани. Мы тщательно выбрали нашу выборку данных, чтобы избежать аномалий, в редких случаях. Набор данных был разделен на оценку и тестирование образцов, и все выборы и испытания были проведены на основе вне образца выступления моделей. 2 множества гипотез были протестированы на два различных набора данных, чтобы избежать внутренней выборки предубеждения и увеличить generalizeability результатов.

Мы использовали строгость удалить-й jackknifing процедуру проверки гипотез. При этом мы использовали бесповторного для jackknifing с 100 выборки повторений вне выборки данных, с тем чтобы уменьшить образца смещения для выполнения надежного испытания гипотез, а также для выполнения статистических тестов на уровень значимости. 01 или меньше. Кроме того, для увеличения обобщения и внешние действия наших результатов, мы определили четыре характеристики для выбора модели из литературы маркетинга и три известных обучения с учителем архитектур нейронных сетей (обратного распространения, функция радиального основе, а также модульные) для тестирования автономные и гибридных моделей. В целом, мы побежали 24000 оценки модели и совершили в общей сложности 1344 парных испытаний (192 для испытания H1 и 1152 для тестирования H2). Кроме того, мы вычислили эмпирических комплексных ранга (ОДП) индексов для сравнения общее выступление моделей.

Статистические испытания показали, что равенство производительности между выбором и нейронных сетей модели могут быть отклонены марки выбор для ткани. В других случаях, нейронных сетей в целом выше производительности (в соотношении 2 к 1), хотя их преимущество в производительности не всегда является статистически значимым. ОДП индексов поддерживает превосходные характеристики нейронных сетей в связи с выбором модели марки и магазин выбор, а также общую производительность системы.

Вторая группа гипотез была связана с исполнением гибридных моделей и их спецификации. Статистические тесты показали, что гибридные модели может гарантировать общие результаты равна или лучше, чем отдельные модели, но улучшения результатов не всегда является статистически значимым. Мы также отметили, что нейронные сети гибридной модели могут обеспечить значительное улучшение в тех случаях, когда ни автономного выбора модели нейронных сетей, ни хорошо работает. ОДП индексов подтвердила превосходство нейронных сетей в связи с выбором модели, а также преимущества гибридных моделей в автономных моделей. Тем не менее, в случае хранения, автономной модели нейронной сети было производительность сравнима с гибридной модели.

Наши анализы дали некоторые интересные дополнительные выводы. Наши расчеты показали, что модель прямого распространения и радиальные архитектур основу составляют два конкурирующих архитектур для моделирования потребительского выбора поведения в то время как модульная архитектура не является жизнеспособным претендентом. Кроме того, более сложный прямого распространения архитектуры, такие как два скрытых слоев, должны быть проверены для моделирования поведения потребителей. Этот результат противоречит общепринятой практикой применения однослойных прямого распространения, как архитектура выбора для моделирования нейронных сетей. Мы также обнаружили, что использование дополнительных человеко-конкретных потребителей профиля переменных в выборе марки и магазины не улучшает прогноз право выбора моделей и нейронных сетей.

Управленческих последствий наши выводы относятся к выбору модели для принятия решений, моделирование. Полученные нами данные показывают, что зависимость от единой спецификации модели не всегда хорошая стратегия моделирования. В тех случаях, для которых точное предсказание выбора принимающего решения или действия, имеет большое значение, с использованием единой модели не всегда дают лучшие и наиболее последовательной оценки. В таких случаях мы рекомендуем использовать как выбор и нейронных сетей и моделей выбрать ту, которая обеспечивает лучшую вне производительности образца.

Наши данные также показывают, что перемешивание-модели с помощью нейронных сетей могут улучшить предсказательной силы моделей. Подход, который мы предлагаем в данной работе, что-комбинирования различных типов моделей - воспользоваться лучшие черты каждого типа может быть распространено на другие ситуации и методов, а. [В редакцию: 10 августа 2000. Принято: 25 июня 2002.]

Ссылки

Айнсли А.,

Asparoukhov, 0. К.,

Breiman, Л. (1996). Штабелированном регрессии. Машинного обучения, Июль 24,49-64.

Этеридж, Х. Л.,

Fader, П. С.,

Грот, R. (2000). Интеллектуальный анализ данных: Строительство конкурентное преимущество. Верхняя седла, NJ: Prentice Hall.

Guadagni, П. М.,

Haas, Т. C.,

Хилл, Т. Р.,

Надежда, А. C. (1968). Упрощенная Монте-Карло значение процедуры испытаний. Журнала Королевского статистического общества, Series B, 30 (3), 582-598.

Hopwood, W., McKeown, J.,

Джейкобс, Р. А. (1988). Увеличение скорости сходимости путем обучения курс адаптации. Нейронных сетей,] (4), 295-307.

Джейкобс, Р. А., Иордании, М. И., Ноулан, С. J.,

Джонсон, Е. J., Мейер, Р. J.,

Джонсон, Р. А.,

Kalyanam К.

Kaparthi, S.,

Kartalopoulos, С. В. (1996). Понимание нейронных сетей и нечеткой логики: основные понятия и приложения. Нью-Йорк: IEEE Press.

Кимото, T., Asakawa, К., Йода, М.,

Кох, Х. C. (1992). Чувствительности оптимальных точек отсечки к ошибочной классификации расходов типа я и ошибки типа II в допущения непрерывности деятельности прогнозирования контексте. Журнал Финанс Бизнес и бухгалтерия, 19 (2), 187-197.

Караяннис, Н. Б.,

Krishnamurthi, L.,

Krishnamurthi, L.,

Kumar, А. Рао, В. Р.,

Ларка, L.,

Лебланк, М.,

Леонард, J. А.,

Лян, Т. П., Московиц, H.,

Миная, А. А.,

Mojirsheibani, M. (1999). Объединяя классификаторы через дискретизации. Журнал Американской статистической ассоциации, 94 (446), 600-609.

Moody, J.,

NeuralWare. (1998). Нейронных вычислений: технологии пособие для NeuralWorks Профессиональные 11/Plus и NeuralWorks Explorer. Питсбург, Пенсильвания: NeuralWare.

Ortmeyer, G, латинский, J. М.,

Papatla П.,

Паттерсон, D.W. (1995). Искусственные нейронные сети. Сингапур: Prentice Hall.

Педрик, J. H.,

Rajendran, К. Н.,

Шао, J.,

Смит К. Palaniswami, М.,

Камень, М. (1974). Перекрестная проверка выбора и оценки статистических прогнозов. Журнала Королевского статистического общества, Series B, 36 (2), 111-147.

Там, К. Ю.,

Vilcassim, N.,

Уэст П., Брокетт, П. Л.,

Вестфаль, C.,

Уайткоттон, С. М., Сандерс, Д. Е.,

Уилсон, Р. Л.,

Wolport, D. (1992). Штабелированном обобщения. Нейронных сетей, 5 (2), 241-259.

Wong, Б. К., Bodnovich, Т. В.,

Ву, C. F. J. (1986). Джэкнайф, загрузочный и другие методы передискретизации в регрессионном анализе (с обсуждения). Летопись статистике, 14 (4), 1261-1350.

Ву, C. F. J. (1990). Об асимптотических свойствах складной нож гистограммы. Летопись статистике, 18 (3), 1438-1452.

Сюй, L., Kryzak А.,

Захеди, E (1993). Интеллектуальные системы для бизнеса: Экспертные системы с помощью нейронной сети. Белмонт, штат Калифорния: Уодсворт.

Захеди, Ф. (1996). Мета-анализ финансовых приложений нейронных сетей. Международный научный журнал "вычислительного интеллекта и организаций, 1 (3), 164-178.

Zhang, G П.,

Пурушоттам Papatla и Мариам (Фатима) Захеди

Школа делового администрирования, Университет Висконсин-Милуоки, а / я 742, Milwaukee, WI 53201, адрес электронной почты: <a href="mailto:papatla@csd.uwm.edu"> papatla@csd.uwm.edu </ >, <a href="mailto:zahedi@csd.uwm.edu"> zahedi@csd.uwm.edu </ A>

Marijana Зекича-Susac

Департамент экономики и бакалавра Университета Осиек, Gajev TRG 7, HR-31000 Осиек, Хорватия, адрес электронной почты: <a href="mailto:marijana@oliver.efos.hr"> marijana@oliver.efos.hr </ >

* Мы хотели бы поблагодарить Петра Росси за предоставление данных сканирования. Названия в алфавитном порядке с указанием равные взносы авторами.

Пурушоттам Papatla получил докторскую степень в области маркетинга из Келлога Высшей школы менеджмента Северо-Западного университета в 1988 году. В настоящее время адъюнкт-профессор маркетинга в Университете штата Висконсин в Милуоки, где он читает лекции по традиционной и стратегии интернет-маркетинга в регулярных и исполнительных программ MBA. Его первые научные интересы были в моделировании поведения потребительского выбора. Его публикации появились в маркетинг Наука, журнал маркетинговые исследования, журнал бизнес-исследований, маркетинг Письма, журнал Реклама и ценовой стратегии и тактики. В настоящее время он уделяет особое внимание электронного бизнеса и работает над несколькими проектами на он-лайн удовлетворение клиента электронной стратегии распределения, сегментация онлайн потребительских рынков,

и рыночных структур в киберпространстве. Он также с использованием байесовских моделей и Монте-Карло марковская (MCMC) методы для этих проектов.

Фатима "Мариам" Захеди является Висконсин, почетный профессор Университета штата Висконсин Милуоки, который она занимает с 1995 года. Она учит, интеллектуальных систем и интеллектуального анализа данных, систем поддержки принятия решений и совместной работы, веб-разработки с Java, а также кандидат семинаров в Школе бизнеса в области информационных систем. Она получила степень доктора в университете Индианы. В настоящий момент она областям исследований относятся интеллектуальных систем и персонализация, теоретические подходы в решении вопросов, связанных с разработкой веб-стратегии и анализ политики в области электронной торговли, а также программного обеспечения. Она имеет многочисленные публикации, а также в ряде журналов, в том числе: Информационные системы исследований, MIS Ежеквартальный Decision Sciences, IEEE Transactions для программной инженерии, Институт международного образования Сделки, систем поддержки принятия решений, и других журналах. Профессор Захеди опубликовал две книги: Качество информационных систем и интеллектуальных систем для бизнеса: Экспертные системы с помощью нейронных сетей, а также имел опыт консалтинга в ряде частных и государственных организаций.

Marijana Зекича-Susac является старшим в университете JJ Штроссмаер в Осиек, Хорватия. Она получила магистра, доктора наук в Университете Загреба, Департамента информационных Вараждин. Ее профессиональное образование также включает в себя predoctoral исследований в Университете штата Висконсин Милуоки, авторами которого 1997 стипендией Фулбрайта. Ее научные интересы в системах искусственного интеллекта-экспертов и нейронных сетей и их применение в бизнесе, в основном в области финансов и маркетинга. Она является членом Ассоциации по вычислительной технике (ACM), IEEE Computer Society, Международное общество нейронных сетей (МНН), Ассоциация Информационных Систем (АИС), а хорватские Оперативная исследовательское общество (CORS). Ее публикации включают в себя книги, книжные главы, и 7 научных работ, в ходе международного разбирательства конференции.