Управление Delphi обследований с использованием непараметрических статистических методов

РЕЗЮМЕ

Информационные системы исследователи часто обращаются к варианту метод обследования Delphi для поддержки их исследований ключевых вопросов в своей области. Два конкретных недостатков прошлых исследований с использованием этого подхода было отсутствие окончательного метод для проведения исследований и отсутствие поддержки в области статистики, позволяющей делать выводы исследователей. В данной статье автор излагает метод, основанный на непараметрических статистических методов, провести ранжирование типа Delphi обследования, проводить анализ, и доложить о результатах. Автор пользуется один шаг вперед, иллюстрирующие фактический анализ опроса Delphi. Анализ по сравнению с результатами, которые были представлены, не в пользу подхода автора. Эта статья показывает, что использование выступали подход может упорядочить и укрепить исследований, повысить достоверность результатов, и, следовательно, лучше обслуживать потребителей результатов научных исследований. Поскольку рейтинг типа Delphi так популярна среди информационных систем, ученые, последовательный метод необходимо применять их сбора, анализа и представления результатов. Эта статья предусматривает такого метода в краткой форме и иллюстрирует применение метода в порядке, обеспечивающим сравнения между ним и предыдущей практикой ..

Предметные области: Группа принятия решений, непараметрические статистики, научных исследований, проектных и стратегического планирования.

ВВЕДЕНИЕ

Производной метод Delphi (Доки, 1969; Доки

Метод Дельфи

Метод Delphi была разработана на Rand Corporation в 1950-е (Доки

В управление, изменение подход был использован в форме групповой консенсус об относительной важности вопросов (Delbecq, ван де Вен,

Для прогнозирования, набор метод был применен в исследованиях (Бордли

Во-первых, исследователь должен знать, когда остановиться голосования. Если избирательные останавливается слишком рано, рейтинг не имеет смысла, но слишком много раундов будет налоговые ресурсы исследователя и тратить время на членов группы. Во-вторых, сколько элементов, чтобы перевезти в последующих раундах. Слишком много вопросов для рейтинга, не могут скрыть консенсуса. В-третьих, исследователи не сделали хорошее использование имеющихся статистических методов в поддержку своих выводов.

В следующих разделах представлен метод, показывающий, как сокращать перечень вопросов для тех немногих, представляющих интерес, и как определить с уверенностью, когда рейтинг процесс должен быть остановлен. Простым методом непараметрической статистики показано на рисунке. Метод звук, мощный, и вычислительно простыми. Представление результатов легко проследить, что делает их доступными для практиков, а также ученые. Этот метод подробно обсудила и две обследований, проведенных Когер (1988a, 1988b) являются переосмыслены для сравнения методов.

Повторный

Когер в (1988a, 1988b) обследования были выбраны потому, что они иллюстрируют основные трудности в проведении такого рода исследований. Когер провела два отдельных исследования (1988b, стр. 162), один сосредоточиться на IS руководители и второго человека, используя только менеджеров по персоналу. Для первого раунда каждый опрос, Когер попросил каждого респондента в список 6 самых важных вопросы человеческих ресурсов, в порядке ранжирования, для ИС управления в 1990 году. Участники рассказали о каждой проблеме и дали обоснование для сдачи его в списке. Во втором туре, респондентам было предложено изучить место, сводный перечень всех вопросов, в первом туре, и представить их рейтинга, что по их мнению, "сверху (20) вопросы" (1988b, стр. 162), связей не допускается. Когер превратили эти ряды к началу 10, давая нижних чинов 10 пунктов 0 до составления совокупности, упорядоченный список для третьего раунда. За третий (и последний) тур, участниками были затем спросил ранжировать свои 10 ведущих выбор из списка, давая остальным вопросам ранг 0. Опять же, связи не было разрешено.

Когер (1988a, 1988b), по сравнению среднего ряды из 10 вопросов, в ходе второго и третьего раундов для каждой группы на "идеальный консенсус" означает рейтинг, графическое сравнение средних рядах. Он использовал размер "стандартного отклонения" разорвать связи в среднем рядов. Он заключил, что согласованный верхний 10 вопросов были выделены в каждом опросе. По субъективно вопросы увязки между двумя обследованиями, Когер установлено, что две группировки "основной договор" (1988b, стр. 169) по ключевым вопросам.

Сводные данные по ИС в Когер директоров (1988b) представлены в таблице 1. Номер является окончательным ранга. Количество членов группы экспертов (к) для каждого раунда дается в верхней части каждой колонки. Во главе колонны "D2" показать квадратов разностей между средними рядов и великого в виду, что это ** формула текст опущен ***. Это похоже на расхождение, так это называется "Разница ранга".

Когер (1988b) занял изделий из раунда 1 путем объединения процент упоминаний и относительные показатели в отдельных респондентов. Как видно из доли упоминаний, ни один из вопросов был поддержан большинством голосов респондентов. Приближении среднего ряды создан путем умножения каждый процент упоминание его ранг в первом туре, возложенные на Когер. Одним из них является менее заинтересованы в точном порядке вопросов, чем в уровне соглашения. Здесь соглашение измеряется с помощью коэффициента Кендалла согласования (W) (Кендалл

метод Кендалла меры действующего соглашения (упорядоченный список по среднему званий) с наименьшим решение квадратов. Это самый популярный метод для этой цели, в основном благодаря своей простоте применения. Кук и Seiford (1978) был предложен альтернативный метод, основанный на расстоянии как минимум абсолютное решение, однако, их метод дает несколько решений, которые одинаково хорошо, что делает его использование в Delphi обследования нецелесообразным.

С 1 раунда данных, низкий уровень согласия, находится среди судей (см. нижней части табл. 1). Это следует ожидать, учитывая условия, при которых эти предметы были выстроены в ряд. В раундах 2 и 3, рейтинговых агентств шли на более высокий уровень согласия в каждом раунде. Когер (1988b) показали, что после третьего раунда, средний ряды по вопросам II через 20 все 0. Из этих данных, можно сказать, что IS руководство достигнут консенсус в отношении умеренных верхней 10 вопросов. Средний рейтинг третьего раунда справедливой оценки "истинной" консенсуса рейтинг для топ-10 пунктов (Siegel

Отслеживание консенсуса в отношении человеческих ресурсов менеджеры довольно отличается от IS менеджеров. Консенсус уже был умеренным в первом раунде. В отличие от IS менеджеры, три проблемы были названы большинством респондентов в первом туре, и основной проблемой было упомянуто 74% руководителей. В результате, основные проблемы десятков уже проявляется в первом туре. Глядя на данные в Когер (1988b, таблица 2), образовалась группа умеренных консенсуса на рейтинг топ 11 вопросов, давая средний ранг 0 до дна 9.

Как насчет соглашения между этими двумя группами? Для этого вопроса в настоящем документе, звание порядка корреляции Кендалла коэффициент (T) используется (Кендалл

Только окончательный рейтинг на те пункты, которые Когер (1988b) субъективно отображается на обоих групп (табл. 4) были протестированы. Точный характер проблемы могут различаться между двумя обследованиями. Восемь из этих вопросов, были в топ-10 за IS руководство, а 6 были в топ-10 на человека руководство ресурса. Таблице расположены в порядке ранжирования присвоенный IS менеджеров. (Рейтинг любой группы можно использовать без ущерба для статистики.)

Вот, оказывается, что T =. 244. Консалтинг таблицы точных вероятностей для T (Сейгел

Необходимые статистические данные для исследования данных были вычислены и некоторые предварительные замечания о последствиях этих статистических данных не было. Теперь механики новый метод и использование этих статистических данных, чтобы проиллюстрировать полезность метода.

ОБЗОР МЕТОД

В этом разделе, новый метод для ранжирования типа обследований Delphi излагается, охватывающий три этапа. Первая тема, как проводить и управлять сбора данных (обследования), чтобы максимально эффективного использования ресурсов. Далее следует анализ данных и обсуждение представления данных для поддержки научных исследований.

Управление сбора данных

Есть три различных этапа сбора данных: (1) открытие вопросов, (2) определения наиболее важных вопросов, и (3) ранжирование проблем.

Фаза 1

Чтобы увеличить вероятность столь странные наиболее важных вопросов, респонденты должны быть предложено представить, как многие вопросы, как возможно в этом первом этапе. Исследователи, как правило, ограничивает число пунктов одного респондента может способствовать (например, Когер, 1988b). Лучше спросить респондентов в список по крайней мере шесть важных вопросов. После респондентов описывают каждый вопрос имеет важное значение на данном этапе, поскольку некоторые респонденты, скорее всего, поднимать тот же вопрос, используя различные термины.

Затем исследователь объединяет ответы в единый список. Если несколько используются различные термины для чего, как представляется, и тот же вопрос, исследователь должен получить список всех терминов вместе, а затем обеспечить один сводный описание проблемы. Далее респондентов проверить, что условия были должным образом сопоставлены и, что их идеи были достаточно представлены. Без этого шага нет никаких оснований утверждать, что действительно, сводный перечень был подготовлен. Предыдущие исследователи не приняли этих мер предосторожности. Если план исследования включает в себя сравнение ответов один или несколько групп, то все группы должны участвовать вместе в первой фазе. В противном случае исследователь столкнется с большими трудностями субъективно отображение пунктов независимо место групп для сравнения.

Если основные различия, обнаруженные в ходе респондентов, исследователь может быть необходимо повторить этот шаг. После того, разногласия будут разрешаться, обследование входит второй фазы.

Фаза 2

Теперь исследователь должен сокращать перечень вопросов, так что они могут иметь смысл рейтинга. Исследователи, как правило, комбинированные этой фазы с третьего этапа. Но огромное количество вопросов, связанных с затрудняет осуществление рейтинга. Так как каждый респондент самостоятельно рядах некоторых произвольное число основных вопросов, средний ряды обычно проявляют слабый вариант. Кроме того, произвольный выбор числа вопросов, которые должно получить не хороший способ связан окончательный список.

Как яркий пример, рассмотрим второе обследование в Когер (1988b). Во втором туре, он спросил респондентов, занявшие первые 20 вопросов, из сводного перечня. Но респондентов уже достигли единства мнений по 12 лучших по вопросам ИС в первом раунде. В результате, уровень консенсуса на самом деле несколько снизилась, и этот вопрос, наконец, место под номером 13, временно находится в топ 10. Список должен быть ограничен статистически, а не произвольно.

Приказал случайно, сводный перечень первой фазы направлены на каждого участника. Они самостоятельно выбрать, по крайней мере 10% (или больше, если список содержит менее 100 наименований) вопросы, как самое важное. Исследователем, и затем устраняет все вопросы, которые не были избраны простым большинством голосов респондентов.

В последние исследования, респонденты обычно согласовали перечень менее 20 пунктов довольно быстро. Таким образом, предполагается, что если по сравнению список состоит примерно из 20 пунктов, исследователь должен перейти к третьему этапу. Если по сравнению список гораздо больше, чем 20 пунктов, второй раунд Фаза 2 можно было бы проводить, используя сокращенный список. Если этот второй раунд не приводит к разумным сокращение числа пунктов, исследователь должен сделать жесткое решение либо отказаться от обследования или произвольно сокращать список. Это не место исследователя, чтобы решить основные проблемы, но такого произвольного сокращения списка размер был нормой.

Результирующий список может содержать любое количество вопросов. Настройка произвольного размера списка сил результат. В таблице 3, проблемы с второго раунда означает ранг 0 получил среднего ранга в третьем раунде. Это позволяет предположить что эти вопросы отвлекаться панели сосредоточиться на "Top 10". С другой стороны, могут возникнуть дополнительные вопросы, которые респонденты считают важными, которые не включены, поскольку они не делают "Top 10".

Если исследование сравнивает ответы две или более групп (например, в Бранчо

Фаза 3

Далее, по сравнению список расположены в случайном порядке, а респондентов просят расставить все вопросы. Исследователь может компенсировать связали при расчете рейтинга W Кендалл, но вычисления проще и понятнее, если результаты респондентов просят, чтобы избежать связей.

Объединение отдельных рейтингов для получения согласия рейтинга была широко изучена с 18 века. Обзор методов можно найти в Хван и Линь (1987). Стрелка (1951) показали, что метод не может производить согласованный выбор не зависит от метода. метод Кендалла, если они используются в один выстрел рейтинге упражнение, не является исключением. Решение (в среднем званий) накладывается методом и не обязательно отражают лучшее решение с точки зрения социального выбора. Но в Delphi, итеративный подход уменьшает этот эффект, позволяя экспертам пересмотреть свой выбор. метод Кендалла тогда предпочтительнее других методов, поскольку она обеспечивает уникальное решение, которое легко понять, и прост в применении.

Особенность подхода Delphi контролируется обратной связи с респондентами каждого раунда (Доки, 1969). Доки подчеркнул, что больше, чем просто среднее должны быть доведены до специалистов. Прошлая практика в рейтинге типа Delphis не последовал этому совету.

Кроме того, средний ранг Существуют три соответствующие части обратной связи, которые могут быть предоставлены. Первая часть является интерпретацией W Кендалл из предыдущего раунда. Например, если W не имеет существенного значения, то респонденты могут сказать: "Был нет согласия между членами группы на относительное ранжирование этих пунктов в предыдущем раунде." Вторая часть это процент респондентов размещения каждого пункта в верхней части их списка. Эти две части информации передают ощущение определенного консенсуса. Третья часть имеет отношение комментарии дискуссии.

Некоторые исследователи утверждают, что "стандартное отклонение" рангов можно указать консенсуса (например, Когер, 1988b; Бранчо

После каждого раунда на этом этапе исследователь должен спросить: "Если еще один раунд проводится для получения более широкого консенсуса"? Компромисс между осуществимости (снисхождения эксперты, ресурсы исследователя, и требуется дополнительное время), а потенциальные выгоды должны быть достигнуты должны быть рассмотрены (см. также Нелмс

Существуют два статистических критериев для потенциальных выгод, которые можно использовать в качестве правилах остановки. Первый критерий сильного консенсуса. В отсутствие полного консенсуса, выравнивание W будет означать отсутствие прогресса в предыдущем раунде, поэтому избирательных должна быть прекращена. Дальнейшие раунды позволит "тяга значит" оказывать чрезмерное влияние, давая ложные результаты.

Статистическая значимость W не является достаточным критерием для прекращения исследования. Для групп более 10 экспертов, даже очень малых значениях W может быть значительным. Надо только учитывать фактические значения W, как указание на прочность консенсуса.

Предыдущие исследования были приостановлены, когда консенсус был на умеренном уровне (например, Бранчо постоянного Wetherbe, 1987; Когер, 1988a, 1988b). Поскольку устойчивый прогресс в этих опросах, решение о прекращении должны были из-за возможности проблем. Запрет такие вопросы, обследования должны иметь продолжение в течение еще одного раунда.

Анализ результатов

Процедуры для анализа результатов, включая расчет соответствующих статистических данных и использования этих статистических данных для управления проведением обследования уже продемонстрировали. Кроме того, прошлое практика была критике с помощью этих статистических данных.

Для обоих исследований, в Когер (1988a, 1988b), считается, что более 1 тура голосования было бы уместно. Порядок ранжирования для многих вопросов, перешла от раунде раунде, но Когер Предполагается, что в переходе к "идеальным" консенсус в рядах не приведут к смещению акцента снова. Четвертый раунд могла бы произвести дополнительные изменения и мог бы укрепить уровень консенсуса.

Было также установлено, что "Когер в основной договор" (1988b, стр. 169) была иллюзорной. Существовал никакого соглашения между этими двумя группами, на которых вопросы, принадлежал в "топ 10", ни на ранжирование проблем. Так второго опроса менеджеров по персоналу человека сделал обеспечить значительное новой информации по ключевым вопросам, в отличие от результатов в Когер.

Презентация результатов

Многочисленные подходы были использованы для представления результатов ранжирования типа обследований Delphi. Графический подход был использован (например, Когер, 1988b; Malhotra и др.., 1994), чтобы сделать результаты легко понятной для врача. Другие использовали таблицы представления целые шеренги, средних рядах ", стандартное отклонение," процент поддержки по каждому пункту, и другие описательные статистики. В этом повторного окончательный целом ряды, ряды означает для каждого раунда, и то, что называется "Разница в ряды", наряду с W-Кендалл показываются. Конечно, если бы читателей заинтересована в относительной ряды, то наиболее важными из них являются окончательным целом рядах.

Исследователи должны сообщать общего числа вопросов, порожденных в рамках Фазы 1, и силы поддержки по вопросам, которые были выбраны в качестве по сравнению список в конце фазы 2. Эксперты, по крайней мере согласились, что из сравнительно большой список вопросов, Есть несколько, которые являются наиболее важными. Затем, читатели должны понять уровень доверия они могут разместить в окончательном рейтинге. Например, средний уровень консенсуса не гарантирует высокий уровень доверия относительное положение этих вопросов. Кроме того, не надо ставить какой-либо смысл, чтобы расстояние между средними рядов. Некоторые эксперты считают, может два первых вопросов, которые будут гораздо более важным, чем все остальные, или, что последние шесть вопросов примерно того же уровня важности.

Далее, исследователи должны сообщать круглым на всестороннее уровня консенсуса, и любые другие меры, ассоциаций, имеющих отношение к гипотезы. Достаточные исходные данные должны быть предоставлены в статье или приложения для поддержки расчета статистики.

И наконец, группа экспертов должна быть хорошо описаны. Исследователь должен обеспечить демографическую таких, как показано на Бранчо и Wetherbe (1987), с тем чтобы читатель мог судить о значимости и надежности респондентов. Ответов на первоначальный призыв к участникам следует сообщать, так как низкий процент ответов может означать, что потенциальные участники не считают деления на соответствующие или важными. Кроме того, количество членов группы экспертов для каждого раунда должно быть сообщено, чтобы (1) читатель может подтвердить соответствующие статистические данные и (2) признаки маркировки интерес в обзоре достал. Вся эта информация помогает читателю определить степень доверия к в выводах.

ЗАКЛЮЧЕНИЕ

В предыдущих разделах, методика проведения рейтинга Delphi типа обследования, анализа данных, собранных в обследовании, и представление данных для поддержки научных исследований была изложена. Было показано, что предыдущие исследования можно было бы улучшить путем применения метода, предложенного здесь.

В начале статьи 3 важных вопросов были подняты. Эти три вопроса были даны ответы следующим образом:

1. Правила для остановки Опрос был проиллюстрировать с помощью групповой консенсус.

2. Объективный метод очистки вниз список для ранжирования предложено не было.

3. Соответствующие статистические данные были применены к каждому из этапов сбора и анализа процессов, укрепление методом.

Считается, что метод, представленный в настоящем документе приводятся ответы на некоторые критические замечания в прошлом Delphi-подобных исследований. Она обеспечивает точность, где произвольные практики были нормой. Он предлагает последовательность применения и форму представления результатов, которые способствуют накоплению знаний через исследования. Исследователи рекомендуется использовать этот метод и для улучшения метода. [В редакцию: 16 ноября 1994. Принято: 10 декабря 1996.]

* Автор хотел бы поблагодарить Dan Когер за сотрудничество в использовании данных, представленных в его работе (Когер, 1988b) для иллюстрации методов выступали. Спасибо также слепой оппонентом и ассоциированным редактором глубокий Комментарий, что укрепление и поток выстроились вдоль бумаги.

Ссылки

Стрелка, К. J. (1951). Социальный выбор и индивидуальные ценности. Нью-Йорк: Wiley. Бордли, Р. F.,

оценки. Управление науки, 27 (8), 959-964.

Бранчо, J. C., постоянного Wetherbe, J. C. (1987). Ключевые вопросы управления информационными системами. MIS Quarterly, LL (1), 23-45.

Кук, В. Д.,

Управление науки, 24 (16), 1721-1732.

Когер, JD (1988a) Ключевые вопросы человеческих ресурсов в ИС в 1990 году. Труды Гавайи Международная конференция по системам наук, 162-170. Когер, JD (1988b) Ключевые вопросы человеческих ресурсов в ИБ в 1990-х годов: Виды IS руководство по сравнению с человеком руководство ресурса. Информации и управления, 14 (4), 161-174.

Доки, Н. C. (1969). Метод Delphi экспериментальное исследование группы мнение. RM-5888-PR. Санта-Моника, штат Калифорния: Rand Corporation.

Доки, Н. C., постоянного Хелмер, О. (1963). Опыт экспериментального применения Delphi

метод использования экспертов. Управление науки, 9, 458-467. Delbecq, А. Л. ван де Вен, А. Х.,

Грей П.,

Методы и приложения. Берлин: Springer-Verlag. Кендалл, М. Г.,

Линстон, Х. А.,

Malhotra, М. К., Stelle, D. C.,

вопросы производства в 1990 году. Решение наук, 25 (2), 189-214. Нелмс, K R,

Пребл, J. F (1983). Общественный сектор использование метода Delphi. Технологические Фор

литья и социальных изменений, 23 (1), 75-88.

Раскин, М. С. (1994). Исследования в области Delphi обучение вновь Эксперт: консенсуса по вопросам и приоритеты исследований. Журнал социального образования Работа, 30 (1), 75-89.

Зигель, С.,

Spiby, J. (1988). Достижения в области медицинских технологий в течение ближайших 20 лет. Сообщество медицины, 10 (4), 273-278.

Valacich, J. С. Деннис, А. Р.,

Уотсон, R Т., постоянного Бранчо, J. C. (1991). Ключевые вопросы управления информационными системами: международные перспективы. Информация

Рой К. Шмидт

Департамент Infor п и систем управления, школа управления и бизнеса Гонконгского университета науки и технологии, Клируотер Бэй, Сай Кунг, Hong Kong, адрес электронной почты: <a href="mailto:schmidt@uxmail.ust.hk"> Шмидта @ uxmail.ust.hk </ A>

Рой Шмидт доцент кафедры информационных систем в Высшей школе бизнеса и управления, университет науки и технологии, Hong Kong. Он Британская академия и закладная из Университета штата Мэриленд, MBA в Университете Св. Марии, Сан-Антонио, и кандидат в МДП из Университета Индианы.

Перед входом ученых, д-р Шмидт служил в ВВС США более 22 лет. Его научные интересы включают в себя поддержку процесса стратегического решения исполнительной использования информации, информационные системы управления проектами и информационных систем управления рисками проекта.