Оценка встроенных интеллектуальных систем реального времени

РЕЗЮМЕ

За последние два десятилетия, вопросы всплыли об эффективности и вклада интеллектуальных систем для лиц, принимающих решения в самых разных условиях. Эта статья сосредотачивается на оценке проблем, связанных с интеллектуальной режиме реального времени программных систем, которые внедрены в более крупные системы хозяина. С распространением таких систем в оперативных условиях, например в аэрокосмической, медицинской, производство и транспортные системы, повышенное внимание к оценке таких систем, а также в результате программного обеспечения безопасности, является оправданным. Эта статья описывает один такой оценки, и предлагает набор критериев оценки для встроенных интеллектуальных систем реального времени (EIRTS). Последствия оценки и критерии оценки обсуждаются.

Предметные области: систем поддержки принятия решений, встраиваемых систем, оценке, экспертных систем, интеллектуальных систем, основанных на знаниях Systems, Performance Evaluation, Real-Time Systems, судовождения, программное обеспечение эффективности и технологий воздействия.

ВВЕДЕНИЕ

Информационная технология продолжает развиваться быстрыми темпами. За последние два десятилетия мы стали свидетелями развития систем поддержки принятия решений, групповых систем поддержки принятия решений, основанной на знаниях систем и экспертных систем. Эти системы были изначально задуманы как самостоятельные информационные технологии, предназначены для обеспечения поддержки принятия решений для их пользователей своевременно и надлежащим образом. В последнее время такие системы эволюционировали от автономных систем и комплексных решений, которые совместно использовать ресурсы и информацию с других систем, встроенных интеллектуальных систем реального времени (EIRTS), которые, основанной на знаниях системы, развернутые в крупных хост-систем в режиме реального времени ответ требованиям. Эти системы имеют важное значение для функционирования многих безопасности критически важных крупномасштабных систем, таких как системы управления воздушным движением во всем мире финансовых и телекоммуникационных систем, а также в режиме реального времени командования и управления сетями.

Стремление развивать встроенных интеллектуальных систем реального времени для руководства действиями пользователей в сложных системах большого масштаба был описан как "почти непреодолимым," несмотря на вопросы об эффективности и вклада таких систем для лиц, принимающих решения:

Учитывая десятилетий исследований экспертные системы, системы консультативных, а оператор средств, Есть несколько оперативных успехов. Эмпирические исследования показывают, что совет предоставляющих системы часто не для повышения общей производительности системы. Иногда операторы не могут просить предложенных советов. Иногда операторы не нравится "тоне" советов дает агента и, следовательно, не последовать его советам. Иногда операторы не чувствую совет стоит ищет. Другие средства являются эффективными для новичков, но так как операторы приобретают навыки, помощь уже не имеет значительного эффекта (Mitchell

Эти наблюдения позволяют предположить, что оценки EIRTS имеют важное значение, особенно в условиях безопасности критически важных крупномасштабных систем, таких как авиации и космонавтики (Vaughan, 1996; Грабовски

SHIPBOARD пилотирования ЭКСПЕРТНОЙ СИСТЕМЫ

EIRTS исследуемых судов Экспериментальное Экспертная система (ССН), интеллектуальные системы реального времени, встроенных в рамках своего хозяина, система навигации корабля. После нефти Exxon Valdez разливов в 1989 году, SPES был разработан политехнического института Rensselaer для Экссон пароходство танкерами в транс-Аляскинский трубопровод торговли при поддержке со стороны Департамента транспорта США, береговой охраны и морской администрации; Национального океанографического и атмосферы (NOAA); Эксон пароходство, а также на юго-западе Аляски пилотов Ассоциации. SPES предоставляет экспертные пилотирования знаний команду моста часы корабля и было закреплено в ее хозяин на борту 973-ноги, 173000 дедвейтом тонну Эксон tankship, Эксон Benicia, который действует между Вальдес, на Аляске и нефтяных терминалов на западном побережье Соединенных Штатов Америки. Задачу в поддержке принимающей системы и EIRTS был пилотирования корабля, когнитивно сложная задача, состоит из трех видов деятельности (trackkeeping, маневрирование и столкновений, а также практика хорошая морская) с использованием трех видов информации (местных знаний, shiphandling знаний и транзита конкретных знаний) (Грабовски

Архитектура

Принимающей EIRTS, навигационная система "Эксон Бенишия, была состоять из датчиков системы (т. е. глубины зонды), радары, навигационные датчики (например, радио-пеленгаторов, система глобального позиционирования (GPS)), ExxBridge комплексной системы моста ( Общая система отображения электронных картографическую информацию), а также судов Экспериментальное Экспертная система (ССН). Основой для системы SEANET, высокой скоростью, в режиме реального времени сеть в Эксон пароходство по Sperry Marine, Inc сетевого интерфейса единиц (NIU в) при условии интерфейс между модулями системы навигации и SEANET. SPES был один модуль системы навигации Бенишия и узлов судовых SEANET локальной сети. В режиме реального времени SEANET информацию от датчиков, радаров и ExxBridge текла в SPES и SPES выход был представлен SEANET через NIU (рис. 2).

На дисплее ExxBridge представила в режиме реального времени план учитывая положение судна в проливе накладывается на электронную карту водных путей, а также планирование рейса судна, а также графических и текстовых проявлений shiphandling, навигации и маневрирования информации (рис. 3) . Судно статуса информация была представлена в нижнем левом углу экрана, рядом с позиционированием курсора, отображения и освещения, а также конфигурации управления в нижнем правом углу дисплея. Целевая статуса информация была представлена в верхнем левом углу дисплея, и мигающие цветные оповещения, сигнализации и рекомендации были представлены в нижнем правом углу дисплея. Большинство экране было поглощено электронная карта, которая в соответствии с потребностями пользователей и надежды для графического изображения проход судна через водный (National Research Council, 1994).

SPES обоснованные об информации из SEANET в режиме реального времени, определены последствия информации; изменения генерируются оповещения, сигнализации и предупреждения о потенциально опасных ситуациях, а также сформулированы рекомендации по плану рейса, курсы управлять, раз перевернуть, а также действия для подражания. SPES демонстрировал свои оповещения, сигнализации, а также рекомендации, как графические пометки на ExxBridge электронных карт (например, как мигает значок, указывающий на опасность столкновения с мишенью), а вывод текста рекомендаций и разъяснений, а также слуховых сигналов, связанных с оповещения и сигнализации . На дисплее ExxBridge был центральным навигационных дисплей на мосту корабля и был расположен рядом с радаров судна. Все пользователи-мастера, товарищи, и летчики-доступ к ExxBridge дисплей, а также печати, и звуковые сообщения сигнал, который сопровождается оповещения и сигнализации.

Рассуждения стратегии

Стратегия SPES рассуждений состоит из трех основных видов деятельности: (1) сбор данных от SEANET, (2) выполнение оценки ситуации и вероятных действий поколения деятельности для выявления и прогнозирования рисков столкновения или на мель, и (3) рекомендовал развивающихся направлений деятельности в форма изменения плану рейса. Эти функциональные задачи зеркальной задач команды ходовая вахта в отношении trackkeeping, маневрирование и столкновений, а также практика хорошая морская практика. Цикл SPES рассуждения побежал постоянно, вызванный в режиме реального времени поток данных на SEANET.

Стратегия SPES рассуждения изображен на рисунке 4. Данные в реальном времени ситуация была получена из SEANET, обеспечивая текущее состояние ownship (например, "Эксон Бенишия), а также все цели в настоящее время отслеживается радарами Бенишия 'ы. Ownship и выходных данных были обработаны для расчета дополнительной информации об атрибутах, необходимых для SPES ситуационного мышления. Знание путей базы тогда искали, чтобы найти те диаграммы объектов достаточно близко к ownship будет представлять интерес для SPE. SPES оценка ситуации и вероятных действий поколения функций, затем были для получения соответствующих предупреждений, сигнализации и предупреждения.

ОЦЕНКА EIRTS

Многие исследования судового автоматизации были проведены за последние 30 лет. Эти исследования рассматривается потенциал повышения безопасности плавания в различных условиях, с использованием различных методов лечения. Тем не менее, несколько исследований, рассматривается вопрос о воздействии EIRTS для своих пользователей, его хозяин, или безопасность системы, в которой она была установлена. Скорее, предыдущие исследования автоматизации судов оценил технологии (например, РЛС), ряд задач (например, мост watchstanding при различных условиях стресса), или деятельности человека в различных условиях (т. е. задолго nightwatches в условиях лишения сна). В этом исследовании, мы руководствовались рассматривать как технологию, так и ориентированной на человека, поскольку критерии оценки важности и в безопасности критически важных систем, таких, как морские перевозки. Мы использовали два органов литературе в качестве источников в разработке критериев оценки: морские исследования и исследования, касающиеся оценки вложенных, умный, систем реального времени.

Критерии оценки морской

исследования судов автоматизации часто рассматривается деятельность человека во время несения вахты и задачи предупреждения столкновений с точки зрения ввода-вывода, используя такие меры, как судно trackkeeping (Cook, Марино,

Эти исследования судовой автоматизации используется также умственной нагрузке мер. Например, Schuffel и др.. (1989) использовали слуховой непрерывных интеллектуальных заданий в качестве вторичного психического задача вывести психические нагрузки во время навигации. Плата, Lascelle и Nieri (1980) использовали более сложный слуховой сигнал и ответ задачи для измерения умственной нагрузке корабля летчика и Nieri (1980) использовали два тона слуховой cued ответ задачи. Важно отметить, что все эти исследования оценки умственной нагрузке все имитационные оценки. Учитывая опасный характер tankship операций, особенно в замкнутых водоемах, часто нецелесообразно устанавливать второй группы по психическому ходовая вахта групп пилотирования фактической судов. Таким образом, более ранние исследования автоматизации судового использовались ввода-вывода человека показатели деятельности, а также когнитивной нагрузки меры в своих оценках (рис. 5).

Критерии оценки EIRTS

Критерии оценки от встраиваемых, умный и систем реального времени литератур также примеры того, технологии и человека и конкретных мер. Технология подходы к оценке часто ориентированы на системы проверки (оценке стоимости системы), проверка (оценка ли эта система и ее результаты удовлетворить их спецификации), а также оценки производительности программного обеспечения, отвечая на вопросы: Правильно ли построена система (проверки)? Была построена система права (проверки)? А как же система работает? (Флорак

Для EIRTS технологии меры, ориентированные на оценку, мы сосредоточились на присущими EIRTS '-включенность, разведки и существование в реальном времени хозяина. Встроенные системы проживают в более широком хозяина и ограничивается параметрами, требования, и выполнение этого хоста. Интеллектуальные системы все чаще внедрен в более крупных системах с высокими требованиями к принимающей ситуациях (Хайленд, 1994). Проверки встроенных интеллектуальных систем часто обращаются ли система обеспечивает рассуждения и поддержки принятия решений в соответствии с решением поддержку хозяина, поддержка или уведомление, когда хост-системе замедляется или разлагается и поддержки принятия решений в режиме реального времени реагирования конверт (Paul, Ачарья, Черный,

EIRTS также, по определению, интеллектуальных систем, а это означает, что они создают, преобразования и распространения представительских государств, и обладают когнитивные свойства, которые воспроизводят, эмулировать, или приблизительных человеческого разума (Cohen, 1995). Проверки интеллектуальных систем были проведены на трех уровнях: на уровне задач (оценка, что делает система, и почему, и какие требования удовлетворены работы системы), на уровень представительства (оценка логической организации кодирования структуры, используемые для представляют собой знания и рассуждения в системе), и на практическом уровне (оценка алгоритмы, представления и знания, используемые для построения системы) (Мария, 1982). Эти оценки могут ответить на важные вопросы об интеллектуальных систем, таких как: какие задачи он поддерживает, и насколько хорошо он поддерживает их? Как адекватное знание системы представления и стратегии вывода механизм задачей представления знаний и поддержки рассуждений в данном домене? И наконец, насколько хорошо была построена система, и насколько хорошо были знания, рассуждения и представления задачи поддержки построили?

Целевой уровень оценки внимание на точность рекомендаций и выводов система предусматривает использование ввода-вывода оценки эффективности процесса принятия решений и оценки групп и лиц, использующих средства решения. Ввод-вывод оценки производительности как правило, используют результаты, такие как решение эффективности (Sharda, Barr,

На уровень представительства, интеллектуальные системы проверяются путем оценки адекватности систем эффективно представлять и распространять информацию через базу знаний, и оценки способности системы пересмотреть свои выводы, новые данные становятся доступны (Bonissone

На уровне реализации, производительность интеллектуального системы можно проверить с помощью серии тестов, или проверки знаний системы баз для внутреннего корректности (Прис Shinghal,

EIRTS также развернуты в режиме реального времени параметров генерации результатов в любой мягкой (не производит сбоя системы) или жесткий (производство сбоя системы) по времени ответа сроки. В режиме реального времени система оценки, таким образом, как правило, сосредоточены на программное обеспечение производительности: насколько хорошо такие системы обеспечивают ответ в течение определенного периода времени, а также точность системы, снижения производительности с течением времени, переходное состояние производительности, обратимости и читабельности (Яффе, Левесон, Helmdahl,

Многие системы реального времени могут быть физический ущерб от своей среды (например, аварий в промышленной автоматизации применения, или враждебные нападения в военных целях). Таким образом, недостатки, ошибки и сбои в системах реального времени часто представляют большой интерес, и в режиме реального времени система критериев оценки также часто включают отказоустойчивость; восстановления; избыточности, блок-схемы ошибок, неудач и ошибок, а также программное обеспечение производительности при нехватки времени. В распределенных сложных областях, EIRTS часто оказывают значительное влияние и критерии оценки Таким образом, акцент на надежность системы, точность, надежность, нагрузочные воздействия, ремонтопригодность, стоимость жизненного цикла воздействия, взносы в системы и подсистемы уровни риска, гибкость, приспособляемость и ошибки невзгоды, а также степень взаимодействия между системой и других подсистем, и его хозяина (Левесон, 1995; Нейман, 1995).

Как пользователи используют EIRTS и как EIRTS последствия своих пользователей также являются важными факторами оценки. Человек-ориентированных подходов к оценке часто считают человеком показателей с учетом и без технологий (Грабовски

Гипотезы и меры

Мы разработали два множества гипотез в данном исследовании: ориентированной на человека установлено, что оценка производительности моста часы групп (табл. 1, мост смотреть гипотез коллективной работы) и ориентированных на технологии установлено, что оценка выполнения EIRTS себя (табл. 2, гипотезы программного обеспечения эффективности). Рисунок 5 иллюстрирует соответствие между типами оценки мер и гипотез развитых.

Основной вопрос в оценке EIRTS было, насколько хорошо система поддерживает его пользователей, как адекватные рассуждения механизм системы в том, чтобы задача представления знаний в этой области, и является ли пользователь производительности были расширены с помощью системы. Таким образом, H1-3 в таблице 1 рассмотрим ввода-вывода: Показатель производительности пользователей EIRTS, изменчивость в их исполнении, и будут ли пользователи считаются более альтернатив в принятии решений. 114-6 рассмотреть морских и EIRTS оценки мер деятельности человека: могут ли пользователи сообщили о сокращении нагрузки, больше уверенности и удовлетворения, показали повышенную использования системных ресурсов. H7-9 в таблице 1 также сосредоточить внимание на исполнении группы моста часы, используя процесс меры, такие как количество и типы связи, а также степень и характер связи смотреть команды. Эти гипотезы внимание на мосту процессы смотреть команды, а не на их эффективность и обеспечить меры по контрастных ввода-вывода показатели деятельности H1-6.

Как встроенных интеллектуальных систем реального времени, вопросы о времени отклика системы, изменчивость, эффективности и правильности имеют решающее интерес. Таким образом, H 10-13 в Таблице 2, представления и осуществления мер на уровне программного обеспечения производительности для встроенных интеллектуальных систем, которые оценивают точность системы и времени отклика производительность, эффективность и надежность. Эти технологии обеспечивают меры, ориентированные на контрастных меры по humanoriented ходовая вахта команды мер Hl-9. Operationalizations, зависимые переменные, а также методы сбора данных для каждого из этих гипотез приведены в таблице 3.

ОЦЕНКА

В рамках подготовки к оценке, SPES был разработан, интегрированный с системой навигации с Бенишия Эксон ", и установленного на борту" Эксон Benicia, который работает на примерно 14-дневный цикл между Вальдес, на Аляске и нефтяных терминалов на западном побережье Калифорния. За 2-летний период, 91 предметов с использованием двух технологий лечения-1, принимающей системы в одиночку, а с другой стороны, принимающей системы EIRTS-были замечены в различных условиях плавания, а также вклад технологий для их пользователей оценивали .

Основных судовых факторы окружающей среды, ситуации или voyagespecific независимых переменных действие в единую меру называется "путешествие стресс". Это не является физиологическим фактором, а агрегированный показатель экологической обстановки в судовой обстановке. Эта мера, которая имеет историю в социологических, психологических и морской литературы, по оценкам, при записи внешней видимости, судоходство, ветра и течения, а также характер и степень замкнутых водоемах или ограниченном пространстве маневрирования, возникших в ходе гавани транзит (Уильямс

Каждый рейс компании "Эксон Бенишия состояла из 2 транзитом проливе Принца Уильяма на Аляске: импортный транзит от залива Аляски до проливе Принца Уильяма на нефтяной терминал в Вальдеса, а также исходящих от транзита Вальдес, обратно через Принс-Уильям-Саунд, в заливе Аляска. Транзит примерно 12 часов в длину. Данные для этого эксперимента были собраны в ходе 16 рейсов (например, 32, 12-часовой транзит) по Эксон Бенишия над twoyear период. Каждый транзитный был разделен на восемь ног транзита, в соответствии с пилотом и капитаном судна разложения рейса и проблема пространства, Береговая охрана США подходы к лицензированию пилотов корабля, и корабль пилотов психического модели рейса (Грабовски

Темы

Человека в качестве субъекта являются членами мост смотреть Эксон Бенишия в группы, состоящие из мастера корабль Еххоп, помощник Эксон на вахте, а пилот из Ассоциации Экспериментального Юго-Запад Аляски. Члены группы смотреть изменилось за два года периода оценки, как судовые офицеры (капитаны и товарищей) поворачивается на различных циклов на борту того же судна и судна пилоты были назначены судов на различных поворотов. Хотя члены группы ходовая вахта на борту "Эксон Бенишия меняются с течением времени, эти эффекты были сведены к минимуму в силу однородности субъекта бассейн (Грабовски

Компания "Эксон испытуемые должны были завершить обучение на хост-системе, использовали хост-системы на борту Бенишия сроком на один год до начала установки EIRTS и служил мастеров и товарищей на борту" Эксон танкерами в среднем на 12 лет. Компания "Эксон персонала были также ознакомлены с EIRTS демонстрацией, видео-обучение и использование тренажера до его участия в оценке. Юго-Запад Аляски пилоты были ознакомлены с хост-системы во время пилотирования транзит за год на период до установки EIRTS, а также были ознакомлены с EIRTS после его установки.

Опытно-конструкторское

Эксперимент 2 х 3 проекта: три вида субъектов (хозяин корабля, вахтенный штурман и пилот) были выставлены две технологии лечения: хост-системы в одиночку, и принимающей плюс EIRTS. Принимающая системы и EIRTS транзит менялись случайным протяжении двух лет оценки период, когда предметы были подготовлены в обеих системах. Темы были также подвержены воздействию различных уровнях напряжения рейса отражает переменные среды на самом деле, возникших в ходе порта транзитом (табл. 4, 5).

Репликаций в 6 дизайн клеток изображен в таблицах 4-6 зависят от условий плавания, с которыми сталкиваются ходовая вахта группы в течение двух лет оценки EIRTS, в результате чего некоторые различия в типах вопросу через уровни стресса и технологии лечения. Например, очень мало предметов пилоты, мастера, или опытные товарищи среднего или высокого напряжения транзит рейса, как можно видеть в таблице 4. Из 247 транзита ноги, только 39 были высокого напряжения, в первую очередь в результате сильных ветров, ограниченной видимостью, или пробки (табл. 6). Хотя сожаление по экспериментальной точки зрения дизайна, низкий уровень высокого напряжения транзит нет ничего удивительного, так как после разлива нефти Exxon Valdez, Exxon судов рекомендуется избегать среднего и высокого напряжения транзит поскольку эти условия, которые способствовали заземления Вальдеса. Кроме того, стоит также отметить, что не все члены команды смотреть моста должны были быть на мосту, в то же время: корабельный пилоты только на борту судна по части входящего и исходящего транзит в Вальдеса, и хозяева оставить мост в течение 12-часового транзита, которая иногда выходит из вахтенный штурман в качестве единственного члена команды смотреть на мосту в части транзита.

В начале путешествия, команды мост смотреть было сообщено, что рейс был либо SPES или без SPES рейса. Капитан судна, который сообщил исследователями или не SPES была включена для плавания, сообщил экипажа. SPES могут быть включены только в отношении рейсов SPES и был отключен исследователей без SPES рейсов, в соответствии с протоколом исследования. Учитывая характер данного исследовательского проекта, ни предметов, ни Эксон управления требуется или просила дополнительную информацию, представленную в SPES без SPES путешествий и исследований протокола согласованы руководством Exxon (см. Приложение) последовало протяжении 2 лет сбора данных на борту Бенишия.

Метод

HI-6 в таблице 1 рассмотрим задачу на уровне ввода-вывода: Показатель производительности пользователей EIRTS, изменчивость в их исполнении, и будут ли пользователи рассмотрел несколько альтернатив, сообщили о сокращении рабочих нагрузок, сообщили большей уверенности и удовлетворения, показали повышенную использования системы . HI и Н2, которые направлены на выполнение команды и исполнении изменчивости, анализировать автоматически собранных данных (в рамках системы навигации хост) о кросс-трек ошибки, ближайших точек подхода (СЗД), а также отслеживать ширины. Кроме того, Hirokawa и (1983) кодирования таксономии Пейс был использован для анализа аудиозаписи внутренних команд команда моста часов и внешних связей.

H3, который посвящен ряд альтернатив, по мнению группы моста часы и без EIRTS, использует пост-транзита опросы о маневрировании альтернативы сформулированы и рассмотрены в ходе транзита. H4 основное внимание уделяется вопросу рабочей нагрузки, связанной с технологией, используя НАСА целевой Индекс нагрузки. HS сосредоточена на решении доверия пользователей при использовании EIRTS или принимающей использованием Лайкерта масштаба вопросники пост-транзита и H6 оценивает EIRTS и использование хост-системы, составленный измерительной системы хозяина.

H7-9 в таблице я считаю группового процесса оценки моста групп смотреть использованием EIRTS и его хозяина. H7 считает, задачи и социальных коммуникаций моста членов команды, H8 считает, степень участия членов и H9 рассмотрен характер мост участием членов команды при использовании и не использует EIRTS. 117-9 также использовать Hirokawa и Пейса (1983) схемы кодирования для анализа аудиозаписи телекоммуникационным мостом команды.

HIO-13 в таблице 2 рассмотрим в реальном масштабе времени программного обеспечения производительности EIRTS. H10 фокусируется на системы и подсистемы раза уровне, в H 11 фокусируется на изменчивость во времени реагирования, H12 фокусируется на эффективности правило базы и H13 основное внимание уделяется правильности сценария. Каждая из этих гипотез использует сроки и точность оценки EIRTS и ее подсистем. Operationalizations, зависимые переменные, а также методы сбора данных для гипотез приведены в таблице 3; тестов, используемых и результаты испытаний приведены в таблице 7.

РЕЗУЛЬТАТЫ

Мост Смотреть результаты Выступление команды

Производительность моста групп часы были смешанные при использовании EIRTS: EIRTS при поддержке групп моста часы показали улучшение производительности решения (меньше ближайших точек подхода (ВПД) для близлежащих целей) по сравнению с моста групп смотреть, используя имя узла системы в одиночку, только в условиях низкого напряжения (р = 0,03) (табл. 7, HI). Под высоким, однако, подчеркнуть, мост групп часы показывали значительно меньше изменчивости в кросс-трек об ошибке при использовании одного хост-системы (р = 0,00) (табл. 7, H2), возможно, о том, что в условиях повышенного стресса, мост групп смотреть вернуться для выполнения и более надежно со знакомыми (например, хост-системы) технологии. Читатель получает предупреждение о статистической обоснованности высоких напряжений замечания, а ряд высокопоставленных транзит напряжения (39/247) была небольшой. Это ограничение более подробно обсуждается в методологии и ограничения секции.

Снизилась CPA изменчивости (р = 0,00) (Таблица 7, 112) наблюдается при EIRTS на более низких уровнях напряжения может свидетельствовать о готовности команды смотреть мост использовать EIRTS как угрозу мониторинга помощи в условиях низкого напряжения, предположения подкрепляются докладами хозяев, укреплению доверия и удовлетворенности EIRTS в условиях низкого напряжения. Один мастер отметил, например, что SPES было полезно ", когда у него было время, чтобы поглотить всю свою информацию", но менее полезно, когда ему нужно поглотить важную информацию быстро. Наблюдаемые изменения в часы член команды участия профилей связанных с EIRTS также поддерживают эту точку зрения. В условиях низких напряжений с EIRTS, летчиков, мастеров и товарищей сократить долю своих сообщений посвященный угрозе избежание, в соответствии с ситуацией угрозы и их удовлетворение при поддержке EIRTS предоставляется для маневра и предупреждения столкновений (табл. 8, H9) .

Роль конкретных исследования воздействия EIRTS "на доверие пользователей, удовлетворение, нагрузки, и использование имеют важное значение для этого исследования, так как разные пользователи имеют различные значения, и различных проявлений полезных для технологий в рамках оценки, хотя было мало статистически значительных тенденций. Мастера были найдены, имеют более низкие временные нагрузки, чем при использовании товарищей EIRTS (р = 0,00) (табл. 7, H4), и летчики большими физическими и временными рабочими нагрузками, чем при использовании мастера EIRTS (р = 0,04, 0,05) (7 Таблица, 114), что согласуется с мастерами и когнитивные требования пилотов, а также комментарии пилотов о том, чтобы взобраться на вершину моста и вниз, повесить на веревочную лестницу, чтобы на борт и выгружать на берег судов, а также Затем пилот корабля. Мастера использованием EIRTS требуется меньше усилий, чем оценки (р = 0,01) (табл. 7, H4), а также пилоты использованием EIRTS требуется больше усилий, чем мастеров (р = 0,01) (табл. 7, H4), вывод, который соответствует с мастерами быть более знакомы с EIRTS (р = 0,02), чем пилоты или товарищей (табл. 7, HS).

Процесс оценки результатов (H7-9, таблица 8) показал, что доля группы связи, которые были ориентированные задачи возрастает с EIRTS общей (р = 0,00), а также увеличилось в среднем и высоком уровнях напряжения (р = 0,00 р = 0,00) (табл. 8, H7). Это означает, что мост групп смотреть использованием EIRTS были направлены прежде всего на задачу вопросов, связанных, в частности, в периоды высокого напряжения. Это улучшение в часы команды процессов также согласуется с увеличением EIRTS и использование хост-системы при средних и высоких напряжений (р =. 02, 0,05) (табл. 7, H6). В совокупности эти результаты подтверждают и Тодд (1994) наблюдение Benbasat о том, что стоимость компьютерных решений, основанных на помощь может быть наиболее очевидным в условиях повышенных условиях стресса.

Смотреть результаты команды поддержки участия членов и Кори (1991) утверждение Terranova, что характер связи может существенно измениться в условиях стресса. Увеличение участия помощника при низких и средних напряжений (р = 0,00, 0,00) (табл. 8, H9) следует Гэлбрейта (1977) описания команды перехода от боковых вертикальных структур в высоком стрессовые ситуации. Переход от помощника к участию и участие пилот в условиях высокого напряжения поддерживает замечание, что иерархические группы противоречат равное участие, и может, по сути, будет автоматическая реакция на стрессовые ситуации. EIRTS не в полной мере выравнивания участия между членами команды смотреть по всем уровням напряжения, и не противостоять тенденции к более вертикальной иерархической ходовая вахта команды организация условиях высокой нагрузки. Тем не менее, EIRTS имел положительное воздействие на природу членов команды участие более-мат участия в процессе принятия решений, а также увеличить мат коммуникации в условиях низкого напряжения.

Лу и Левис (1991) утверждал, что общение изменения могут отражать изменения в роли членов группы в условиях стресса. Данные этого исследования позволяют предположить, что в условиях высокой нагрузки, EIRTS может стимулировать пилотов увеличить их речевых сообщений о планировании рейсов. Результаты также показывают, что с EIRTS, мастера увеличилось плану рейса связанных взаимодействия с пилотами и товарищей, данные, которые могут быть связаны с повышенным сообщения пилота. Мастера и пилотов и отметил, что EIRTS побудило их "говорить о пилотировании таким образом, что мы обычно не", заявляя, что EIRTS может дать толчок для общения тесно проведены "мысленным картам" в пилотировании домена, проведенных пилотов и магистров (Раус, Кэннон-Бауэрс,

В условиях высоких напряжений с EIRTS, однако, господ и товарищей стала относительно менее общительный, что может быть связано с иерархической ходовая вахта команды организация, присутствующая на повышенные требования задачи в условиях высокой нагрузки рейса. Таким образом, в результате внедрения технологии EIRTS может быть увеличение мат психологического напряжения (Немет, 1982) с товарищами одновременно призвал к расширению их участия в EIRTS, и одновременно Руководствуясь повышенного стресса, сосредоточить внимание на их роль в навигации задачи (National Research Council, 1994). Mates выразил разочарование в связи с участием, что EIRTS поощрять, а также с новыми задачами мониторинга ее в доме. Такое толкование может также помочь объяснить товарищам увеличился временной нагрузки при лечении EIRTS (р = 0,00).

Результаты обеспечения исполнения

Программное обеспечение исполнения гипотез (H10-13, таблица 9) были предназначены для оценки производительности в реальном времени от EIRTS и дать представление о любой спектакль аномалий. По времени ответа, данные показывают, что EIRTS встретился с 30-секундным требование к эффективности (производительности конверт установленных заводом-изготовителем хост-системе), а перерабатывать до 4 радиолокационные цели, или до 18 диаграммы объектов, или комбинации радиолокационных и наметить объекты в этих пределах (табл. 9). Дисперсии времени отклика данным, среднее время реагирования EIRTS для заданного множества объектов может быть предсказано в 4,58 секунды с 95% доверия. В режиме реального времени данных о производительности показывают также, что ответ-временной изменчивости достоверно не коррелирует с объемом работы. Взятые вместе, результаты показывают, что EIRTS выставлены достаточно предсказуемой производительности.

Тем не менее, база EIRTS эффективности и правильности правило, значительно коррелирует с числом объектов обрабатывается EIRTS (г = 0,92), которая показывает, что, хотя EIRTS производится правильный результатов, ее логического вывода, процесс может быть улучшен. Проблемы EIRTS эффективность может быть связана с плотностью объектов, которые обрабатываются (т. е. число объектов и сопутствующих атрибутов), а не просто количество объектов, присутствующих в рабочей нагрузки. Эти данные свидетельствуют о том, что изменчивость EIRTS временем отклика может увеличиться, как базы знаний становятся крупнее и сложнее, учитывая присутствие domainrelated контроля логического вывода и эффективности результатов.

В совокупности эти результаты показывают, что в то время как EIRTS производительности может быть достаточно предсказуемы для мягкой срок в режиме реального времени система, она не подходит для встраивания в жестком запланировано режиме реального времени. Результаты также показывают, что в качестве базы знаний EIRTS расширяется, его предсказуемости же уменьшится, если нынешняя структура программного обеспечения сохраняется. Эти выводы согласуются с утверждениями Лаффи Кокс, Шмидта, Rao, и чтение (1988), Павел и др.. (199), а Яффе и др.. (1991), что быстрое и предсказуемое время отклика создают проблемы для EIRTS использованием технологий искусственного интеллекта, такие как производство-основанной на правилах обработки.

Полученные результаты поддерживают рекомендации др. Chandrasekaran и др. (1991), что объем и стресс-тестирование нужно сделать, чтобы проверить выполнение EIRTS. Наблюдение доменной специфики проблемы EIRTS производительности наблюдается (например, разницу в производительности с радиолокационных целей (кораблей) против диаграммы объектов (маяки)) подчеркивает необходимость EIRTS тестирования смысл в своей области, а также статистически хорошо разработаны.

МЕТОДОЛОГИЯ И ОГРАНИЧЕНИЯ

Наша методология и результаты страдал от ряда ограничений. Например, нам не удалось собрать данные по всем транзитным ноги из-за тяжелых погодных условий. Это позволило уменьшить количество используемых ноги транзита с данными из ожидаемых 256 до 247. Мы также не смогли собрать много данных о EIRTS и с учетом производительности в условиях высоких напряжений, в первую очередь из-за ограниченного количества и высокой нагрузкой на транзит, осуществляемой судами Эксон после заземления Exxon Valdez. Когда имеются данные, она была собрана, но статистически обоснованные выводы о высокой условиях стресса не может быть сделано, так как число наблюдений было небольшим. Кроме того, эксперименты проводятся не случайно. На одном рейсе два транзитов и восемь ног транзита, испытуемые часто совпадают, что создает зависимостей в наблюдениях. Дополнительная работа по анализу этих зависимостей и / или проводить больше случайных экспериментов бы повысить обоснованность и обобщения этого исследования, но не были выполнены в этой работе.

Важным вкладом в строгой оценки EIRTS представляет собой попытку очертить границы условия, в которых EIRTS могут быть применены. Это включает, но не ограничивается, определяющих такие вещи, как экологические условия, при которых система действует и квалификации пользователей, необходимые для надлежащего использования системы. Это исследование принял это во внимание в нескольких направлениях, в том числе различия EIRTS производительности в условиях низких, средних и высоких напряжений, а также изучение EIRTS производительности количество треков она должна процесс изменился. Тем не менее, критерии оценки должны четко указать на необходимость определить ограничения или граничные условия системы, точка нашей оценки критерии четко не адрес.

Наконец, хотя мы определили критерии оценки от морских исследований и литературы EIRTS, мы не развивать или проверки гипотез, во всех районах, о которых на рисунке 5. Мы не оценивать эффективность решения или эффективность EIRTS, ни точности или своевременности консультативной помощи. Мы и не рассмотреть вопрос об адекватности и эффективности пользовательский интерфейс SPES. Гипотезы в этих областях может также расширить наши выводы, а также обобщения полученных результатов.

РЕЗЮМЕ

С распространением EIRTS в сложных оперативных параметров необходимо для думающих оценки таких систем имеет решающее значение. В данной работе мы предложили набор критериев оценки, которые были внимательны к EIRTS 'присущие системе и были обусловлены роли системы и ее вклад в среду, в которой она была установлена. Мы иллюстрируется использование критериев при оценке оперативной EIRTS, а также обсудили последствия результатов.

Читатель может спросить, как лучше подвести итоги этой работы. Мы предполагаем, что после (1993) понятие Вейк о необходимых различных сложных систем, как EIRTS требуют богатый выбор методов оценки. Основываясь на нашем опыте в этом исследовании, мы предлагаем, чтобы такие критерии оценки включают технологии и ориентированной на человека размеров. Мы полагаем, что для EIRTS, эти меры включают в себя проверку собственных характеристик системы (включенность, разведки и развертывания в режиме реального времени установка), проверка возможностей EIRTS поддержки принятия решений на задачи, представительства и реализации уровнях, а также оценки Программное обеспечение системы деятельности. Кроме того, мы предполагаем, что EIRTS оценки адрес человека показателей с учетом и без технологий, а также влияние технологии на своих пользователей, его хозяин, и его окружающей среды, с использованием различных видов мер воздействия. Этот подход сочетает технологии оценки подходов с человеком-ориентированных моделей оценки, подход, который имеет важное значение для безопасности критических больших систем масштаба со встроенными компонентами, где люди и технологии несут совместную ответственность за выполнение задач. [В редакцию: 27 июля 2000. Принято: 16 февраля 2001.].

* Министерство транспорта США, морской администрации (морская администрация); береговой охраны США, Национального управления океанических и атмосферных; Эксон пароходство; Sperry Marine, Inc, а также на юго-западе Аляски пилотов ассоциация поддержала эту исследований. Поддержку и внимательное руководство в отношении следующих лиц и организаций благодарностью авторов: г-на Джона и Пола Дамблтон Менц из морская администрация; Адмирал Джим карты и д-р Ли Александр береговой охраны США; гг Гусь Элмер, искусства Стивенс, и Боб Фримен от компании "Эксон пароходство, г-н Франк Iarossi от Американского Бюро Судоходства; гг Скотт Бартлетт и Том король Sperry Marine, Inc на юго-западе Аляски пилотов ассоциация, в частности, капитаны Джим Райт, Тони Джослин, и Ричард Кочинос , а также мастера и членов экипажа "Эксон Бенишия и других транс-Аляска трубопроводной системы (TAPS) торговля танкеров, которые участвовали в этом исследовании. Авторы также хотели бы поблагодарить Al Wallace, два анонимных экспертов, а также помощник редактора, который внес большой вклад в эту рукопись.

Ссылки

Эйдельман, Л. Коэн, MS, Bresnick, TA, Чиннис, JO,

Bonissone, П. П.,

Chandrasekaran, B., Бхатнагар Р.,

Chen, I-R, Bastani, Ф. Б.,

Коэн, П. (1995). Эмпирические методы искусственного интеллекта. Cambridge, MA: MIT Press.

Кук, Р. C. Марино, К. Л.,

Купер, Р. Б., Bertsche, В. Р.,

Кори, Б. Г.,

Cullyer, J. (1991). Безопасности критически важных систем управления. Компьютерные и Control Engineering Journal, 2 (5), 202-210.

Энтин, Е. Е.,

Плата, J. J., Lascelle, W.,

Нету 43-7909-02). Кингс-Пойнт, штат Нью-Йорк: Государственный научный центр морской, автоматизации исследований операций фонда (CAORF).

Флорак, W.,

Гэлбрейт, Р. J. (1977). Организация дизайна. Чтение, М.: Addison-Wesley. Gaschnig, J., Клахр П., Попл, H., Shortliffe Е.,

Грабовский, М. Р.,

Грабовский, М. Р.,

Грабовский, М. Р.,

Грабовский, М. Р.,

мультимедийные технологии в метро Лондона номера контрольной линии. Совместная работа на базе ЭВМ, 1, 69-94.

Хайленд, Ф. (1994). Встроенные Al. IEEE Эксперт: интеллектуальных систем

Hirokawa, Р. Ю.,

Хогарт, Р. М.,

Медицинский институт. (1999). Чтобы человеку свойственно ошибаться: создание более безопасной системы здравоохранения. Вашингтон, постоянный ток: Национальный пресс-академии.

Яффе, М. С., Левесон, Н. Г., Helmdahl, П. Е. М.,

Jarvenpaa, С. Л. (1989). Влияние задача требует и в графической форме на стратегии обработки информации. Управление науки, 35 (3), 285-303.

Клейн Банинг, H., Лоуэн, U.,

мост. Труды Общества Naval Architects и ежегодная встреча морских инженеров. Нью-Йорк.

Лаффи, TL, Кокс, А. П. Шмидт, JL, Рао, С. М.,

Левесон, Н. Г. (1995). Safeware: безопасность системы и компьютеры. Нью-Йорк: Addison-Wesley.

Левесон, Н. Г., ча, С. С.,

Лопес, B., Meseguer П.,

Лу, З.,

Марр, D. (1982). Vision: вычислительная расследование человека представления и обработки визуальной информации. Нью-Йорк: Freeman Press.

Маккартт, А. Т.,

Национальный исследовательский совет. (1994). Забота о руль, морской навигации и пилотирования. Washington, DC: Национальный пресс-академии.

Немет, C. (1982). Устойчивость позиции фракции и влияния. В H. Grandstatter, J. Х. Дэвис,

Неймана, П. (1995). Связанные с использованием компьютерных рисков. Нью-Йорк: ACM Press.

Nieri, D. (1980). Связь нагрузки исследование предлагаемых услуг движением судов в порту Нью-Йорке. CAORF Доклад № 42-7909-01. Кингс Пойнт, штат Нью-Йорк: Государственный научный центр морской, автоматизации исследования операций фонда.

Павел, C. J., Ачарья А., Черный, Б.,

Прис, А. Д., Shingal Р.,

Rochlin, G. (1997). Находясь в сети: непредвиденные последствия компьютеризации. Принстон, штат Нью-Джерси: Пресс-Принстонском университете.

Рот, Э. М., Беннет, К. Б.,

Рус, В. Б., Кэннон-Бауэрс, J. А.,

Schuffel, H. J., Бур, П. J.,

Sharda Р., Барр, С. Х.,

Shimeall, Т. J.,

Stefik, М., Айкинс, J., Бальцер, Р., Бенуа, J., Бирнбаум Л., Hayes-Рот, F.,

SWIFT. (2001). Общество всемирных межбанковских финансовых телекоммуникаций (SWIFT). <a target="_blank" href="http://www.SWIFT.com" <rel="nofollow"> http://www.SWIFT.com />

Тодд П.,

Тодд П.,

Тодд П.,

Вейк, К. (1993). Крах смысле решений в организации: Манн Галч бедствий. Administrative Science Quarterly, 38, 628-652.

Вен, W., Каллахан, J.,

Викенс, К. Д., Мавор, А. С.,

Уильямс, К.,

Марта Грабовски

Департамент ofBusiness, Ле-Мойн-колледж, Сиракузы, штат Нью-Йорк 13214 и Департамента Решение наук и инженерных систем, политехнического института Rensselaer, Трой, штат Нью-Йорк 12180-3590, электронная почта: grabowsk @ почте lemoyne.edu

Stephen D. Санборн

General Electric корпоративным исследованиям

Марта Грабовский является профессором информационных систем управления и директор программы по информационным системам в Департамент по предпринимательству в Лемойн колледж в Сиракузы, штат Нью-Йорк. Она также является научным сотрудником профессор в Департаменте Решение наук и инженерных систем на политехнического института Rensselaer. Д-р Грабовский является членом постоянного американского Национального исследовательского совета Комитета по психологии. Ее образование включает степень бакалавра торгового Соединенные Штаты морской академии, Кингс Пойнт, штат Нью-Йорк, и MS, MBA, и доктора из политехнического института Rensselaer. Исследования доктора Грабовский был поддержан целым рядом международных, федеральных, государственных и правительственных учреждений и промышленных организаций. Ее исследовательские интересы включают влияние встроенных интеллектуальных систем реального времени и сетей, человеческие и организационные ошибки в крупномасштабных систем, разработка методов оценки качества в режиме реального времени, основанной на знаниях систем и сетей, а также способы снижения рисков в условиях безопасности критически важных крупномасштабных систем.

Stephen Санборн является членом технического персонала корпоративным исследованиям GE и Центра развития в Скенектади, Нью-Йорке. Его образование включает степень бакалавра Widener колледж, степень магистра инженерных систем в Университете Пенсильвании и степень доктора наук в решении и инженерных систем из политехнического института Rensselaer. Д-р Санборн привел ряд перспективных программ аэрокосмической технике, и в настоящее время участвует в разработке и развитии следующего поколения архитектур информации.