эффективности различных представлений для решения задач управленческого: Сравнение таблиц и карт,

РЕЗЮМЕ

Географические информационные системы (ГИС) позволит лицам, принимающим решения для просмотра табличных данных географически, как карты. Это простой, но мощный визуальный формат представляется способствовать решению проблем, но как она делает это не ясно, мы не знаем типы проблем которые получают выгоду от этого представления. Чтобы начать понимать вклад географических представлений над табличных представлений, мы провели три фактора опыт в решении проблем. Эксперимент состоял из двух различных представлений (карты и таблицы), три различных географических связей (близости, смежности и локализации), и три уровня трудности задачи (низкий, средний и высокий). Мы обнаружили, что карты как правило, производятся быстрее решать проблемы, чем таблицы, и что решение проблем времени увеличилось с задачей трудом. Самое главное, по близости и смежности географического отношения, которые мы обнаружили, что карты все решения проблем низкого уровня, в то время как таблицы имеет тенденцию к увеличению времени драматически. Однако мы обнаружили, что число государств знаний для выполнения каждой задачи объясняет производительности раз очень хорошо, и является полезным инструментом для понимания разницу в производительности и эффекты взаимодействия. Как задачи становятся сложнее, представляя их, как карты в целом сохраняет количество знаний государства мала, а для таблиц, количество знаний государств резко возрастает.

В целом, как сложность возрастает, карты являются более эффективными в решении проблем задач. Использование карт, задачи упростить, используя визуальные эвристики, которые держат problemsolving раза и процент ошибок подняться так быстро, как они с таблицами.

Предметные области: Географическая информационная система (ГИС), человеко-машинного интерфейса (HCI), Знание государств, карты и таблицы, решать проблемы, а также Visual Эвристика.

Представления информации и решения проблем

Традиционно, решать проблемы, полагаются на графическом или табличном представлений для решения проблемы, но эта ситуация меняется, как функциональность и наличие географических информационных систем (ГИС) улучшить. Более 75% корпоративных данных содержит географической информации (например, адрес, почтовый индекс, государство, и название страны), которые могут быть визуализированы с картой (Тонкин, 1994). Географическое отношений между такие данные могут быть использованы с большей вычислительной мощности и современные технологии интегрированы в базу данных ГИС. Бизнес, правительства и научно-исследовательских организаций в настоящий момент расходуют около $ 3 млрд в год в области ГИС и бесчисленные миллиарды на настройки и интеграции (Glater, 1993). Как эти огромные затраты оправданы? В отличие от некоторых информационных систем, ГИС четко не являются системами труда замены. Напротив, данные отображаются в ГИС в виде карт, так как пользователи предположить, что это представление приводит к лучше и быстрее решать проблемы.

Этот вопрос представления информации имеет важное значение как для решателей задач и разработчиков систем поддержки принятия решений (DSS). Решать проблемы сделают быстрее, более точные решения, если их данные представлены в формате, который наиболее соответствует их задачи. Например, чтение определенных значений данных лучше всего сделать, если данные представлены в табличной форме, но, определяющих тенденции с течением времени лучше всего делать с графическом формате (Jarvenpaa

Карты были использованы на протяжении веков для навигационных целей. В последнее время они также используются для представления географической информации для решения проблем. Примечательно, что Джон Сноу, врач в Лондоне во время эпидемии холеры в 1855, начертанный рукой, случаи холеры наряду с места общественного водяных насосов (Tufte, 1983). Кластеризации случаев заболевания холерой около 1 частности водяной насос убежден, Снег и органов здравоохранения, чтобы удалить ручку насоса. Эпидемия закончилась вскоре после этого, благодаря усилиям трудолюбивого один врач.

Тем не менее, карты более не надо старательно выполненные от руки. Новый класс программного обеспечения для настольных рабочих станций возникла в последние годы, географической информационной системы (ГИС). Географические информационные системы позволяют решателей проблем бизнеса объединить корпоративной информации, таких как продажи и информацию о клиентах, с картами городов, стран, государств и стран. Такое слияние информации позволяет решать проблемы просматривать несколько слоев информационно-продаж по регионам, трафика, а также клиентов-демографических все сразу. Конкретные применения включают выбором площадки для нового розничного магазина или склада, поиске потенциальных клиентов, и справедливо присвоения территорий торгового персонала.

ГИС-пользователей, увидев их данные на карте впервые, отвечают: "О, теперь я вижу!", Подразумевая, что карты обеспечивают пользователей-новому взглянуть на свои данные. Это предположительно приводит к лучшему решению проблем. Без карты, решать проблемы должны разобраться в исходных данных. Возможно, в прошлом, но самое успешное решателей были те конкретные познавательные навыки, лучше приспособлен для визуализации географических связей в виде таблицы или текстовой информации. Лица, отличаются в своих предпочтениях в отношении формата географической информации. Некоторые предпочитают рисованную карту, чтобы найти путь к дому друга, другие предпочитают конкретные навигационные направления (например, повернуть налево на АЗС, идти двумя блоками и т.д.). Эти индивидуальные предпочтения могут отражать различия в когнитивных навыков. Решение задач достигается за счет повышения умственной модели, принимающих решения, и, позволяя ему или ей обнаружить новые отношения данных (Кин, 1981). Карты достижения этих целей, прямо или косвенно. Карта улучшает психическое модель решения проблем непосредственно, так как это более точное представление о географических особенностей. Кроме того, она помогает решать проблемы обнаружения новых отношений в данных, эффективно изображением географических связей между объектами на карте.

В географическом отношении мы имеем в виду отношения между двумя или более объектов в пространстве. Так как исходные данные в информационной системе хранится в табличной форме, мы спросить, есть ли карта отображается с помощью ГИС характеризует улучшение по сравнению с простого табличного представления. Иными словами, наши исследования вопрос может быть сформулирован следующим образом:.

Каковы относительные преимущества различных представлений, карты и таблицы, для решения проблем?

Основной вопрос здесь, как информация должна быть лучше всех. Тем не менее, различные географические связи, уровень трудности задачи, а отдельные когнитивные навыки также важны. В частности, мы также изучить вопросы, связанные с два, а именно типы географических отношений и уровня сложности задачи и их влияние на решение проблем. Во-первых, географические объекты, например, области и районы, связаны географически по-разному, быть рядом, расположенные в пределах или в непосредственной близости друг от друга (Egenhofer, 1991). Это заставляет нас спросить: "Как географического отношения влияют на решения проблем?" Во-вторых, более трудные задачи могут воспользоваться дифференциально с географической (или табличном) представлении. В-третьих, лица различаются по уровню их познавательных навыков, разницей, что может повлиять на решение проблем с разными представлениями. Только путем изучения этих четырех переменных одновременно мы можем лучше понять их относительное воздействие на решение проблем.

В следующих разделах настоящего нашего исследования по вопросу о последствиях представления, географической отношения, и задача трудом. Первый раздел посвящен предварительного исследования по информации представительства, задача трудности, географического отношения, и когнитивных навыков. Затем мы опишем наш экспериментальный подход, в том числе функционирования независимых переменных, и заявление наши гипотезы, а затем наши методы, результаты и обсуждение, соответственно. Наконец, мы объяснить некоторые из наших результатов, предлагая, что подсчет числа информационных состояний помогает объяснить, сроков выполнения работ.

ДО РАБОТЫ ПО Географические отношения, представления информации, трудностей поставленных задач и когнитивных SKILL

По четырем направлениям исследований вклад в наше понимание потенциальной эффективности географического представительства. Во-первых, картографы описал три географических связей между географическими объектами, хотя они не были, связанные с выполнением различия до сих пор. Во-вторых, два ученых, Кливленд (1985) и Тафт (1983, 1990) разработал общие руководящие принципы для представления информации, хотя они, как правило, игнорируют основные задачи. Это приводит нас к задаче различия, которые были в центре потока исследований, призывающих к "установки с задачей представительства". Задача посадки исследования, хотя и не включать карты, представления информации, разработала экспериментальных подходов и теоретических объяснений, которые имеют непосредственное отношение к нашим собственным исследованиям. В-третьих, недавние исследования манипулировать задача сложности и производительности по сравнению с картами с географической информационной системы. Наконец, исследования показывают значительные различия между отдельными производительности на основе физических лиц на основе индивидуальных различий, когнитивный стиль и когнитивных навыков. Мы разберем каждый из этих исследований потоков ниже.

Географическое отношений

Различные географических связей между объектами возможны. Объекты на карте может быть связано географически в 5-разному (Egenhofer, 1991), хотя они сводятся к трем для наших целей. В частности, любые два объекта могут быть уточненном, по соседству, перекрытие, на нем или идентичны. Последние три понятия, перекрытия, содержится, и одинаковые, очень похожи, представляющих различные степени один объект, содержащий другой.

В результате Есть три топографические отношения, которые представляют основной интерес здесь, как показано на рисунке 1. Во-первых, две объекты могут быть в той же близость, как измеряется тем, насколько далеко друг от друга они находятся. Например, две остановки грузовика может быть семь миль. Во-вторых, два объекта могут быть смежными. Например, подразделения внутри границ школ района друг с другом. Наконец, один объект, если две мерных, могут содержать другие объекты. Округе, например, может содержать аэропорт, поле для гольфа, и несколько церквей.

Эти три основных отношений соответствуют общим делом использовании ГИС. Географические информационные системы обычно используются на предприятиях, чтобы помочь решить четыре типа задач, а именно оптимизации маршрутов, территории задания, выбор площадки, и маркетинг (Bryan, 1993). Маршрутизация проблемы требуют знания близости остановок на маршруте, проблемы территории задание требует знания смежности территорий, и выбор требует знания атрибуты, содержащиеся в предложенном месте. Маркетинг проблемы также использовать знания признаков для выявления существующих или потенциальных клиентов географически (хотя и этой конкретной задачи не исследовал здесь); определения отдельных домашних хозяйств, точкой на карте, естественно, приводит к задаче выбора сайтов. Это соответствие географических связей с бизнес-задач продиктовано задачи для этого экспериментального исследования.

Представления информации: Руководство

Тафт (1983, 1990) и Кливленд (1985) предложили общих руководящих принципов для представления графической информации. Интересно, что означает, что карты, как правило, бедных представлений для решения определенных задач. Экспериментальные работы также подтверждает это. общего руководящего Tufte для оценки графических стремится максимизировать "данных чернил отношение", что "доля чернил графа о том, что посвящена нерезервных отображения данных информации" (Tufte, 1983, p. 93) . Например, карту как правило, уделяют большое чернил к избыточной спецификации информации, таких, как затенение всего региона, когда одно значение данных было бы достаточно.

Кливленд (1985) в целом согласен с оценкой Tufte о картах, но по разным причинам. Он разработал перечень возможных графического представления информации и приказал им по их относительной эффективности, основанные на его собственных исследований (см. Таблицу 1). Статистические карты появились в нижней части списка. Заметим, однако, что этот список означает, что единственная задача состоит в чтении значений и карты, безусловно, используются для более сложных задач. Кроме того, седьмой пункт говорит о "статистической карты с цветовой кодировкой", но карты используются для представления и многие другие виды информации, такие, как точка-точка расстояния и смежности двух регионов.

Вместо того чтобы использовать цвет и насыщенность представлять данные значения на карте, гораздо более эффективное представительство будет оформлена прямоугольники на карте. Эта конкретная рекомендация подтверждается исследованием Данн (1988). Он сравнил вопросу производительность с помощью unclassed choropleth карта (карта затененной) или прямоугольник оформлена карта (карта с небольшой гистограмм накладывается) и обнаружил, что с последней диаграмме, предметы были значительно более точной при чтении одного значения точки (см. рис 2 .) Для решения этой задачи, прямоугольники оформлена в каждом из них общей шкалы для чтения значения из одной карте, а unclassed choropleth картой, представленной разной плотности crosshatch картины.

(1985) список Кливленда изобразительного эффективности включает в себя важные схем графиков информации, но не включает номера-данных на основе диаграммы. Предположительно, цифры являются наиболее эффективного представления информации, или наиболее эффективной для решения задач читал одно значение. Эти предположения, и дополнительные задачи рассматриваются исследования о соответствии задачу представления информации, начиная с таблицами и графиками.

Представления информации: Соответствие задач и Представительство

Эффекты таблиц и графиков элементарных задач, как правило, хорошо понимал (Benbasat, Dexter,

Две теории служат для прогнозирования последствий таблиц и карт на решении проблем, и оба проповедуют совместимость между требованиями задачи и представления информации. Во-первых, познавательный Fit (Весси, 1991), рекомендует пространственной информации для пространственных задач и символьной информации для символического задач, а также объясняет эффекты, обнаруженные в Jarvenpaa и Диксон (1988) в этом свете. Вторая теория, неподалеку принцип совместимости (РСР), придерживается физической близости данных, если задача требует ее интеграции (Wickens, 1992; Wickens, Мервин,

Когнитивная подходят рекомендует, чтобы информация и задачи матч: пространственные задачи нужно пространственных представлений; символической задачи нужно символьной информации. Например, графы подчеркнуть пространственной информации, поэтому они хорошо подходят для элементарных пространственных задач, таких как выявление тенденций в набор данных значений. Кроме того, таблицы подчеркнуть символьной информации (например, конкретные значения), поэтому они хорошо подходят для символической задачи, такие как извлечение отдельных значений данных. Мы расширяем понятие когнитивной форме и предсказывают, что карты (которые отображают пространственные отношения между географическими объектами) будет способствовать более высокую производительность, чем таблицы для наших задач.

В целях обеспечения согласованности и ясности, мы будем использовать термин "географический отношения" относится к 3 отношений между географическими объектами, а именно, смежности, близости и локализации или в типичных бизнес-задач-округов, оптимизации маршрутов и выбор места. После Весси (1991), мы используем термин "пространственная" по отношению к визуально воспринимается отношений между графике значений данных. Единственное исключение происходит, когда мы обсуждаем когнитивных способностей и представить пространственную память, один из познавательных способностей человека.

Каждый из наших задач требует интеграции различных источников информации, поэтому прогнозы ПХФ также необходимо учитывать. Лечащий врач утверждает, что не должно быть совместимости между требованиями задачи и отображения информации. Если задача требует различных источников информации, то эти источники информации должны быть включены (например, в многомерных дисплея или XY график), а не на отдельных графах. С другой стороны, если несколько источников информации обрабатываются независимо, то задача близость с низким и информация должна отображаться отдельно. Proximity (не путать с близостью принцип совместимости) отображается непосредственно на карте, как расстояние между двумя точками, при извлечении информации близости от стола требует поиска расстояния между двумя точками. Смежности показано прямо на карте, так как она показывает, какие области, с его атрибутами, и находится рядом с другими регионами, с их атрибутами. Смежности информации труднее извлечь из таблицы, так как информация о двух соседних регионов не группируются, а показаны в различных столбцов и строк. Сдерживание показали прямо на обе карты, таблицы, карты, хотя также показывают полос объектов, например, во многих близлежащих мин указать зону добычи.

Это обсуждение географических связей приводит нас к обсуждению типы задач, которые мы изучаем. Наше исследование рассматривает проблемы решения задач. После Jarvenpaa и Диксон (1988), предыдущие исследования о представлении информации категории задач, как ни элементарных задач или решение деятельности (Newell

Целевая сложности и географических информационных систем

Мы знаем, одно из последних исследований, которая расследует решения проблем с картами. Кроссленд и Винн (1994) по сравнению с решением время бумажных карт и электронных карт (ГИС) с использованием трех уровней задачи трудом. Как и ожидалось, они обнаружили, что более сложные задачи требуется больше времени. Что еще более важно, они также показали, что время принятия решения увеличилось с задачей трудности более медленно, чем с ГИС бумажные карты. Короче говоря, сложные задачи, ГИС должны быть использованы, не бумажных карт, а ГИС предоставляет решения проблем с географическими инструментов анализа, таких, как общая численность населения в пределах определенной пользователем региона, которые не являются легкодоступными с бумажных карт. Эти эффекты побудили нас изучить задачи трудности в наших исследованиях. Индивидуальные различия, когнитивный стиль, и познавательных способностей

Индивидуальные различия пятнистых репутацию в качестве независимой переменной в системы управленческой информации и взаимодействия человека с компьютером исследований. Одним из видов отдельных разница когнитивного стиля, в котором описываются основные индивидуальные диспозиции к обработке информации (Виткин, Dyk, Паттерсон, Гуденаф,

Хубер (1983) осудил когнитивных исследований стиль безвестности в течение нескольких лет. Его анализ литературы выявил ряд недостатков связанных с когнитивного стиля, но две самые убийственные недостатки были неоднозначные результаты, и небольшая часть дисперсии (10%) объясняется когнитивных стилей. Тем не менее, 10% значительная часть от общего объяснить различия в поведенческих исследований (Umanath, Scamell,

Роби (1983) считает, что дальнейшие исследования когнитивных стилей может внести существенный вклад в цели компании Huber ДСС гибкость путем сосредоточения внимания дизайнера DSS на массив альтернатив, которые стоит рассмотреть. Лица, принимающие решения могут лучше понять, как они принимают решения путем развития более глубокого понимания их когнитивных стилей. Долгосрочный вопросы были проигнорированы Huber (1983); в частности, информация, представленная в несовместимый формат может привести к неудовлетворенности с пользовательским интерфейсом, что приводит к прогулов и оборота. В общем, некоторые знания пользователей когнитивных характеристик поможет в разработке лучшего пользовательского интерфейса.

Когнитивные навыки, категории индивидуальных различий, которые отличаются от когнитивных стилей, являются важным компонентом пользователей когнитивных характеристик и оказались еще более эффективной для предсказания производительности по сравнению с когнитивного стиля. Когнитивные навыки включают пространственной памяти, словесных беглость речи и логического мышления, и измеряются стандарт, утвержденный психологических тестов (Экстром, французский, постоянного Harman, 1976). Грин, Гомес, и Девлин (1986) обнаружили, что новый, таблица истинности основе языка запросов, по сравнению с языка запросов SQL, улучшенную производительность для пользователей с плохим логических рассуждений возможность без ущерба для производительности пользователей с хорошей способности логического мышления. Гомес, Иган, Уилер, Шарма и Gruchacz (1983) обнаружили, что взрослые и пользователи с низким пространственные способности испытывали больше трудностей обучения линии текстовый редактор, чем молодые, пространственно возможности пользователей. Висенте, Hayes, и Williges (1987) успешно используются две меры когнитивные навыки, словарный запас и пространственные способности, приходится 45% дисперсии в теме производительность при поиске иерархической файловой системы.

Индивидуальные различия становятся все более важное значение, как сложность задачи возрастает. Для простых задач, редактирования текста, разницу в производительности между отдельными лицами, организовал от лучшего к худшему, являются 2:01 до 7:01 (Иган, 1988). Тем не менее, для более сложных задач, таких как компьютерное программирование, он обнаружил разницу в производительности в диапазоне от 4:1 до 50:1. Это значение индивидуальных различий для сложных задач, приводит нас к меру индивидуальных различий в наших испытуемых.

Наша цель измерения когнитивных навыков, чтобы найти представления информации, которые помогут им решать проблемы со слабыми когнитивными навыками без ущерба для тех, с сильными когнитивных навыков. Что касается карт, эффекты когнитивных навыков менее очевидны, чем редактирование текстов, иерархической обход меню или запрос к базе данных. Мы видим, различия в индивидуальных преференций для навигационной информации, а на примере отдельных преференций для направления в дом друга. Это позволяет предположить, индивидуальный опыт и различия в использовании карты, которые мы надеемся понять здесь.

Мы считаем, что отдельные пространственной визуализации, как оно используется "Аль-Висенте и др. (1987) позволит прогнозировать производительность карт и таблиц, хотя два эффекты возможны. Если человек получает карту, но с плохим пространственным навыков, карта может помочь им преодолеть этот недостаток. Кроме того, если человек с сильными пространственными навыками дается таблица, он или она могут визуализировать информацию в виде карт и лучше, чем кто-то с плохим пространственным навыков смотрит за тем же столом.

Экспериментальный подход

Наш подход к пониманию того, как решать проблемы использования карт базируется на четырех факторах: представление информации, задача трудности, географического отношения, и индивидуальные различия. Каждая из этих четырех переменных как ожидается, повлияет решение проблем, хотя они никогда не были объединены для проверки этих предсказаний.

Информация Представительство

Представление информации является первой и основной независимой переменной, в которой два представления используются карты и таблицы. Насколько нам известно, ранее не исследование производительности в сравнении с помощью этих двух представлений. Мы тщательно построены карты и таблицы для представления содержат ту же информацию. Однако из-за географических картах обозначают географическую информацию и таблицы представляют собой символическую информацию, карты должен стимулировать повышение производительности для решения проблем задач, требующих географического анализа (например, восприятие локализации объектов, примыканий объектов или близость объектов). Это по существу (1991) Весси познавательной нужным. Викенс (1992 год) неподалеку принцип совместимости аналогичные, но несколько различных прогнозов, считая, что задачи по близости и смежности географического отношения даст лучшую производительность при представлены в виде карт; задачи по сдерживанию географического отношения не получите карту или табличного представления. Основными направлениями работы Tufte (1983, 1990) и Кливленд (1985), не как конкретные, как когнитивная форме и лечащего врача, и лишь предположить, что таблицы будут производить превосходную производительность, чем карты. Мы склонны полагать, что более конкретные прогнозы Весси и Викенс и предложить следующую гипотезу:.

H1: Карты приведет к более коротким решения проблем раза больше, чем таблицы по каждому из трех географических отношений.

Целевая сложности

Три уровня трудности задачи используются здесь называют низкий, средний и высокий. По мере возрастания трудности задача, число подзадач увеличивается. Все страны с низким трудность задачи имеют две подзадачи, будь то оптимизации маршрутов две остановки, создавая два школьных округах, или выбрав 2 сайтов. Кроме того, средней и высокой сложности, задачи имеют 3 и 4 подзадачи, соответственно. Таким образом, решение проблем время должно увеличиваться с задачей трудом. Итак:

H2: Более сложные задачи, что потребует дополнительного времени.

Географическое отношений

Различные географических связей между объектами возможны и изучить здесь, как наш третий независимой переменной. Как отмечалось выше, объекты на карте могут быть связаны географически в 3-разному (Egenhofer, 1991). Любые два объекта на карте может быть уточненном, по соседству, или содержащиеся в других (см. Рисунок 1). У нас нет никаких априорных оснований ожидать более высокую производительность для 1 географического отношений над другим, поэтому мы не ожидаем, основной эффект географического отношения на производительность. Тем не менее, мы надеемся, что эффект взаимодействия между географическими отношений, представительства и задачи труда, по итогам Кроссленд и Винн (1994).

H3: Для каждого географического отношения, с увеличением трудности задачи, карты приведет к меньшим увеличением в решении проблем времени по сравнению с таблицами.

Когнитивная SkilI / Индивидуальные различия

Мы выбрали стандартный тест пространственной визуализации, ВЗ-2, так как наши меры индивидуальных различий самое непосредственное отношение к географическим решения проблем (Экстром и др.., 1976). Этот тест измеряет способность субъекта мысленно манипулировать цифрами, используя данные сложенных, кулаками и развернул бумагу (см. Рисунок 3). Этот тест особенно эффективен при прогнозировании разницу в производительности между субъектами изучения иерархических файловых систем, в которых хорошие пространственной памяти, важно отслеживать местоположение в сложной иерархии (Висенте и др.., 1987). Мы ожидали, что эта же мера пространственной памяти поможет субъектов решения этих задач, возможно, помогает испытуемых с хорошей пространственной памяти создания географических представлений для табличных данных.

H4: Лица с высоким пространственным возможность визуализации потребует меньше времени, чем предметы с более низкими пространственные способности визуализации.

Таким образом, Есть четыре важных фактора, которые мы считаем повлияет problemsolving производительности, а именно, представление, географического отношения, задачи трудности, и индивидуальные способности в пространственной визуализации. Следующий раздел описывает эксперимент, который проверил воздействие этих независимых переменных на решение проблем времени и ошибок.

МЕТОДЫ

Темы. Сорок четыре студентов по специальности в области делового администрирования в университете США участвовали в качестве субъектов. данные по шести предметам были ликвидированы из-за отсутствия данных, вызванной проблемами с экспериментальными программного обеспечения и ошибки, которые последовали. Все испытуемые получили свидетельство о прохождении курса для их участия. 3 испытуемых, которые не совершили никаких ошибок и был самый короткий общего решения проблем раз получили денежные премии. Средний возраст всех испытуемых была 22,3 лет, 59% составляли мужчины и 41% составляли женщины.

Приборы и материалы. Задачи эксперимента были представлены на персональных компьютерах Macintosh с помощью пользовательских построенный Hypercard трубы; вопросу ответы были захвачены одинаковое программное обеспечение. Все права на материалы появились черно-белые изображения и текста на экранах компьютеров. Примеры можно увидеть на рисунках 4 до 6 и в таблицах 3 до 5.

Дизайн. Этот опыт используется 3-фактор, в пределах темы, повторно-дизайн меры для оценки последствий представления (карты, таблицы), географические связи (смежности, близости, локализации) и сложности (низкий, средний, высокий) по времени problemsolving и точности. Каждый испытуемый выполнял одну задачу в каждой клетке, завершив в общей сложности 18 экспериментальных задач. Для задач, компенсировалось и рандомизированные по ликвидации порядок эффектов. Визуализации пространственных способностей каждого субъекта также определяли, используя ВЗ-2 тест, так что он может служить для выполнения коварьировать (Экстром и др.., 1976).

Процедуры. Темы были протестированы в группах, хотя каждый предмет был назначен отдельный компьютер. В начале сессии, которая длилась около 1 часа, каждой теме читать инструкции, и согласилась с экспериментальной процедуры в электронном виде. Каждый блок задач началась с двух практических задач, которые были проверены в один из экспериментаторов, и закончился 3 экспериментальных задач.

Каждая экспериментальная задача требует, чтобы субъект читать инструкции, определить правильный ответ, введите, что ответить, и приступить к следующей задаче. Сроки выполнения каждой задачи начались, как только на экране с задачей представляется и закончился, когда объект перешел к следующей задаче. Карандаш, бумага и калькулятор были предоставлены расчеты, хотя никто не использовал калькулятора; подсчеты только целые того. Ответы, как правило, короткий, из нескольких букв до 20 символов. В конце каждого блока, предмет был информирован о том, что часы уже не сроки их работы, и что они должны взять небольшой перерыв. Большинство же.

Пространственной визуализации испытаний была последняя задача каждого субъекта завершена. Это испытание осуществляется в бумаги и карандаш формате и требует 10 минут.

Данные анализа. Проблемное время была проанализирована с 3-путь ANCOVA. 3 независимых переменных были представления (таблицы, карты), географического отношения (смежности, близости, локализации) и задача сложности (низкий, средний, высокий). Коварьировать был пространственной визуализации. Поскольку эффект коварьировать не было статистически значимым, он был исключен и анализ повторно в качестве 3-путь ANOVA и в 3-два пути ANOVAs. Последние три испытания, предназначенный для оценки последствий представления и трудности в каждой из трех географических отношений.

Проблемное раз для всех испытаний, были включены в ANOVAs, несмотря на 8,2% судебных процессов производства неправильные ответы. Это неправильное включение исследований заслуживает объяснения. Во-первых, испытуемые указание быть как можно более точным, положив точности над временем. Во-вторых, 16 из 38 субъектов сделано без ошибок, о том, что инструкции были достаточно успешными. Тем не менее, 22 испытуемых сделать между 1 и 9 ошибок (из 18 задач), при этом средний показатель только две ошибки. В идеале, мы должны мерой измерения производительности, который объединяет время и ошибки, но это не представляется возможным по одной важной причине. Каждый субъект завершен лишь один судебный процесс в состояние, поэтому мера ошибок является номинальной переменной, которая не может быть объединена с решения проблем времени, отношение величины. Кроме того, мы не можем использовать ошибки только для оценки результатов работы, так как статистические данные доступны для использования на номинальной переменных, как правило, хи-квадрат испытаний, не позволяют тестирование основных и эффекты взаимодействия, как мы должны делать. Проблемное время, то это наш лучший показатель эффективности. Тем не менее, процент ошибок сообщается для полноты картины.

Решение проблем с точностью проанализированы четыре отдельных ANOVAs. Первый сравнению таблиц и карт по общим ставкам ошибку, и второй по сравнению три уровня сложности на процент ошибок. Последнее 3 соответствует 3 географического отношения, в которых для каждого географического отношения проверяется на ошибки номера отличаются представительства.

РЕЗУЛЬТАТЫ

Воздействие географических отношений

3-способ ANOVA доставлены ожидаемых результатов по вопросу о последствиях представления и задача трудом. Все, карты производится быстрее решения проблем, чем таблицы (см. табл 6а: F (1,37) = 34,7, р

Воздействие Целевой сложности

H2: Более сложные задачи, что потребует дополнительного времени.

Более сложные задачи заняло больше времени, чем сделал менее сложные задачи (F (2,74) = 60,6, р

Воздействие Представительство х целевой сложности

2-способ ANOVA (см. табл 7а) от близости концепции подтвердил последствий представления и задача трудом, но обнаружили интересный эффект взаимодействия. Проблемное раз с картой были значительно короче, чем таблицы (F (1,37) = 52,711, р

2-способ ANOVA по смежности концепция результаты, аналогичные по близости концепции. Проблемное раз с картой были значительно короче, чем таблицы (F (1,37) = 4,8, р =. 034), а также решения проблем раза увеличилось значительно с большим трудом (F (2,74) = 25,3, шт 0,0005). Вновь было значимое взаимодействие между трудность задачи и представительство; как трудность увеличилась от низкого до среднего до высокого, решение проблем раза увеличилась более быстрыми темпами, чем табличное представление для отображения (F (2,74) = 6,0, р =. 004). Это значимое взаимодействие также поддерживает гипотезу H3 и можно увидеть на рис 7B. (В таблице ANOVA появляется в таблице 8а, и описательная статистика приведены в таблице 8b.)

Третий путь-2 ANOVA по сдерживанию концепции показали иную картину результатов, в пользу ни стола, ни карта представительства и без каких-либо эффект взаимодействия между представительством и сложности. Проблемное раз с карты ничем не отличаются, чем таблицы (F (1,37) = 0,9, р =. 36), хотя problemsolving раз снова значительно возросли с трудом (F (2,74) = 25,0, шт. 0005). Существовал не оказывает существенного влияния взаимодействия между представительством и сложности (F (2,74) = 0,4, р =. 701). Эти результаты не дают поддержку гипотезы 3 и можно увидеть наглядно на рисунке 7, c. (В таблице ANOVA появляется в таблице 9a, и описательная статистика приведены в таблице 9 b.)

Ошибка номера не существенно отличаются в разных представления (F (1,37) = 2,689, р =. 11), в котором карта ошибка ставки 7,0%, а ставки таблице ошибка была 9,4%. Аналогичный анализ ошибки ценах на представление для каждого из трех географических связей были также проведены, уступая никаких различий в ошибке ставок. Тем не менее, процент ошибок сделал существенно отличаются в разных задач трудности (F (2,74) = 11,271, р

Ошибка номера в географическом отношениях, но через представительства и задачи трудности не могут быть проанализированы с ANOVA, как не было никакой возможности агрегирования ошибок в данных. Вместо этого, мы приводим цифры 9a, б, в, которые показывают, процент ошибок так же цифры 7, б, в шоу решения проблем раза. Визуальное сходство между 7 и 9 следует, что процент ошибок согласуются с гипотезой H3 для близости и смежности географического отношения.

Влияние пространственной визуализации

Ожидается соотношения пространственной визуализации с мерами по решению проблем не смогла явиться в ANCOVA. В результате Гипотеза H4, была отклонена.

ОБСУЖДЕНИЕ

Наше обсуждение результатов следует надевать колпачки на четыре гипотезы здесь:

H2: Более сложные задачи, что потребует дополнительного времени.

H3: Для каждого географического отношения с увеличением трудности задачи, карты приведет к меньшим увеличением в решении проблем времени по сравнению с таблицами.

H1: Карты приведет к более коротким решения проблем времени, чем таблицы. Эта гипотеза получила поддержку, хотя и руководящие принципы Tufte (1983, 1990) и Кливленд (1985), противоречит этих результатов. Обе теории когнитивного Fit (Весси, 1991) и близость принцип совместимости (Wickens, 1992; Викенс и др.., 1994; Викенс

H2: Более сложные задачи, что потребует дополнительного времени. Эта гипотеза также было поддержано. Наш простой анализ задачи показал, что низкий уровень задач, трудности с 2 подзадачи будут решаться гораздо быстрее, чем средние или высокие задачи, трудности, с 3 и 4 подзадачи, соответственно. Третья гипотеза дает более интересный тест эффектов взаимодействия представления информации и задачи трудом.

H3: Для каждого географического отношения, с увеличением трудности задачи, карты приведет к меньшим увеличением в решении проблем времени по сравнению с таблицами. Эта гипотеза была поддержана в течение двух из трех географических отношения смежности и близости. Кроме того, неподалеку принцип совместимости (Викенс, 1992) предсказал такой результат, как показано в таблице 2; третий географического отношения, он предсказал, возможно, не дают разницу в производительности для карт и таблиц. История на этом не заканчивается, однако.

H4: (Это повторение следует наше обсуждение состояния знаний.)

Введение к знаниям государств

При ближайшем рассмотрении, мы обнаружили, что рассмотрение число состояния знаний для выполнения каждой задачи помогает объяснить решение проблем раза. Такой подход измеряет количество альтернатив, которые могли бы быть оценены решать проблемы при поиске правильного ответа. Таким образом, чем больше государств знаний, тем выше сложность проблем и больше времени решения. Понятие знания государств является одним из трех компонентов проблемы пространства первого определяется Ньюэлл и Саймон (1972), а затем расширили по Card, Моран, и Ньюэлл (1983).

Следующий пример иллюстрирует концепцию знания, говорится:

требует, чтобы 10 букв A, B, D, E, G, L, N, O, R, T и заменить цифры 0, 1, ... 9, с тем чтобы проблемы того выше верно, то есть, D = 5 требует, чтобы T = 0 в правом столбце. Все остальные восемь письма также должны быть отнесены к уникальным цифры. Назначение цифры на письма, является одним из операторов, а также определения того, какие номера возможны письма (например, R должно быть нечетным) это совсем другое. Некоторые ограничения будут заложены в головоломку, например, T = D D. правильное состояние знания D = 5, T = 0, E = 9, ..., а число возможных состояний знаний 10! или 3628800. Намек обычно дается с этой проблемой, D = 5, сокращает число возможных состояний знаний 362880 и быстрый вывод, что T = 0 уменьшает его снова 40320. Такое большое количество знаний государства сводится, как решать проблемы использует эвристические и правила арифметики, чтобы присвоить цифры буквами.

В общем, карты позволяют решать проблемы, чтобы использовать визуальные эвристики для сокращения числа состояния знаний. По визуальной эвристики мы имеем в виду решения проблем ярлыки, которые полагаются на визуальный отношений и имеют тенденцию к продвижению решения проблем ближе к решению. Visual эвристики отличаются от алгоритмов, которые гарантированно обеспечивают правильное решение (Anderson, 1980). Таблицы как правило, не имеют эвристики, но рассчитывать на исчерпывающий алгоритмы, чтобы найти правильное решение из состояния знаний. В частности, задачи по смежности и близость географического отношения имеют эффективных эвристик, когда представлены в виде карт, хотя и задачи по сдерживанию географического отношения нет.

Подсчет знаний государств за три географических отношений

Для того, чтобы сравнить наши экспериментальные результаты с количеством состояния знаний в каждой задаче, действие состояния знаний не требуется. К сожалению, литература по знаний государств не содержится никаких указаний на перечисление, так как число психических состояний к проблеме отличается от решения проблем, чтобы решать проблемы и может быть правильно перечислили лишь через протокол анализа. Следовательно, действие состояния знаний с помощью объективных комбинации альтернативных перечисления решения и решения проблем эвристики для каждой задачи. Каждый приводится ниже.

Задачи географической смежности отношения требуют при условии пару районов для создания школьных округов. Использование карт, это сопряжение может быть сделано визуально очень быстро, эффективно "обрезки" ряд альтернативных решений. Ссылаясь на рисунке 4, сопряжение окрестностей использует визуальный эвристические, сопрягая свете окрестностей (с 1000 студентов) с темными районов (с 3000 студентов) или средний районов (с 2000 студентов каждая) друг с другом в форме районов с 4000 студентов. Число возможных комбинаций 3 (см. таблицу 10 результатов).

Тем не менее, найти решение с помощью таблицы требует поиска по всем парам, каждая из которых мы определяем как состояние знаний, оценки всех соседних пар. Обращаясь к таблице 3, эвристический используется для перемещения линейно сверху вниз, строка за строкой. Таким образом, решать проблемы сначала оценивает районе (с 1000 студентов) с окрестностями C, затем D, потом с F и вниз к следующей строке. Первое состояние знаний начинается с пары AC, кроме этой пары не содержит школу, так что это тупик. Второе состояние знаний начинается с пары Д., который не содержать школы. Тем не менее, оно содержит в общей сложности 3000 студентов, поэтому он тоже ведет в тупик. Третий знаний содержит успешного спаривания: AF, в котором содержится 4000 студентов. Этот процесс продолжается до тех пор успешное решение было выявлено. Решатель будет оценивать не все возможные состояния знания, но, в среднем, около половины из смежных пар. (Точнее, среднее число оценок будет одна половина возможных пар плюс 0,5. Так, например, предположить Есть два возможных пар. Предположим, что в половине субъектов найти правильное сопряжение с первой попытки, то другая половина будет найти со второй попытки.

Задачи географической близости отношений требуют тему, чтобы найти кратчайший путь, соединяющий все места, в то время начала и окончания в том же месте. Это вариант классического "Путешествия Продавец" проблему. Решение этой проблемы с картой использует мощный визуальный эвристический: создание цикла, который затрагивает все точки (места). По карте на рисунке 5, этот цикл будет СМ, чтобы на D-С с B к С.М., или наоборот (см. Таблицу 11 результатов).

Решение же проблемы близости со столом намного сложнее. Единственный способ гарантировать правильный ответ для получения всех возможных путей и измерить расстояние в каждой из них. Состояния знаний для выполнения этой задачи с четырьмя остановками в таблице 4, например, содержит 24 возможных путей. Кроме того, знание состояния аналогичную задачу с тремя остановками содержит 6 дорожек, в то время как состояния знаний для выполнения этой задачи с двумя остановками содержит только два пути. В среднем, однако, решать проблемы попытается половины этого числа, поскольку Есть два симметричных правильные решения, и с правильным решением было уделено этому вопросу (см. таблицу 11 результатов).

И наконец, задачи по сдерживанию географического отношения требуют при условии выбора регионов, которые содержат определенные ресурсы, а розничный торговец может делать при оценке альтернативных площадок для нового магазина (рис. 6 и в таблице 5 для образца представления для сдерживания задач).

Решения проблем эвристический включает в себя оценку каждому варианту сайта и включения его в ответ, если он соответствует или превышает установленных критериев. Например, "Найти все регионы, в которых содержится аэропорта или порта, а также содержать поле для гольфа". Такой подход в равной мере трудно либо представление (карта или таблица) и увеличивается в затруднение линейно с количеством альтернативных сайтов. Слабые визуальные эвристический доступна карта позволяет пользователям искать предметы для групп ресурсов (например, озер, хлеб пояс, горного округа), чтобы визуально месте перспективных участков. Прирост производительности, однако, невелика. Поскольку в эксперименте испытуемых сообщили быть точным, они, видимо, проигнорировали эту визуального эвристического и искали регионов исчерпывающим образом. В результате, не было различия между исполнения представлений.

Знание государства и решения проблем Times

Теперь мы готовы обобщить наше обсуждение состояния знаний путем сравнения количества знаний государства с решения проблем раза. Число состояния знаний для выполнения каждой задачи объясняет решение проблем раз очень хорошо. Это соответствие можно увидеть на рисунках 10, б, в, которые сочетают в себе информации о знаниях государств (из Таблицы 10 и 11), решение проблем раза (с цифры 7, б, в). На рисунке Юа, которая показывает результаты по близости концепции, среднее количество знаний государств рассмотрели на табличное представление резко возрастает вместе с ней растет решения проблем времени. По карте представление, однако, среднее количество знаний государств рассмотрели остается постоянным; problemsolving увеличивает время незначительно, вероятно, из-за времени, необходимого для регистрации больше ответов.

Подобные параллели существуют смежности и локализации понятий в цифрах, б и локомотив. По мере увеличения знаний государства, решение проблем раза больше. В частности, карта раз и заявляет, карта знаний на рисунке, б как увеличиваться, так примерно с одинаковой скоростью. Тем не менее, пары линий времени и знаний государств не совпадают полностью, и они не должны. Анализ одного государства знаний для выполнения различных задач требуется разное количество времени, и только форма и направление две линии имеет важное значение, от регрессии точки зрения.

Эти результаты об эффективности карты также противоречит (1985) оценка Кливленда карт с затенением, как неэффективное представление. оценки Кливленда бы предсказать, что карты являются бедными представления для решения смежности (округов) задачи в цифрах 4 и в таблице 3. Может быть, карты теоретически "неэффективных" на представления информации, но и для решения этой конкретной задачи они позволяют использовать визуальный эвристики обрезать состояния знаний и так стало более эффективным, чем таблицы для решения проблем задач.

Тем не менее, решение проблем времени возрастает более медленно, чем карты для таблиц, когда визуальный эвристики для картографических задач, чтобы количество знаний состояний мала. Это замедление роста в решении проблем раз подтверждается, в частности, для выполнения задач по близости и смежности географического отношения. Это означает, что если решения проблем сталкивается с низкой трудность задачи, то представление не имеет значения. Однако, если сталкивается с трудной задачей, то карту как правило, будет лучшим выбором, но, безусловно, будет не хуже, чем таблицы. К сожалению, это правило не выполняется для выполнения задач по сдерживанию географического отношения, в которых производительность стол несколько лучше, чем производительность с картой.

Несоблюдение пространственной визуализации для прогнозирования эффективности

H4: Лица с высоким пространственным возможность визуализации потребует меньше времени, чем предметы с более низкими пространственные способности визуализации. Пространственная способность визуализации не смог предсказать решения проблем времени. Мы полагаем, что этот тест когнитивных навыков, пожалуй, лучше подходит для навигационных задач, таких как поиск пути 1 через сложную иерархию меню или запоминать позицию в длинном документе. Хотя карты были использованы в настоящей работе, они не были использованы для целей навигации и поэтому производительность напрямую не связана с пространственной возможность визуализации.

ВЫВОДЫ

Эта работа, сопоставления результатов с карт и таблиц, может быть подвергнут критике за не начала исследования путь, который основывается на самых элементарных заданий. Работы Тан и Benbasat (1990, 1993) преследовал такой путь, когда они по сравнению точка, линия, и гистограммы. К счастью, Кливленд (1985) заложил основы для нас через его обширной работы по сопоставлению нескольких типов графиков. (См. Таблицу 1 по резюме.) Мы строим на его работы, начиная с наших исследований на следующий логический уровень, и якорь нашего исследования чуть ближе к практикующим-путем изучения задач, для которых карты широко используются в коммерческих учреждениях, таких как маршрутизация , территория заданий, и выбор.

Это исследование дает три важный вклад в изучение представления информации. Фуст, он строго проверяет карты в качестве представления информации. Он делает это не с помощью простого сравнения карт по сравнению с таблицами, но, манипулируя задачи трудности, географического отношения, а отдельные пространственные способности. Методов и разработка последующих обширные работы по сопоставлению карт и таблиц, способы представления информации.

Во-вторых, эта работа представляет состояния знаний в качестве меры задача трудом. Задачи, не обязательно является более сложной, поскольку дополнительная информация настоящее Вместо задачи более сложно, если больше государств знания должны быть рассмотрены. Анализ задач, в зависимости от количества знаний государств может оказаться продуктивным для понимания других областях задачи, включая сложные компьютерные интерфейсы (например, CAD / CAM и приборной доски) и объяснить противоречивые литературы на графах таблицы против, если она выше уровень задач используются. Действительно, считая государств знания могут быть быстро эвристические оценки трудности задачи в целом. Тем не менее, важным фактором для нахождения простейших представление, чтобы увидеть, если это представление уменьшается количество знаний состояниями с помощью визуальных эвристики. Короче говоря, можно подрезать представление числа информационных состояний оценивать?

Наконец, эта работа помогает разработчиков систем поддержки принятия решений, предоставляя им руководящие принципы для использования карты в качестве представления информации. Карты являются эффективными для представления информации по решению проблем задач, так как они часто могут быть упрощены путем визуального эвристики. Кроме того, трудности задачи определяет представительство. Низкий сложности, задачи могут быть решены быстро, независимо от представления. Когда задачи становятся сложнее, они должны быть представлены с помощью карт держать решении проблем раз и ошибок с быстро возрастает. [В редакцию: 25 августа 1995. Принято редколлегией: 8 июля 1996.]

Ссылки

Андерсон, J. Р. (1980). Когнитивная психология и ее последствий. Сан - Франциско, штат Калифорния: Freeman и компании.

Benbasat И., Dexter, А. С.,

DeSanctis Г.

Данн, Р. (1988). Рамку прямоугольника диаграммы или статистические карты с затенением: эксперимент в графическом восприятия. Американская статистика, 42 (2), 123-129. Иган, Д. Е. (1988). Индивидуальные различия во взаимодействии человека с компьютером. В Helander М. (ред.), "Справочник по взаимодействию человека с компьютером. Нью-Йорк: NorthHolland, 543-568.

Egenhofer, М. J. (1991). Рассуждая о бинарных топологических отношений. В О. Гюнтер постоянного H.-J. Щека (Eds.) Достижения в области пространственных данных. Цюрих, Швейцария: Springer-Verlag, 143-160.

Экстром, Р. Б., французский, J. В.,

Гомес Л.М., Иган, DE, Уилер, Е. А., Шарма, DK,

Грин, С. Л., Гомес, Л. М.,

Хоадли, Э. Д. (1990). Исследование влияния цвета. Сообщения ACM, 33 (2), 120-125.

Губер, Г. П. (1983). Когнитивный стиль как основы для разработки MIS и DSS: много шума из ничего. Управление науки, 29 (5), 567-579.

Jarvenpaa, С. Л. (1989). Влияние задача требует и в графической форме на стратегии обработки информации. Управление науки, 35 (3), 285-303.

Jarvenpaa, С. Л.,

Кин, П. Г. В. (1981). Значение анализа: Обоснование системы поддержки принятия решений. MIS Quarterly, 5 (1), 1-16.

Лозе, Г. Л. (1994). Когнитивная модель для понимания графических восприятия. Человек-машинного взаимодействия, 8 (4), 353-388.

Ньюэлл А.,

Robey, D. (1983). Когнитивный стиль и дизайн DSS: комментарий на бумаге Хубера.

Управление науки, 29 (5), 580-582.

Tan, J. К. Х.,

Тейлор, Р. Н.,

Тонкин, Т. (1994). Бизнес географическую воздействия корпоративной Америки. Бизнес Geographics, 2 (2), 27-28.

Тафт, Е. (1983). Визуального отображения количественной информации. Cheshire, CT: Графика Press.

Тафт, Е. Р. (1990). Предусматривающей информации. Cheshire, CT: Графика Press. Umanath, Н. С., Scamell, Р. В.,

Весси, И. (1991). Когнитивная подходят: основанного на теории анализа графиков таблиц по сравнению с литературой. Решение наук, 22 (2), 219-240.

Висенте, К. J., Hayes, B. C.,

Wickens, C. D. (1992). Принцип близости совместимость: его психологические основы и ее актуальность для отображения дизайна. Технический отчет ARL-92/NASA92-3. Savoy, Иллинойс: Авиация Research Laboratory, авиационный институт, Университет штата Иллинойс в Урбана-Шампейн, 61874.

Викенс, К. Д., Мервин, Д. Х.,

Викенс, К. Д.,

Уиткин, корректор фар, Dyk, РБ, Паттерсон, HR, Гуденаф, DR,

Джон Б. Смелсер директора по информационным системам, чтение забавно, ООО, Фэрфилд, ИА 52556, адрес электронной почты: jsmelcer чтения-fun.com

Erran Кармель Kogod бизнес-колледжа Adm, Американский университет, Вашингтон, округ Колумбия, 200168044, адрес электронной почты: <a href="mailto:ecarmel@american.edu"> ecarmel@american.edu </ A>

Джон Смелсер является директором информационных систем управления на чтение в Fun LTD. в Фэрфилд, НМА. Он получил докторскую степень из Мичиганского университета и его MBA и BS из университета штата Иллинойс. Его исследования появилась в человеческий фактор, Международный журнал по правам компьютерного взаимодействия, а также Международный журнал по правам компьютерных исследований. Его текущие интересы в области дизайна пользовательского интерфейса, реинжиниринга бизнес-процессов, а также IS производительности.

Erran Кармель является доцент кафедры управления информационными технологиями в Kogod Колледж делового администрирования в Американском университете в Вашингтоне, округ Колумбия. Он получил докторскую степень из Университета штата Аризона, диплом МВА в Лос-Анджелесе, и Б. из Университета Калифорнии - Беркли. Его исследования в области человеческого фактора была опубликована в журнале информационных систем управления и системы IEEE де Мана кибернетики. В настоящее время учится конкурентные факторы в развитии "коробочных" продуктов, которые появились в ряде журналов, включая Сообщения ACM, журнал продуктов инновационного менеджмента, IEEE Transactions по технике управления и информационного общества.

НАУКА - статьи, новости, рефераты, переводы

эффективности различных представлений для решения задач управленческого: Сравнение таблиц и карт,