Глава 1. Введение в человеко-ориентированный ИИ (HCAI)
Почему недостаточно просто «разработать ИИ»
На протяжении многих десятилетий развитие искусственного интеллекта рассматривалось в первую очередь как инженерная задача. Исследования концентрировались на алгоритмах, моделях, вычислительной эффективности, способности систем к обучению и обобщению. Главной метрикой «успеха» считалась точность модели, измеряемая на тестовой выборке. В рамках такой парадигмы предполагалось, что если система демонстрирует высокий уровень точности или классификационной силы, то она по определению полезна, применима и эффективна. Однако с развитием практического применения ИИ, особенно в пользовательских и социально чувствительных сферах — от медицины до образования и социальных сетей — стало очевидно, что алгоритмическая эффективность не гарантирует качество взаимодействия с человеком.
Иными словами, разработать работающий ИИ — это необходимое, но не достаточное условие создания полезной, безопасной и этичной интеллектуальной системы.
I. Алгоритмическая корректность ≠ пользовательская приемлемость
Интеллектуальная система может формально выполнять задачу, но оставаться для пользователя:
— непонятной — её поведение будет казаться случайным или не поддающимся объяснению;
— непредсказуемой — человек не сможет интерпретировать, когда и как сработает тот или иной механизм;
— неконтролируемой — пользователь не ощущает возможности влиять на результат или отменить решение;
— неприемлемой — модель может воспроизводить или усиливать дискриминационные паттерны, даже если это отражает «реальные» данные.
Типичный пример — алгоритмы рекомендаций, применяемые в социальных сетях или маркетплейсах. Даже если они эффективно повышают engagement и кликабельность, пользователь может чувствовать тревожность, потерю контроля, снижение автономии принятия решений, что приводит к эмоциональному выгоранию и цифровому отторжению.
II. Проблема ментальной модели и когнитивного разрыва
Одной из важнейших проблем взаимодействия человека с ИИ является несоответствие между реальной логикой работы модели и ментальной моделью пользователя — то есть тем, как человек думает, что система работает. Если пользователь не может предсказать поведение системы или объяснить себе её действия, возникает ощущение хаоса и фрустрации. Такое состояние известно в когнитивной психологии как когнитивный разрыв (cognitive dissonance или breakdown of sensemaking).
Когнитивные модели взаимодействия, начиная с концепций Дональда Нормана (Norman, 1986), подчеркивают важность предсказуемости и объяснимости интерфейсов. Когда же в системе действует обучаемая модель, поведение которой зависит от скрытых признаков, распределений и вероятностных предсказаний, пользователь оказывается в ситуации, где интерфейс видим, а логика — нет.
Таким образом, ИИ может функционировать «правильно» по техническим критериям, но быть непригодным для реального пользователя без поддержки когнитивной прозрачности.
III. Игнорирование этики, эмоций и восприятия
Системы, разработанные без учёта эмоциональных реакций, поведенческих паттернов, социальной справедливости или культурных особенностей, могут приводить к последствиям, несовместимым с этическими и правовыми нормами.
Так, система автоматического распределения социальных пособий, внедрённая в Нидерландах в 2019 году, использовала ИИ для прогнозирования вероятности мошенничества на основе демографических и поведенческих признаков. Модель была «эффективна», но нарушала принцип справедливости, поскольку дискриминировала по происхождению, району проживания и типу семьи. В итоге программа была отменена, а правительство принесло официальные извинения.
Этот кейс наглядно показывает, что формально корректная работа ИИ может нарушать базовые принципы прав человека, если не учитывать контекст взаимодействия, восприятие пользователя и социальную ответственность.
IV. Автоматизация без дизайна взаимодействия = потеря контроля
Во многих системах с ИИ наблюдается тенденция к «скрытой автоматизации» — то есть переходу от явно управляемых пользователем интерфейсов к системам, в которых алгоритмы принимают решения автономно и без объяснений. Такие интерфейсы уменьшают участие человека, но одновременно снижают доверие и разрушают пользовательскую агентность — ощущение, что человек способен действовать осознанно и по собственной инициативе.
Иными словами, автоматизация без сопровождения объяснений, обратной связи, возможности редактирования или отмены приводит к ощущению отчуждённости: пользователь становится пассивным наблюдателем, а не участником процесса.
V. Неразвитость UX-слоя в AI-системах как системная проблема
Большинство ИИ-платформ разрабатываются техническими командами, сфокусированными на точности моделей и производительности. В результате:
UX-дизайн внедряется на финальных этапах, в виде интерфейсной «обёртки»;
Обратная связь от пользователя не включена в петлю обучения модели;
Оценка качества ограничивается метриками (F1, precision, recall), не учитывающими восприятие и интерпретируемость;
Поведенческая аналитика воспринимается как второстепенная.
Это приводит к парадоксам: технологически сложные системы оказываются недоступными, тревожными или неприемлемыми для пользователей. Даже при наличии ресурсоёмких архитектур, дорогостоящих моделей и технической реализации, продукт может провалиться из-за отсутствия понимания человеческого фактора.
Сегодняшний этап развития ИИ требует не только прорывов в моделировании, но и переноса центра внимания с алгоритма на взаимодействие. Human-Centered AI (HCAI) предлагает фундаментальный сдвиг:
— от архитектур к контексту использования,
— от точности к объяснимости,
— от автономии к контролю,
— от поведения машины к переживанию человека.
Это не отказ от ИИ, а интеграция его возможностей в структуру человеческой деятельности — осмысленно, прозрачно и безопасно. Только при таком подходе интеллектуальные технологии смогут не просто работать, а быть принятыми, понятными и полезными в повседневной жизни.
Нарушенное доверие как следствие ошибок взаимодействия
Один из фундаментальных ресурсов, на которых строится успешное использование интеллектуальных систем, — это доверие пользователя. В отличие от традиционных программных продуктов, в которых поведение системы строго детерминировано и предсказуемо, искусственный интеллект действует в условиях неопределённости: он обучается на данных, принимает вероятностные решения, и его поведение может меняться в зависимости от контекста, новых входных данных или даже обновлений модели. Это делает взаимодействие с ИИ принципиально более хрупким: как только пользователь сталкивается с решением, которое он не может объяснить, обоснованно интерпретировать или предсказать, он начинает терять уверенность в системе.
Доверие формируется не на основании технической корректности, а через восприятие. Пользователь ожидает, что система будет действовать понятно, справедливо, логично и — при необходимости — под его контролем. Когда интерфейс не объясняет, почему была сделана та или иная рекомендация, или когда система действует вопреки ожиданиям пользователя, происходит нарушение ментальной модели взаимодействия. Человек ощущает, что ИИ ведёт себя «сам по себе», игнорирует его намерения и контекст. Это приводит к тому, что система воспринимается как неконтролируемая, а в ряде случаев — как враждебная.
Типичный пример — рекомендательные алгоритмы. Пользователь заходит в приложение, чтобы получить один тип контента, а система на основе истории поведения начинает навязчиво продвигать другую тему. С точки зрения модели — всё логично: вероятностный прогноз построен, система «учится». Но для человека это выглядит как вторжение или непонятное навязывание. Возникает ощущение: «меня не слышат», «мне не объясняют», «я не понимаю, что происходит». Даже при технически корректной работе модели теряется ощущение безопасности и управляемости — критически важные элементы доверия.
Особое внимание заслуживает поведение систем в ситуациях с высоким уровнем stakes — когда от решения зависят здоровье, финансы или личная информация. Например, если медицинская ИИ-система предлагает план лечения, не сопровождая это объяснением, пациент или врач могут отказаться от её использования. Точно так же, если финансовый алгоритм отклоняет заявку на кредит без понятного комментария, клиент будет воспринимать это как произвол. Даже если система действует в рамках правил, отсутствие объяснения делает её неприемлемой.
Интересно, что пользователи в этих случаях не обязательно требуют полного понимания внутренней логики модели. Глубокие технические детали — как правило, неинтересны или недоступны неспециалисту. Но крайне важно, чтобы система предоставляла понятные, когнитивно интерпретируемые объяснения — метафоры, аналогии, причинно-следственные связи, визуализации — позволяющие выстроить ментальную модель происходящего.
Потеря доверия часто проявляется не в явных жалобах, а в поведенческой реакции: снижении вовлечённости, отказе от функций, переключении на альтернативы. В долгосрочной перспективе это подрывает саму идею использования ИИ как вспомогательной технологии. Люди перестают ощущать, что ИИ работает с ними — и начинают воспринимать его как автономный, отчуждённый, непонятный элемент в системе.
Проблема ещё более усугубляется тем, что большинство UX-проектов с ИИ по-прежнему сосредоточены на дизайне визуальных слоёв, а не на когнитивной структуре доверия. Интерфейс может быть стилистически современным, но не предоставлять ничего для построения надёжной модели взаимодействия. В результате, система, вложенная в современный UI, может оставаться «чёрным ящиком» в глазах пользователя.
Это приводит нас к необходимости переосмысления роли UX в ИИ: не как оболочки, а как архитектуры объяснения, поддержки, управления и диалога. Именно этот переход и задаёт основное направление Human-Centered AI.
Понятия HCI и HCAI: история и различия
Human-Computer Interaction (HCI) — это область, изучающая проектирование, реализацию и оценку взаимодействия между людьми и компьютерными системами. Термин появился в 1980-х годах на стыке когнитивной психологии, эргономики и инженерии интерфейсов, когда стало очевидно, что эффективность цифровых систем зависит не только от их вычислительных характеристик, но и от того, насколько хорошо они соотносятся с ментальными, сенсорными и моторными возможностями пользователя.
На ранних этапах HCI фокусировалась на юзабилити (usability): понятности, простоте, скорости выполнения задач. Однако с 2000-х годов область стала включать в себя также эмоциональные, поведенческие и контекстные аспекты взаимодействия, превратившись в мультидисциплинарное поле, включающее элементы психологии, лингвистики, дизайна, информатики и социальной теории.
Современное определение HCI можно сформулировать следующим образом:
Human-Computer Interaction — это исследование и практика проектирования технологий, которые адаптированы к возможностям, потребностям и ограничениям человека, с целью обеспечения эффективного, осмысленного и безопасного взаимодействия.
Важным в этом определении является акцент на человеке как активном участнике, а не просто пользователе. Поведение, ожидания, навыки и контекст использования становятся не побочными факторами, а центральными точками проектирования.
Переход к HCAI: от взаимодействия к ответственности
Появление искусственного интеллекта как активного компонента взаимодействия привело к необходимости расширить рамки HCI. Когда система начинает самостоятельно адаптироваться, обучаться на пользовательских данных и предлагать решения, возникает новая степень сложности: взаимодействие приобретает черты социального, неопределённого и потенциально автономного поведения. В этом контексте взаимодействие перестаёт быть только вопросом интерфейса — оно становится вопросом влияния, доверия, прозрачности и справедливости.
Так появляется направление Human-Centered AI (HCAI) — ответ на вызов: как сделать ИИ не просто функциональным, а понятным, полезным и этически допустимым для человека. В отличие от HCI, где взаимодействие строится с детерминированной системой, HCAI работает с системами, поведение которых изменчиво, вероятностно и не всегда поддаётся контролю извне.
В этом смысле, HCAI — это не просто «интерфейс для ИИ», а архитектура взаимодействия, где ИИ встроен в жизненный, социальный и поведенческий контекст человека.
Классическая модель взаимодействия: цикл Нормана
Один из самых влиятельных вкладов в HCI — модель взаимодействия, предложенная Дональдом Норманом (D. Norman, The Design of Everyday Things, 1988). Эта модель объясняет когнитивную структуру взаимодействия между человеком и системой, разбивая её на логические стадии, которые проходят в голове пользователя при выполнении задачи.
Норман выделяет два ключевых цикла:
Гульфа исполнения (Gulf of Execution) — разрыв между намерением пользователя и тем, как это реализуется в системе;
Гульфа оценки (Gulf of Evaluation) — разрыв между тем, что система делает, и тем, как пользователь это воспринимает.
На практике модель описывается как семишаговая когнитивная петля:
1. Формирование цели — что пользователь хочет достичь
2. Формирование намерения — какой план действия нужен
3. Определение последовательности действий — что нажать, выбрать
4. Физическое выполнение действия — ввод, клик, жест
5. Наблюдение за результатами — система выдаёт ответ
6. Интерпретация вывода — что это значит?
7. Оценка состояния системы — всё ли пошло по плану?
Эта модель применима и к простым интерфейсам (например, банкомат), и к сложным ИИ-системам. Однако в случае с ИИ добавляется новая проблема: система может менять поведение в зависимости от данных, адаптироваться, принимать решения автономно. Это означает, что даже при чётком исполнении команды результат может отличаться от ожидаемого, а этапы 5–7 (наблюдение, интерпретация, оценка) становятся ключевыми точками возможного срыва доверия.
Актуальность модели Нормана в эпоху ИИ
В контексте HCAI модель Нормана приобретает новое измерение. Её важность возрастает, потому что именно на стадии оценки поведения ИИ пользователь сталкивается с трудностью: результат может быть корректным математически, но не соответствовать ментальной модели. Это требует от системы не просто интерфейса, а активного участия в объяснении логики своих действий — например, через визуализацию причин, акцентов, уверенности, альтернатив.
