06 — Человек в системе

Постраничное техническое извлечение. Текст источника сохранён в блоках; это не редакционный пересказ. Таблицы, порядок чтения схем и изображения требуют сверки с PDF.

6. Человек в системе: от контролёра к владельцу способа мышления                                    Paper Planes




6. Человек в системе:
от контролёра
к владельцу способа
мышления




06
Компания, способная работать с ИИ
                                                        Почти любая концепция ответственного
                                                        применения искусственного интеллекта заканчивается
                                                        требованием сохранить человека внутри
                                                        контура — Human-in-the-loop (HITL).



                                                                                                             84

Глава 6                                                                                                    Paper Planes




Человек участвует на всех
уровнях

          1            Владелец результата



          2            Владелец метода



          3            Владелец решения



          4            Контролёр границ



          5            Учитель системы



                       Ответственность нельзя
                       автоматизировать

Схема по тексту: Глава 6. Геометрия показывает связи и последовательность, а не количественные значения.

Компания, способная работать с ИИ                                                                                  85

6. Человек в системе: от контролёра к владельцу способа мышления                            Paper Planes




HITL означает, что в процессе заранее определены точки участия человека: где он проверяет
основания, выбирает вариант, разрешает действие или останавливает исполнение.
Для каждой такой точки нужны ответственный, доступная ему информация, критерии решения
и полномочия вмешаться.
Обычно под этим понимается простая конструкция: машина выполняет работу, человек проверяет
результат и нажимает кнопку подтверждения.
Такой подход необходим, но недостаточен.
Если человек видит только финальный ответ, не понимает использованный метод и не располагает
исходными данными, его проверка становится ритуальной. Чем убедительнее выглядит результат,
тем выше вероятность автоматического согласия. После нескольких десятков корректных ответов
внимание ослабевает, и человек перестаёт быть реальным контролёром.
Кроме того, финальная проверка не отвечает на более важные вопросы:
    кто выбрал способ решения;
    кто установил критерии;
    откуда появились правила;
    кто определил границы допустимого действия;
    кто решает, чему система должна научиться после ошибки;
    кто несёт ответственность за последствия.

Поэтому роль человека должна быть встроена не только в конец процесса. Она распределяется
по всему жизненному циклу ИИ-контура.
Человек является:
    владельцем цели;
    носителем метода;
    источником профессионального суждения;
    архитектором ограничений;
    владельцем окончательного решения;
    учителем развивающейся системы;
    ответственным за последствия.




Компания, способная работать с ИИ                                                                   86

6. Человек в системе: от контролёра к владельцу способа мышления                                   Paper Planes




6.1. Почему финального контроля
недостаточно
Представим, что система подготовила финансовую модель, коммерческое предложение
или рекомендацию по найму. Ответственный сотрудник должен проверить результат.
Чтобы проверка была содержательной, ему необходимо понимать:
    какие данные использовались;
    каких данных не хватило;
    какие допущения были сделаны;
    какая методология применялась;
    какие альтернативы рассматривались;
    какие правила повлияли на вывод;
    где система испытывала неопределённость.

Если она показывает только готовый результат, человек проверяет преимущественно его правдоподобие.
Но правдоподобие — одно из сильнейших свойств языковых моделей. Они способны связно
представить и правильное, и ошибочное рассуждение.
Поэтому человеческий контроль должен быть обеспечен архитектурно.
Система обязана показывать не внутреннюю «цепочку мыслей» модели, а проверяемые основания:
    входные данные;
    источники;
    формулы;
    применённые правила;
    промежуточные артефакты;
    диапазоны;
    допущения;
    обнаруженные противоречия;
    уровень уверенности;
    причины остановки или эскалации.

Задача человека — не угадать, ошиблась ли машина, а проверить те элементы, из которых был собран результат.




Компания, способная работать с ИИ                                                                          87

6. Человек в системе: от контролёра к владельцу способа мышления                        Paper Planes




6.2. Пять ролей человека
Роль 1. Владелец результата
Человек определяет, зачем выполняется работа и какое изменение должно произойти.
ИИ способен оптимизировать поставленный показатель, но не должен самостоятельно решать,
является ли этот показатель достаточным выражением цели.
Например, сокращение времени ответа клиенту может ухудшить качество решения. Рост
количества коммерческих предложений может снизить их релевантность. Ускорение найма может
увеличить стоимость ошибок подбора.
Владелец результата отвечает за связь между локальной эффективностью и интересами всей системы.

Роль 2. Владелец метода
Он определяет, как организация решает данный класс задач.
Владелец метода:
    выбирает модели;
    устанавливает определения;
    задаёт последовательность анализа;
    определяет требования к данным;
    описывает исключения;
    устанавливает критерии качества;
    утверждает изменения.

Эту роль не всегда выполняет руководитель процесса. Метод может принадлежать функциональному
эксперту, методологу или профессиональному сообществу внутри компании.
Главное — метод не должен возникать стихийно внутри каждой новой сессии с ИИ.

Роль 3. Владелец решения
В задачах с несколькими допустимыми ответами система готовит основания и варианты,
а человек выбирает действие.
Владелец решения должен иметь:
    необходимые полномочия;
    доступ к контексту;
    понимание последствий;
    возможность отклонить рекомендацию;
    обязанность зафиксировать основание выбора.

Фиксация основания особенно важна. Она позволяет позже установить, было ли решение
ошибочным из-за неправильных данных, слабой модели, изменения среды или обоснованного
риска, который не оправдался.




Компания, способная работать с ИИ                                                               88

6. Человек в системе: от контролёра к владельцу способа мышления                             Paper Planes




Роль 4. Контролёр границ
Человек определяет, где системе разрешено действовать самостоятельно.
Границы зависят от:
    природы задачи;
    цены ошибки;
    обратимости;
    чувствительности данных;
    зрелости навыка;
    качества контроля;
    компетенции пользователя.

Например, система может самостоятельно подготовить черновик документа, но не отправлять
его клиенту. Может обнаружить несоответствие полномочий, но не отзывать доступ без решения
ответственного лица. Может предложить изменение правила, но не публиковать новую версию.

Роль 5. Учитель системы
Каждая содержательная корректировка человека является потенциальным материалом для обучения.
Но роль учителя состоит не в бесконечном ручном исправлении результатов. Человек должен
определить, что именно необходимо изменить:
    ситуативный результат;
    правило;
    навык;
    модель;
    источник данных;
    проверку;
    область автономности;
    классификацию задачи.

Если исправление не попадает в систему, организация продолжает зависеть от личного внимания эксперта.




Компания, способная работать с ИИ                                                                    89

6. Человек в системе: от контролёра к владельцу способа мышления                       Paper Planes




6.3. Инструкция и когнитивная стратегия
Для воспроизводимой операции достаточно объяснить, что необходимо делать.
Для экспертной работы этого мало.
Два специалиста способны выполнить одинаковую последовательность действий и получить
результаты разного качества. Отличие состоит в том, как они:
    направляют внимание;
    интерпретируют данные;
    замечают противоречия;
    оценивают достоверность;
    выбирают между альтернативами;
    распознают исключения;
    определяют момент остановки.

Эту внутреннюю логику можно назвать когнитивной стратегией эксперта.

Инструкция отвечает:
    какие шаги выполнить;
    в какой последовательности;
    какие формы заполнить;
    какой результат вернуть.


Когнитивная стратегия отвечает:
    на что смотреть;
    что считать значимым;
    чему не доверять;
    с чем сравнивать;
    какие объяснения рассматривать;
    какое противоречие является критическим;
    при каких условиях нельзя продолжать;
    когда требуется другой эксперт.

Например, инструкция по интервью с клиентом может содержать перечень вопросов.
Когнитивная стратегия сильного интервьюера включает другое:
    различать названную проблему и реальное ограничение;
    замечать противоречие между словами и фактическим поведением;
    не принимать оценку клиента за подтверждённый факт;
    искать конкретный эпизод вместо общего мнения;
    отделять функциональную потребность от желаемого решения;
    отслеживать, кто действительно владеет результатом;
    проверять, конвертируется ли проблема в измеримый ущерб.

Именно когнитивная стратегия объясняет разницу между формально проведённым интервью
и извлечённым управленческим знанием.



Компания, способная работать с ИИ                                                              90

6. Человек в системе: от контролёра к владельцу способа мышления                      Paper Planes




6.4. Как извлекать способ мышления
эксперта
Прямой вопрос «как вы принимаете решение?» редко даёт полный ответ. Эксперт автоматизировал
значительную часть рассуждений и может описать результат, но не путь к нему.
Поэтому метод необходимо восстанавливать по реальным случаям.

Шаг 1. Выбрать конкретный эпизод
Не обсуждать профессию вообще, а разобрать:
    принятое решение;
    сложную ситуацию;
    ошибку;
    исключение;
    спор между экспертами;
    случай, в котором стандартный подход не сработал.


Шаг 2. Восстановить последовательность внимания
    Что эксперт заметил первым?
    Какие данные запросил?
    Что счёл нерелевантным?
    В какой момент изменил первоначальную гипотезу?
    Какой сигнал оказался решающим?


Шаг 3. Выявить альтернативы
    Какие другие объяснения рассматривались?
    Почему они были отвергнуты?
    Что могло изменить выбор?
    В чём другой сильный эксперт мог бы не согласиться?


Шаг 4. Найти пороги и стоп-сигналы
    При каком условии нельзя продолжать?
    Когда данных достаточно?
    Как распознаётся чрезмерный риск?
    Когда требуется эскалация?
    Как выглядит недопустимый результат?




Компания, способная работать с ИИ                                                             91

6. Человек в системе: от контролёра к владельцу способа мышления                          Paper Planes




Шаг 5. Проверить переносимость
Извлечённую стратегию необходимо испытать на других случаях:
    типичном;
    пограничном;
    заведомом исключении;
    исторической ошибке;
    новом примере.

Только после этого её можно превращать в правило, scaffold или навык.



6.5. Scaffolding: поддержка рассуждения
Часть экспертной стратегии нельзя превратить в жёсткую инструкцию без потери качества.
В таких случаях используется scaffolding — система когнитивных опор, которая помогает человеку
выполнить задачу сильнее, не принимая решение вместо него.
Scaffold может выполнять несколько функций.

Ориентировать внимание
Он показывает, какие области нельзя упустить.
Например, при оценке проекта:
    стратегическая ценность;
    экономический эффект;
    потребность в дефицитном ресурсе;
    риски;
    обратимость;
    влияние на существующий портфель.


Структурировать анализ
Он задаёт форму сопоставления:
    альтернативные сценарии;
    дерево причин;
    карта заинтересованных сторон;
    диапазон допущений;
    матрица рисков;
    причинная цепочка.




Компания, способная работать с ИИ                                                                 92

6. Человек в системе: от контролёра к владельцу способа мышления                              Paper Planes




Вызывать сомнение
Сильный scaffold не только помогает прийти к ответу, но и мешает слишком рано принять удобную версию.
Он может спрашивать:
    какие данные противоречат выводу;
    что ещё способно объяснить наблюдение;
    на каком непроверенном допущении держится решение;
    какая группа участников увидит ситуацию иначе;
    что произойдёт, если ключевой фактор изменится.

Устанавливать границы
Scaffold напоминает:
    какие решения нельзя принимать самостоятельно;
    какие доказательства обязательны;
    где требуется дополнительный эксперт;
    какие последствия необходимо проверить;
    при каком уровне неопределённости работу следует остановить.


Поддерживать рефлексию
После решения он помогает разобрать:
    что оказалось верным;
    где рассуждение изменилось;
    какой сигнал был пропущен;
    какую часть метода следует уточнить;
    что можно передать другим сотрудникам.




6.6. Когнитивный экзоскелет, а не цифровой
протез
У ИИ есть два противоположных эффекта.
Он может повышать способность человека, помогая удерживать больший объём контекста,
использовать сильные модели и проверять собственные выводы.
Но он может и ослаблять способность, если человек перестаёт самостоятельно понимать метод
и привыкает принимать готовый ответ.
Разница определяется архитектурой использования.




Компания, способная работать с ИИ                                                                     93

6. Человек в системе: от контролёра к владельцу способа мышления                        Paper Planes




Цифровой протез
Система:
    скрывает способ получения результата;
    сразу выдаёт рекомендацию;
    не требует от пользователя сформулировать позицию;
    не показывает альтернативы;
    не позволяет проверить основания;
    постепенно вытесняет профессиональное рассуждение.


Когнитивный экзоскелет
Система:
    помогает человеку увидеть больше;
    поддерживает последовательность анализа;
    показывает противоречия;
    требует осознанного выбора;
    адаптирует степень поддержки к компетенции;
    оставляет пользователю понимание метода.

Экзоскелет усиливает движение человека. Протез заменяет функцию. Для одних
операций замещение оправданно. Для профессионального суждения оно
создаёт риск деградации компетенции.



6.7. Разный уровень поддержки для разных
сотрудников
Один и тот же ИИ-контур не должен одинаково взаимодействовать с новичком и экспертом.

Новичку необходимы:
    более подробная последовательность;
    объяснение терминов;
    примеры;
    обязательные проверки;
    частые точки подтверждения;
    ограниченный доступ;
    явные предупреждения;
    разбор результата.




Компания, способная работать с ИИ                                                               94

6. Человек в системе: от контролёра к владельцу способа мышления                         Paper Planes




Опытному сотруднику необходимы:
    быстрый доступ к моделям и данным;
    возможность менять ход анализа;
    работа с исключениями;
    сравнение альтернатив;
    фиксация нового метода;
    меньше обязательных промежуточных шагов.


Эксперту-методологу необходимы:
    доступ к правилам;
    история инцидентов;
    возможность изменять навыки;
    тестирование новых версий;
    анализ использования;
    управление распространением.

Таким образом, Harness должен учитывать не только роль, но и уровень подтверждённой компетенции.
Это не означает, что опытный сотрудник всегда получает больше автономии. В критической
операции количество проверок может быть одинаковым для всех. Но характер
интеллектуальной поддержки должен отличаться.




Компания, способная работать с ИИ                                                                95

6. Человек в системе: от контролёра к владельцу способа мышления                        Paper Planes




6.8. Человеческие шлюзы решения
Точка человеческого подтверждения должна появляться не в каждом шаге и не только в самом конце.
Она нужна там, где происходит переход:
    от факта к интерпретации;
    от анализа к выбору;
    от обратимого действия к необратимому;
    от внутреннего результата к внешней коммуникации;
    от рекомендации к изменению прав;
    от единичной корректировки к новому правилу;
    от пилота к промышленной эксплуатации.

Плохо спроектированный шлюз требует от человека нажать «подтвердить»,
не предоставляя достаточного контекста.
Хороший шлюз показывает:
    какое решение требуется;
    какие варианты доступны;
    на каких основаниях построена рекомендация;
    что неизвестно;
    каковы последствия каждого варианта;
    можно ли отменить действие;
    кто будет уведомлён;
    что система сделает после подтверждения.

Человек должен подтверждать решение, а не факт появления кнопки.




Компания, способная работать с ИИ                                                               96

6. Человек в системе: от контролёра к владельцу способа мышления                         Paper Planes




6.9. Ответственность нельзя
автоматизировать
Система может действовать автономно, но не может нести ответственность в организационном смысле.
Ответственность предполагает:
    полномочие;
    обязанность объяснить выбор;
    понимание последствий;
    возможность быть оспоренным;
    участие в исправлении ущерба;
    изменение будущего поведения.

Поэтому фраза «так решил ИИ» не является допустимым основанием управленческого действия.
Для каждого контура необходимо установить:
    владельца результата;
    владельца метода;
    владельца данных;
    владельца технологического компонента;
    лицо, утверждающее значимые изменения;
    лицо, принимающее решение при инциденте.

Один человек может совмещать несколько ролей, особенно на раннем этапе. Но сами
роли должны быть различены.



6.10. Основные человеческие риски
Автоматическое доверие
После серии удачных результатов человек перестаёт проверять основания.
Защита:
    выборочные независимые проверки;
    показ неопределённости;
    обязательная проверка критических факторов;
    периодическое сравнение с альтернативным методом.




Компания, способная работать с ИИ                                                                97

6. Человек в системе: от контролёра к владельцу способа мышления                       Paper Planes




Деградация компетенции
Если система постоянно выполняет профессиональную операцию, сотрудник утрачивает
способность сделать её самостоятельно.
Защита:
    сохранение обучения методу;
    периодические ручные задания;
    объяснение логики результата;
    участие сотрудников в разборе ошибок;
    ротация ролей исполнения и контроля.


Размывание ответственности
Участники начинают считать, что решение приняла машина, разработчик или владелец данных.
Защита:
    явное назначение владельца решения;
    журнал подтверждений;
    фиксация основания;
    запрет на внешнее действие без ответственного лица.


Скрытое усиление власти
Человек, контролирующий правила или корпоративный контекст, получает возможность незаметно
влиять на решения всей организации.
Защита:
    версионирование;
    прозрачность изменений;
    разграничение прав;
    независимая проверка;
    возможность оспаривания.


Тотальное наблюдение
Машиночитаемость превращается в оценку каждого действия сотрудника.
Защита:
    минимизация собираемых данных;
    ограничение целей использования;
    анализ процесса, а не только личности;
    понятные правила доступа;
    запрет скрытого профилирования.




Компания, способная работать с ИИ                                                              98

6. Человек в системе: от контролёра к владельцу способа мышления                      Paper Planes




6.11. Как меняется роль человека по мере
зрелости контура
На ранней стадии человек:
    подробно объясняет задачу;
    передаёт контекст;
    проверяет каждый шаг;
    исправляет ошибки;
    формирует правила.

После стабилизации он:
    контролирует исключения;
    проверяет выборку;
    анализирует инциденты;
    утверждает изменения;
    развивает метод.

В зрелом контуре человек смещается от исполнения к управлению способностью:
исполнитель → наставник → контролёр исключений → владелец метода → архитектор системы.
Однако этот переход не является необратимым.
Если меняется среда, появляется новый тип задачи или растёт число дефектов, уровень
автономности должен снижаться. Человек снова включается в исполнение, чтобы восстановить
причинность и пересобрать метод.
Зрелость определяется не минимальным участием человека, а способностью осознанно менять его
роль в зависимости от состояния системы.




Компания, способная работать с ИИ                                                             99

6. Человек в системе: от контролёра к владельцу способа мышления                   Paper Planes




6.12. Модель себя как отправная точка
Работа с персональным Harness начинается с построения модели пользователя.
Система должна постепенно понять:
    за какие результаты человек отвечает;
    какие методы использует;
    как принимает решения;
    каким источникам доверяет;
    что считает качеством;
    какие форматы предпочитает;
    какие ошибки не принимает;
    в каких ситуациях требует дополнительной проверки;
    какие полномочия готов передать машине;
    какие решения оставляет исключительно за собой.

Но модель человека не должна строиться незаметно и использоваться бесконтрольно.
Пользователь должен иметь возможность:
    видеть значимые правила;
    исправлять ошибочные предположения;
    разделять личные и корпоративные установки;
    запрещать использование отдельных данных;
    понимать, какие элементы повлияли на результат.

Модель себя — не психологический профиль. Это рабочее описание профессиональной
ответственности, методов и способов взаимодействия с системой.
После этого по той же логике могут формироваться модели:
    роли;
    команды;
    функции;
    подразделения;
    всей организации.




Компания, способная работать с ИИ                                                        100

6. Человек в системе: от контролёра к владельцу способа мышления                         Paper Planes




Вывод
Человека нельзя помещать в ИИ-контур только в качестве последнего проверяющего.
Он участвует на всех уровнях:
    определяет цель;
    выбирает метод;
    передаёт когнитивную стратегию;
    устанавливает границы;
    принимает неоднозначные решения;
    разбирает инциденты;
    утверждает изменение правил;
    несёт ответственность за последствия.

В воспроизводимых операциях ИИ может замещать человеческое исполнение. В экспертных задачах
он должен усиливать мышление через модели и scaffolds. В сложной среде — расширять наблюдение
и поддерживать эксперименты, не присваивая себе право создавать окончательный смысл.
Главная задача состоит не в том, чтобы оставить человека в контуре формально, а в том,
чтобы сохранить за ним реальное понимание метода и способность управлять системой.
Но индивидуальная связка человека и ИИ ещё не является организационной способностью.
Чтобы экспертиза перестала зависеть от отдельных людей, её необходимо превратить
в проверяемые, версионируемые и распространяемые корпоративные навыки.




Компания, способная работать с ИИ                                                              101