Три разрыва: Почему мы не слышим друг друга и как это чинят этические стартапы
О чём статья. Если вы разработчик, продакт, врач или просто человек, который переживает из‑за того, куда катится мир с этими нейросетями, — у меня для вас разговор. Три реальные истории. Три разных способа их починить. И один общий вывод, который меняет всё.
---
Часть 1. История про время: Как Netflix научился видеть будущее
Что болит у каждой команды
В офис заходит тимлид. Лицо серое. Говорит: «Надо переписать бэкенд. Если мы этого не сделаем, через полгода система ляжет».
Команда кивает. Продакт говорит: «Ок, давай в следующем квартале, сейчас релиз». Все расходятся. Через полгода система ложится. Все удивлены. Ищут виноватого.
Знакомо? Это не про лень и не про тупость. Это про разрыв во времени. Бэкендер живёт в будущем, продакт — в настоящем. Между ними пропасть.
Что придумали в инженерии
В 2011 году в Netflix случилась странная вещь. Инженеры выпустили инструмент под названием Chaos Monkey — программу, которая случайным образом отключала серверы в рабочей системе.
Звучит как безумие. Зачем ломать то, что работает?
Идея была простая: если система выдержит случайную смерть своих компонентов сейчас, она выдержит реальную аварию через полгода. Chaos Monkey делал будущее видимым в настоящем. Каждое отключение сервера — это симуляция того, что случится с архитектурой, если её не чинить.
Потом в Netflix пошли дальше. Chaos Kong научился отключать целые дата-центры. Latency Monkey симулировал тормоза в сети. Conformity Monkey проверял, нет ли в архитектуре слабых мест.
Что поменялось: Будущее перестало быть абстракцией. Команда видит слабые места до того, как они убьют продакшен. Не «будет плохо через полгода», а «вот тест: мы отключили сервер, и система поплыла — чините».
Сегодня chaos engineering используют Amazon, Google, Microsoft. Это не экзотика, а стандарт.
---
Часть 2. История про боль: Как сделать так, чтобы врач поверил
Что болит у каждого пациента
Вы приходите к врачу. У вас болит. Врач смотрит анализы и говорит: «По анализам всё в норме. Идите, не выдумывайте».
Вы уходите с ощущением, что вас не услышали. Боль осталась. Врач остался при своих анализах.
У вас — опыт. Боль не измерить приборами. Она ваша, личная, интимная. У врача — протоколы. То, что можно измерить и сравнить с нормой. Между вами пропасть.
Что придумали в цифровой медицине
Исследователи из Sensors в 2025 году опубликовали любопытную работу. Они наблюдали за пожилыми людьми: 108 человек, две недели, умные часы Garmin и опросники в случайные моменты.
Обычный подход: пришёл на приём, рассказал, как двигался, врач записал. В этом исследовании всё иначе.
Во-первых, объективные данные. Часы считали шаги, пульс, интенсивность движений 24/7. Не «я хожу нормально», а график активности с точностью до минуты.
Во-вторых, контекст. Несколько раз в день часы спрашивали: «Как ваша мотивация? Насколько вы уверены, что справитесь?» Это называется ecological momentary assessment (EMA) — сбор данных прямо в моменте, без искажений памяти.
В-третьих, сопоставление. Выяснилась странная вещь: объективные шаги и субъективные отчёты людей не коррелировали вообще (R = −0.026). То есть человек может искренне считать, что двигался мало, а часы показывают норму. И наоборот.
Как это выглядит на практике
Теперь врач не гадает. Он открывает приложение и видит:
· График активности за две недели
· Записи настроения в реальном времени
· Связь между тем, что вы делали, и тем, как себя чувствовали
Боль перестаёт быть «невидимкой». Она материализуется в данных. Врач не говорит «я вам верю» или «не верю». Он говорит: «Давайте посмотрим на то, что мы вместе собрали».
Метод называется digital phenotyping — цифровой профиль состояния. Он уже используется в психиатрии, кардиологии, гериатрии.
---
Часть 3. История про чёрный ящик: Как заставить ИИ объяснить свои решения
Что болит у каждого разработчика
Вы написали модель. Она выдаёт результат. Вы не знаете почему. Это чёрный ящик.
Вы проверяете на тестах — вроде работает. Выкатываете в прод. Через месяц — скандал: модель дискриминировала какую‑то группу. Вы удивлены. Все удивлены. Ищут виноватого.
Что придумали в explainable AI
В 2025 году группа исследователей из Fraunhofer сравнивала два инструмента, которые пытаются заглянуть в чёрный ящик: SHAP и LIME.
SHAP (SHapley Additive exPlanations) — штука из теории игр. Он считает вклад каждого признака в решение модели. Не «модель отказала», а «модель отказала, потому что признак X дал −0.7, признак Y дал +0.3, а признак Z перевесил».
LIME (Local Interpretable Model-Agnostic Explanations) работает иначе. Он дёргает входные данные, смотрит, как меняется ответ, и строит простую модельку, которая объясняет конкретное решение.
Исследователи тестировали их на системе обнаружения вторжений (UNSW-NB15 dataset). XGBoost показал точность 97.8%. Но главное не это.
Главное: SHAP и LIME дают разные картины одного решения. SHAP — глобальную (какие признаки важны в целом). LIME — локальную (почему именно этот случай решился так). Вместе они позволяют увидеть модель с двух сторон.
---
Часть 4. Этика как инженерия: Кто чинит разрывы сейчас
Крупные компании вроде Netflix или Google задали стандарт, но настоящие прорывы в области видимости и этики происходят в небольших стартапах и открытых сообществах. Именно они превращают философские принципы в работающий код.
Видимость ИИ: Fiddler AI и Arthur AI
Вместо того чтобы пытаться сделать модель «прозрачной» (что невозможно для глубоких сетей), эти стартапы строят слой наблюдения поверх чёрного ящика.
Что делают: Их инструменты подключаются к любой модели и в реальном времени показывают: на какие данные она смотрит, где её уверенность падает, когда она начинает дискриминировать.
Как чинят разрыв: Разработчик видит не «ошибку», а «смещение веса признака». Это превращает магию в инженерию. Вы не верите модели — вы видите её метрики доверия.
Видимость боли: Biofouris и Owkin
В цифровой медицине эти компании пошли дальше простых трекеров активности.
Что делают: Они используют цифровые биомаркеры. Не просто «сколько шагов», а паттерны движения, микро-изменения голоса, ритм набора текста. Owkin использует федеративное обучение, чтобы анализировать данные пациентов, не выводя их из клиник (сохраняя приватность).
Как чинят разрыв: Боль перестаёт быть субъективной жалобой. Она становится объективным сигналом, который врач видит в дашборде. Пациент не должен доказывать — система показывает.
Видимость последствий: Mozilla Foundation и Algorithmic Justice League
Эти организации работают на уровне экосистемы.
Что делают: Создают открытые аудиторские инструменты для алгоритмов. Проект «Gender Shades» от Joy Buolamwini показал, что системы распознавания лиц ошибаются на тёмной коже чаще, чем на светлой.
Как чинят разрыв: Они делают дискриминацию видимой для общественности. Не «возможно, есть предвзятость», а «вот тест, вот ошибка, вот доказательство».
---
Часть 5. Философский код: Альтернативы, которые строят будущее
За каждым инструментом стоит философия. Долгое время доминировали три фигуры, задавшие тон отношению к технологиям. Но сегодня появляются проекты, которые реализуют альтернативные онтологии — не контроль, а со-творчество.
Антипод Хомского: От врождённых структур к воплощённому опыту
Доминанта: Ноам Хомский утверждал, что язык и мышление заданы врождёнными структурами. В ИИ это породило идею, что интеллект можно «закодировать» правилами.
Альтернатива: Embodied AI (Воплощённый интеллект). Интеллект возникает не из правил, а из взаимодействия тела со средой.
Проект: EleutherAI. Это децентрализованное сообщество, которое создаёт открытые языковые модели. Они не строят «единый правильный интеллект», а позволяют множеству акторов обучать и исследовать модели совместно. Интеллект здесь — не структура, а процесс взаимодействия.
Антипод Юдковского: От выравнивания к распределённой ответственности
Доминанта: Элиезер Юдковский фокусируется на «безопасности через контроль» — как заставить ИИ не навредить человеку.
Альтернатива: Participatory AI (Участвующий ИИ). Безопасность возникает не из ограничений, а из вовлечённости всех сторон в процесс создания.
Проект: Hugging Face. Это не просто хостинг моделей, а экосистема, где этика встраивается через сообщество. Модели проходят проверку пользователями, обсуждаются, форкаются. Ответственность распределена между тысячами разработчиков, а не централизована в одной лаборатории безопасности.
Антипод Бострома: От экзистенциального риска к процветанию
Доминанта: Ник Бостром видит в ИИ угрозу существованию. Фокус на предотвращении катастрофы.
Альтернатива: Flourishing-Centered AI (ИИ для процветания). Фокус на том, как технологии усиливают человеческий потенциал здесь и сейчас.
Проект: Common Crawl + LAION. Открытые датасеты, которые позволяют любому исследователю работать с данными, не завися от корпораций. Это инфраструктура для демократизации интеллекта. Не «как выжить», а «как создать больше возможностей для всех».
Эти проекты объединяет одно: они не пытаются закрыть ИИ в коробку безопасности. Они делают саму среду разработки видимой и доступной. Безопасность возникает не из запретов, а из прозрачности.
---
Часть 6. Правило одной видимости
Если собрать всё воедино — от инженерии до философии — получается простой принцип для любой сложной системы:
Любая проблема, которую нельзя сделать видимой, неизбежно становится катастрофой.
Невидимый техдолг убивает стартап. Невидимая боль убивает доверие к врачу. Невидимая логика ИИ убивает репутацию компании. Невидимая этика остаётся декларацией.
Поэтому ваш главный вопрос в любой ситуации должен быть не «кто виноват?» и не «как это контролировать?».
Ваш вопрос должен быть: «Как сделать это видимым для всех участников?».
· Если команда не понимает рисков — нарисуйте график последствий.
· Если клиент не понимает ценности — покажите историю изменений.
· Если общество не доверяет ИИ — откройте веса и данные.
· Если вы не понимаете себя — запишите и измерьте.
График на стене после Chaos Monkey. Дневник активности с часов. SHAP-график вклада признаков. Открытая модель на Hugging Face.
Это не магия. Это способ сделать так, чтобы система увидела себя до того, как сломается.
---
P.S. Практикум на разрыв
Если хотите проверить эту теорию на практике, не ждите глобальных изменений. Сделайте это на этой неделе.
1. Найдите невидимку. То, что все обсуждают словами, но никто не видел глазами. (Например: «мы устали», «проект буксует», «модель необъективна»).
2. Придумайте транспондер. Способ сделать это видимым. Не отчёт для начальника, а объект для всех. (График переработок, карта заблокированных задач, журнал этических инцидентов).
3. Покажите участникам.
Скорее всего, разговор изменится мгновенно. Вы перестанете спорить о смыслах и начнете работать с фактами. Именно в этот момент разрыв начинает зарастать.
Видимость — это новая этика.