Kitobni o'qish: «Не верь нейросети на слово: Как проверять ответы ИИ и не попадаться на ошибки»

Name: Не верь нейросети на слово: Как проверять ответы ИИ и не попадаться на ошибки
Author: Юрий Тер

Shrift:

Вступление

Помощник, которому хочется верить

Представьте, что у вас появился помощник, который почти никогда не устает. Он может за несколько секунд объяснить незнакомый термин, составить план поездки, переписать письмо, придумать идею, разобрать документ и помочь начать работу в области, о которой вы вчера почти ничего не знали.

Он отвечает спокойно и грамотно. Не раздражается, если вы переспросили. Не просит назначить встречу через неделю. Может объяснить одну и ту же мысль пятью способами — пока вы наконец не поймёте.

Очень быстро возникает естественное ощущение: перед вами почти универсальный эксперт.

Именно здесь начинается главная ошибка новичка.

Нейросеть — не электронная энциклопедия, в которой лежит готовая карточка с правильным ответом. И не поисковик в привычном смысле, который прежде всего показывает страницы, где ответ можно проверить. Генеративная модель создаёт ответ. Иногда на основе собственных параметров, иногда с помощью подключённого поиска или загруженных документов, но итоговый текст всё равно формируется моделью.

Это различие кажется техническим, пока не приходится платить за ошибку.

В 2025 году на туристическом сайте Tasmania Tours появилась статья о горячих источниках в Тасмании. Среди настоящих мест были описаны Weldborough Hot Springs — привлекательная лесная локация с минеральной водой и красивыми изображениями. Люди стали туда ехать. Одна группа из 24 путешественников специально сделала крюк. На месте выяснилось, что горячих источников там нет. [6]

История почти смешная: лишняя дорога, потраченное время, испорченный кусок отпуска. Но тот же механизм выглядит иначе, если ответ касается лекарства, судебного документа или крупного перевода денег.

В 2024 году был опубликован клинический случай пациента, который использовал ChatGPT как часть самостоятельной оценки тревожных симптомов и примерно на сутки отложил обращение за неотложной помощью. В больнице рабочим диагнозом стала транзиторная ишемическая атака. [7] В 2025 году врачи описали другой случай: мужчина около трёх месяцев заменял поваренную соль бромидом натрия после разговора с ChatGPT об альтернативах хлориду натрия и оказался в больнице с бромизмом. [8]

Во всех этих историях важен один переход: текст на экране превратился в основание для действия.

Поэтому эта книга не написана против нейросетей. Напротив: генеративный ИИ — один из самых полезных новых инструментов для работы с текстом, идеями и информацией. Но пользоваться им безопаснее и эффективнее, когда вы понимаете, чем он является — и чем не является.

Хорошо сформулированный ответ и правильный ответ — не одно и то же.

NIST называет уверенно сформулированное ошибочное или ложное содержание генеративных систем конфабуляцией; в повседневной речи чаще употребляют слово «галлюцинация». NIST подчёркивает, что такие ошибки естественно связаны с тем, как генеративные модели строят статистически правдоподобные продолжения. [1]

В 2025 году исследователи OpenAI предложили ещё одну важную деталь: галлюцинации поддерживаются не только самим предобучением, но и системой оценки, в которой модели часто выгоднее угадать, чем признать «я не знаю». [26] Это не единственное объяснение; научные обзоры рассматривают причины по всему жизненному циклу модели — от данных и обучения до генерации ответа, контекста запроса и подключения внешних источников. [27]

Первая задача этой книги — убрать магию. После первых глав у вас должно сложиться простое представление: нейросеть не хранит внутри идеальную энциклопедию мира и не является просто улучшенным Google или Яндексом. Это другой тип инструмента.

Вторая задача — научиться использовать этот инструмент без двух крайностей. Не верить ему на слово. Но и не превращаться в человека, который боится каждого ответа ИИ.

Главный вопрос перед важным действием: «Откуда я знаю, что это правда?»

ЧАСТЬ I. ЧТО ТАКОЕ НЕЙРОСЕТЬ И ПОЧЕМУ ОНА МОЖЕТ ОШИБАТЬСЯ

Глава 1. Нейросеть, энциклопедия и поисковик — три разных инструмента

Когда человек впервые открывает чат с нейросетью, он обычно уже знает, как пользоваться энциклопедией и поиском. Поэтому мозг автоматически пытается поместить новый инструмент в одну из знакомых категорий.

«Наверное, это огромная энциклопедия, которая умеет разговаривать». Или: «Это поисковик, только он сразу пишет готовый ответ». Оба сравнения полезны как отправная точка — и оба становятся опасными, если принять их буквально.

Энциклопедия: готовая статья

Энциклопедия хранит подготовленные материалы. Кто-то написал статью, кто-то её редактировал, а читатель получает уже существующий текст. Ошибки возможны, сведения могут устареть, качество редакции бывает разным — но принцип понятен: материал существовал до вашего вопроса.

Поисковик: список путей к информации

Классический поисковик работает иначе. Вы вводите запрос, а система находит документы и страницы, которые считает релевантными. Главный продукт поиска — не новое объяснение, а путь к источникам. Пользователь может открыть несколько страниц, увидеть автора, дату, контекст и сравнить версии.

Современный поиск всё чаще добавляет генеративные сводки, а нейросети всё чаще подключают веб-поиск. Поэтому граница между продуктами стала менее заметной. Но два механизма всё равно полезно различать: поиск извлекает источники, генеративная модель формирует новый ответ.

Нейросеть: новый текст

Большая языковая модель обучается на огромных массивах текста и учится предсказывать продолжение последовательности. В упрощённом виде она много раз решает задачу: «какой следующий фрагмент текста наиболее подходит здесь?» Из миллиардов таких задач постепенно возникает способность писать связные ответы, объяснять, переводить, обобщать и следовать инструкциям. [26]

Поэтому полезная мысленная модель звучит так: энциклопедия хранит статью; поиск находит источники; нейросеть конструирует ответ.

Это не означает, что модель «ничего не знает». В её параметрах действительно закодировано огромное количество статистических закономерностей и сведений. Но это не картотека, где для каждого факта есть отдельная карточка с пометкой «проверено». Модель может воспроизводить известный факт, обобщать несколько знаний, сделать вывод — или построить правдоподобную комбинацию, которой в реальности не было.

А если нейросеть подключена к интернету?

Тогда перед нами гибрид. Сначала система может найти документы, затем языковая модель прочитает фрагменты и сформирует ответ. Это обычно повышает надёжность свежих фактов, но не отменяет новые точки ошибки: найден может быть плохой источник, документ можно понять неверно, важное исключение можно пропустить, а несколько сайтов могут копировать одну и ту же ошибку.

Поэтому наличие веб-поиска меняет вопрос «откуда модель взяла данные?», но не отменяет вопрос «подтверждает ли источник именно этот вывод?»

Короткое сравнение

Инструмент

Главная задача

Что получает пользователь

Главный риск

Энциклопедия

Дать подготовленную справочную статью

Существующий отредактированный материал

Ошибки редакции и устаревание

Поисковик

Найти релевантные страницы

Список источников и фрагментов

Плохой источник или неверная оценка результата

Нейросеть

Сформировать ответ по контексту

Новый связный текст

Правдоподобный, но неверный вывод

Запомнить достаточно одной фразы: если поисковик прежде всего помогает найти, то нейросеть прежде всего помогает сформулировать. Смешивать эти роли удобно — но только когда вы понимаете, какой этап выполняется сейчас.

Что запомнить

• Нейросеть — не скрытая энциклопедия с карточками готовых истин.

• Нейросеть — не просто поисковик, хотя может пользоваться поиском.

• Подключение к источникам снижает часть ошибок, но не превращает любой вывод в проверенный факт.

• Для фактической задачи всегда полезно различать: что найдено в источнике, что пересказано моделью и что модель вывела сама.

Глава 2. Почему нейросеть может ошибаться

Теперь можно ответить на вопрос, который особенно сбивает новичков: если нейросеть настолько хорошо пишет и рассуждает, почему она иногда выдумывает элементарный факт?

У этой проблемы нет одного магического объяснения. Разные исследования делают акцент на разных этапах: данных, предобучении, настройке поведения, оценке моделей, генерации ответа и взаимодействии с пользователем. Эти объяснения не обязательно спорят друг с другом; чаще они описывают разные звенья одной цепочки. [27]

Объяснение 1. Предсказание продолжения — не проверка истины

Базовое предобучение языковой модели строится вокруг предсказания следующего токена — небольшого фрагмента текста. Модель видит огромные объёмы языка и учится продолжать их так, чтобы результат был статистически правдоподобным. При этом к каждому предложению в учебном массиве не прикреплена отдельная метка «истина» или «ложь». [26]

Для устойчивых закономерностей это работает блестяще. Орфография, грамматика, типичные структуры документов и общие связи между понятиями повторяются много раз. Но редкий произвольный факт — например, чей-то малоизвестный день рождения, номер дела или название диссертации — может почти не выводиться из окружающих языковых закономерностей. Именно такие факты особенно легко заменить правдоподобной догадкой. [26]

Полезная аналогия: модель отлично знает, как выглядит адрес, но это ещё не означает, что любой созданный ею адрес существует.

Объяснение 2. В данных есть не только правильное

Обучающие данные содержат противоречия, устаревшие сведения, ошибки, шутки, пересказы и тексты разного качества. Кроме того, мир меняется после обучения модели. Поэтому часть ошибки может начинаться ещё до генерации: у системы может не быть нужной информации, разные сведения могут конфликтовать, а верный когда-то факт мог устареть.

Важно: это объясняет не все галлюцинации. Модель способна придумать неверный факт даже там, где правильная информация присутствовала в обучающих данных. Наличие знания в обучении не гарантирует, что оно будет корректно извлечено в конкретном ответе.

Объяснение 3. Модели долго было выгоднее угадать, чем промолчать

В 2025 году исследователи OpenAI предложили статистическое объяснение устойчивости галлюцинаций: стандартные оценки часто поощряют правильный ответ, но недостаточно вознаграждают честное воздержание. Если за «не знаю» вы гарантированно не получаете балл, а случайная догадка иногда оказывается верной, система оценивания создаёт стимул угадывать. [26]

Это не означает, что каждая галлюцинация вызвана тестами. Скорее, это объясняет, почему последующие этапы обучения не всегда вычищают склонность к уверенным догадкам, возникшую в предобучении.

Объяснение 4. Модель не проверяет мир автоматически

Человек может сопоставить слова с непосредственным опытом: он был в городе, видел документ, трогал снег, разговаривал с врачом. Языковая модель в обычном режиме работает прежде всего с текстовым контекстом и внутренними представлениями, а не автоматически сверяет каждое утверждение с внешним миром.

В научных дискуссиях вопрос о том, в каком смысле большие модели «понимают» язык и мир, остаётся сложным. Для практического пользователя не нужно занимать сторону в этом споре. Достаточно более скромного правила: даже очень способная модель не имеет встроенного обязательства проверять каждый факт во внешнем источнике перед тем, как напечатать его.

Объяснение 5. Ошибка может возникнуть в самом диалоге

Если пользователь задаёт вопрос с ложной предпосылкой — «Почему компания скрыла дефект?» — модель получает контекст, в котором сокрытие уже представлено как свершившийся факт. Если запрос неоднозначен, не хватает даты или названия, система может заполнить пробел наиболее правдоподобным вариантом.

Поэтому галлюцинация — не всегда одиночный дефект «внутри модели». На практике это может быть цепочка: неполный вопрос → недостающий контекст → правдоподобная догадка → уверенный стиль → действие пользователя.

Почему ответ звучит уверенно, если модель не уверена?

Потому что уверенный стиль текста и достоверность факта — разные свойства. Модель умеет писать в деловом, научном, дружелюбном или категоричном тоне. Этот тон не следует воспринимать как прибор, который показывает внутреннюю вероятность истины.

Если система пишет «точно», «безусловно» или «согласно исследованию», это всё ещё часть сгенерированного текста. Настоящая проверка начинается с источника, даты и конкретного утверждения.

Галлюцинации не означают, что нейросеть бесполезна

Из всего сказанного легко сделать неправильный вывод: раз модель генерирует вероятностно, значит любой её ответ — случайная фантазия. Это тоже неверно. Современные модели очень часто дают точные ответы, умеют использовать поиск, анализировать предоставленные документы и рассуждать над задачей. Проблема в другом: сам формат красивого ответа не сообщает пользователю, где именно проходит граница между надёжным знанием, выводом и догадкой.

Надёжная привычка: не спрашивать «умная ли эта нейросеть?», а спрашивать «достаточно ли проверен именно этот вывод для моего действия?»

Что запомнить

• Галлюцинация — не мистический «глюк», а один из ожидаемых видов ошибок генеративной системы.

• Причины могут лежать в данных, предобучении, оценке модели, отсутствии внешней проверки и контексте пользователя.

• «Следующее слово» — полезное базовое объяснение, но не полное описание всех возможностей современной модели.

• Уверенный стиль не равен измеренной уверенности в факте.

• Поиск и инструменты помогают, но не отменяют проверку важных выводов.

Глава 3. Почему уверенный ответ так легко принять за знание

Ошибки нейросети опасны не только потому, что они существуют. Они опасны потому, что человеку психологически удобно их не замечать.

Модель отвечает быстро, связно и персонально. Она использует термины из вашего вопроса, продолжает контекст прошлых сообщений и может объяснять без раздражения столько раз, сколько вы попросите. Всё это создаёт сильный сигнал компетентности.

Мы привыкли читать стиль как признак знания

В обычной жизни уверенная речь часто действительно связана с опытом. Специалист знает терминологию, умеет объяснять причинно-следственные связи и отвечает на уточнения. Поэтому мозг переносит старое правило на новый интерфейс: «если объясняет хорошо — значит знает».

Но генеративная модель специально хороша именно в форме. Она может одинаково грамотно оформить факт, предположение и выдумку. Именно поэтому в этой книге так много внимания уделяется переходу от впечатления к проверке.

Персональный ответ кажется более надёжным

Поисковая выдача выглядит безлично: перед вами десять ссылок. Нейросеть обращается непосредственно к вашей ситуации. Она повторяет ваши слова, учитывает детали, может писать «в вашем случае». Это повышает ощущение индивидуальной консультации, хотя модель знает только тот контекст, который получила.

Понятность тоже может обманывать

Если специалист объяснил сложным языком, а чат-бот — простым, мозгу легче принять второй ответ. Медицинский случай, который мы разберём дальше, хорошо показывает эту ловушку: понятный ответ может казаться более точным просто потому, что его легче понять.

Что с этим делать

Не нужно специально заставлять себя не доверять каждому ответу. Достаточно разделять два вопроса: «мне понятно?» и «это подтверждено?». Первый относится к качеству объяснения. Второй — к качеству доказательств.

Понятность — достоинство ответа. Достоверность — отдельное свойство.

Глава 4. Где нейросеть действительно сильна — и где начинается зона проверки

После разговора об ошибках важно не создать ложный образ: будто нейросеть годится только для развлечения, а любое серьёзное применение опасно. Это не так.

Полезнее разделить задачи на те, где модель в основном помогает создавать и преобразовывать материал, и те, где её вывод становится утверждением о внешнем мире.

Зона сильных сторон

Нейросеть особенно полезна, когда результат можно оценить непосредственно: придумать варианты заголовка, сократить текст, объяснить термин другими словами, составить черновой план, организовать заметки, предложить вопросы, провести мозговой штурм, преобразовать формат, сравнить аргументы или помочь начать с пустого листа.

В таких задачах нет единственного скрытого «правильного факта», который модель обязана вспомнить. Если вариант не подходит, вы его видите и меняете.

Зона фактов

Как только ответ содержит сведения о мире — дату, цену, медицинскую рекомендацию, юридическое правило, имя автора, техническую характеристику, существование места — появляется вопрос источника и актуальности.

Здесь нейросеть всё ещё может быть очень полезной: найти направление, собрать список первоисточников, объяснить документ, выделить спорные места. Но пользователь должен различать помощь в работе с фактом и подтверждение самого факта.

Зона решений высокой цены

Если ошибка может повлиять на здоровье, крупные деньги, юридические последствия, безопасность или конфиденциальность, модель не должна оставаться единственной точкой решения. Нужны внешние источники, специалист или установленная процедура.

Три режима работы

Полезно держать в голове три режима: СОЗДАТЬ — здесь нейросеть часто может работать почти самостоятельно; ПОНЯТЬ — здесь она отлично объясняет, но важные детали стоит сверять; ПОДТВЕРДИТЬ — здесь нужен внешний якорь: документ, источник, измерение, реестр, специалист или независимый канал.

Нейросеть особенно сильна как помощник по созданию и пониманию. Истина о внешнем мире требует внешней опоры.

Что запомнить

• Не нужно проверять творческий вариант так же, как медицинский совет.

• Чем больше ответ утверждает о внешнем мире, тем важнее источник.

• Чем дороже ошибка, тем меньше должна быть роль одного сгенерированного ответа.

• Хорошее использование ИИ — не максимальная автономия модели, а правильное распределение ролей между моделью, источниками и человеком.

ЧАСТЬ II. ПОЧЕМУ УБЕДИТЕЛЬНОЕ НЕ ОБЯЗАТЕЛЬНО ЯВЛЯЕТСЯ ПРАВДОЙ

Глава 5. Почему детали кажутся доказательством

Представим два ответа на один и тот же вопрос.

Первый: «Кажется, это произошло примерно в начале XX века. Точно не уверен.»

Второй: «Это событие произошло 14 марта 1907 года в Лондоне. Его подробно описал историк Джон Харрис в книге The Forgotten Years, опубликованной издательством Benton Press в 1982 году.»

Какой ответ выглядит убедительнее?

Конечно, второй.

В нём есть дата. Город. Автор. Название книги. Издательство. Он производит впечатление ответа человека, который точно знает предмет.

Именно здесь возникает одна из главных проблем генеративного ИИ.

Все эти детали могут оказаться выдуманными. Не одна. Все.

Но язык ответа от этого не обязательно станет хуже.

Вымышленная книга может иметь совершенно правдоподобное название. Несуществующий профессор — нормальное имя и фамилию. Придуманное судебное решение — номер дела. Вымышленное исследование — название журнала. Несуществующая туристическая достопримечательность — описание, которое ничем не хуже настоящего.

В этом есть важное отличие от многих обычных человеческих ошибок.

Человек часто показывает неуверенность: «Не помню точно», «Кажется», «Возможно», «Надо проверить».

Генеративная система способна построить неправильный ответ в той же грамматической форме и с той же уверенностью, что и правильный.

Самое неприятное состоит даже не в ошибке, а в том, что пользователь часто не видит признака ошибки.

Если калькулятор показывает «2 + 2 = 57», мы сразу понимаем, что произошло что-то странное.

Если нейросеть пишет: «Согласно исследованию Института когнитивных технологий 2021 года, использование определённой методики повышает память на 32 процента...», ошибка может выглядеть совершенно нормально — до тех пор, пока мы не попытаемся найти этот институт, исследование и эти 32 процента.

Количество деталей не является доказательством достоверности.

Иногда наоборот. Чем подробнее ложная информация, тем правдоподобнее она выглядит.

Маленький эксперимент

Попробуйте когда-нибудь попросить языковую модель придумать биографию несуществующего учёного.

Не просто имя. Попросите год рождения, университет, тему диссертации, три научные работы, премию и место работы.

В творческой задаче система прекрасно справится. Это её преимущество.

Теперь представьте, что по какой-то причине модель не поняла, что вы спрашиваете о реальном человеке, и применила тот же навык.

Вот почему нам так важно различать два режима: создать правдоподобное и сообщить проверяемый факт.

Для человека они ощущаются совершенно по-разному. Для генерации языка различие не всегда настолько очевидно.

Глава 6. Вопрос тоже может быть источником ошибки

Когда мы говорим об ошибках нейросети, легко представить, что пользователь задаёт нейтральный вопрос, а система внезапно придумывает неверный ответ. На практике ошибка нередко начинается раньше — ещё в формулировке вопроса.

Сравните два запроса.

«Почему компания X скрыла дефект этой модели?»

И:

«Есть ли надёжные данные о том, что компания X скрывала дефект? Если да, покажи первичные источники; если нет — не принимай это предположение как факт».

Первый запрос уже содержит готовую историю. Компания существует, дефект как будто установлен, факт сокрытия как будто доказан. Модели остаётся только объяснить мотив. Второй запрос заставляет сначала проверить основание вопроса.

Предпосылка, спрятанная внутри вопроса

Такое происходит постоянно. «Почему это лекарство вызывает бессонницу?» — хотя причинная связь ещё не подтверждена. «Когда этот автор признался, что использовал чужой текст?» — хотя признания могло не быть. «Как добраться до этой достопримечательности?» — хотя сама достопримечательность может оказаться вымышленной.

Человек тоже подвержен этому эффекту. Если собеседник спрашивает нас «почему произошло X», мы часто начинаем искать причину X вместо того, чтобы остановиться и спросить: а X вообще произошло?

Генеративная система особенно удобна для такого самообмана, потому что умеет быстро построить связное объяснение почти для любой предпосылки. Если попросить её объяснить несуществующую традицию, вымышленный исторический эпизод или фантастический научный термин, она способна сделать это очень убедительно. В творчестве это полезно. В фактическом вопросе — опасно.

«Я же спросил, правда ли это»

Даже вопрос «Правда ли, что…?» не всегда решает проблему. Пользователь может несколько раз переформулировать запрос, пока не получит желаемую версию. Особенно легко это происходит в темах, где есть страх, деньги или личная заинтересованность.

В медицинской части книги мы ещё увидим, насколько сильной становится эта ловушка, когда человеку хочется получить успокаивающее объяснение симптомов. Но тот же механизм работает и в бытовых вопросах: хочется верить, что штраф можно не платить, билет можно вернуть, товар точно совместим, а редкая достопримечательность существует именно там, где её нарисовала красивая статья.

Полезный приём: заставьте систему спорить с предпосылкой

Перед важным ответом добавьте одну строку:

«Не считай мою исходную предпосылку правильной автоматически. Сначала проверь, подтверждается ли она».

Или:

«Какая часть моего вопроса может быть ошибочной или недоказанной?»

Это не делает ответ истинным автоматически. Но меняет направление разговора. Вместо задачи «дострой мою историю» появляется задача «проверь, есть ли у истории основание».

Когда особенно важно проверять предпосылку

когда вопрос содержит обвинение или сильное оценочное утверждение;

когда вы уже уверены, что знаете ответ и ищете подтверждение;

когда от ответа зависит медицинское, финансовое или юридическое действие;

когда речь идёт о событии, источнике, месте или цитате, существование которых вы сами не проверяли;

когда в запросе встречается формула «почему X сделал Y», а факт Y взят только из чужого пересказа.

Нейросеть может ошибиться в ответе. Пользователь может ошибиться ещё раньше — в самом вопросе.

Глава 7. Ошибка, которую показали в рекламе

В феврале 2023 года Google демонстрировала Bard — своего нового на тот момент ИИ-чат-бота. ^[2][3]

В рекламном примере пользователь спрашивал, какие открытия телескопа James Webb можно рассказать девятилетнему ребёнку. ^[2][3]

Ответ выглядел вполне нормально.

Среди прочего Bard сообщил, что James Webb получил первые изображения планеты за пределами Солнечной системы. ^[2][3]

Проблема заключалась в том, что это было неверно.

Первые прямые изображения экзопланеты были получены задолго до запуска James Webb — с помощью Very Large Telescope Европейской южной обсерватории в 2004 году. Ошибка находилась прямо в публичной демонстрации продукта. ^[2][3]

Этот случай интересен не из-за того, что «Google ошиблась». Ошибаются все.

Он интересен другим.

Представьте, сколько людей могло смотреть на этот материал до публикации. Текст был красивым. Ответ был понятным. Факт звучал правдоподобно. И ошибка всё равно прошла.

Это хороший урок для обычного пользователя.

Если даже публично демонстрируемый ответ крупной технологической компании может содержать неточность, странно ожидать, что каждый индивидуальный ответ, который мы получаем дома за несколько секунд, автоматически будет проверен кем-то до нас.

Почему ошибку трудно заметить

Чтобы распознать её сразу, нужно было уже знать историю прямых наблюдений экзопланет.

Большинство людей этого не знает. И не обязано знать.

Поэтому фраза «James Webb впервые сфотографировал планету за пределами Солнечной системы» не вызывает внутреннего сопротивления. ^[2][3]

Телескоп новый. Очень мощный. О нём много говорили. Значит, вполне возможно.

Вот так обычно и работает опасная ошибка. Не как безумное утверждение, а как утверждение, которое идеально помещается в то, что мы уже считаем правдоподобным.

Хороший фактчек начинается не с вопроса «Звучит ли это разумно?», а с вопроса «Можно ли это подтвердить?»

Глава 8. Судебные дела, которых не существовало

Теперь повысим цену ошибки.

Весной 2023 года в федеральном суде Нью-Йорка рассматривалось дело Mata v. Avianca. ^[4]

При подготовке юридических материалов были использованы результаты ChatGPT.

В документ попали ссылки на судебные решения. У них были названия, цитаты и юридические рассуждения. Всё выглядело достаточно похоже на настоящие судебные прецеденты.

Но некоторые из указанных дел не существовали.

Суд установил, что в представленных материалах содержались вымышленные судебные решения и цитаты, созданные с помощью ChatGPT. В июне 2023 года суд назначил адвокатам и их фирме денежную санкцию в размере 5000 долларов.

Этот случай часто пересказывают как историю: «ChatGPT придумал судебные дела».

Но главный урок находится чуть дальше.

Нейросеть действительно создала ложные ссылки. Однако нейросеть не отправляла документ в суд. Это сделал человек.

ИИ создал информацию → человек принял её за проверенную → информация перешла в реальный документ.

Именно второе звено делает ошибку опасной.

Если бы выдуманные дела остались в окне чат-бота, последствия были бы минимальными.

Проблема появилась в момент, когда ответ получил статус: «Я могу на это опереться».

Вот это и будет одной из центральных тем нашей книги.

Нейросеть способна помочь подготовить черновик, предложить направление поиска, объяснить термин, составить вопросы.

Но между «ИИ мне это сказал» и «это установлено» существует расстояние.

Иногда маленькое. Иногда огромное.

И пользователь должен понимать, как его пройти.