В последнее время появилось множество объяснений того, как использовать LLM, или разъяснений о том, почему они хороши или ужасны. Эта статья не из таких. Это для специалистов по обработке и анализу данных и специалистов по машинному обучению, которые уже знакомы с LLM, но им необходимо более широко обсудить вопросы конфиденциальности.

Я ваш друг по вопросам конфиденциальности, и я дам вам несколько слов для обсуждения вопросов конфиденциальности, связанных с LLM, с кем угодно. Вы сможете объяснить проблемы в нетехнических терминах с юристами, руководителями и любой частью вашей компании. Это может даже помочь в разговорах вне работы, если друзья и родственники начнут расспрашивать о том, что может пойти не так с моделями. Эта статья поможет вам перевести технические термины машинного обучения в ясное представление о конфиденциальности.

Простая дихотомия вопросов конфиденциальности от LLM

Для простоты давайте подумаем о проблемах конфиденциальности LLM в двух основных категориях: модели сообщают правильную информацию о людях, а модели сообщают неверную информацию о людях.

Модели делятся достоверной информацией о людях:

Как человек, обучающийся машинному обучению, вы, возможно, уже знакомы с атаками на запоминание и вывод о членстве. Обе эти атаки позволяют моделям делиться информацией о ком-то, которой они, возможно, не хотят делиться, или которая не предназначена моделью для изучения или распространения.

  • Атака на основе вывода о членстве: если вы можете выяснить, что кто-то является частью обучающего набора, вы можете вывести конфиденциальную информацию. Например, если набор данных основан на ВИЧ-позитивных пациентах. В качестве альтернативы членство в обучающей выборке может быть прокси для другой конфиденциальной информации. Например, расу можно определить по почтовым индексам в США. Злоумышленники могут делать неприятные вещи с конфиденциальной информацией, такой как состояние здоровья или раса. Кроме того, раскрытие информации о том, к каким категориям относятся люди, может привести к предвзятости.
  • Запоминание: извлечение обучающих данных и извлечение данных — это типы атак, которые могут раскрывать информацию о людях. Эта конфиденциальная информация может включать конфиденциальную информацию о занятости, идентифицирующую информацию, такую ​​как полные имена и адреса, а также контактную информацию, например номера телефонов.

Даже когда эти атаки не приводят к конкретному финансовому или физическому ущербу для кого-либо, существует ряд проблем с конфиденциальностью. Такие атаки, как доксинг, могут причинить людям реальный эмоциональный вред, даже если преследователи не появляются у дверей, а просто угрожают. В целом, предоставление достоверной информации о людях с помощью этих атак лишает человека контроля над тем, как используются его данные. Людям это не нравится; это кажется жутким и приводит к отсутствию доверия.

Юридические проблемы тоже реальны. В этих атаках данные передаются помимо первоначальной цели, для которой они были собраны. Целевое ограничение является арендатором регламента ЕС о данных GDPR.

Модели делятся неверной информацией о людях

Ущерб конфиденциальности выходит за рамки утечки достоверной идентифицирующей информации. LLM могут создавать галлюцинации, в которых они генерируют ложную информацию, которой не было в исходных данных. Может возникнуть соблазн отбросить галлюцинации как не связанные с конфиденциальностью или безвредные. Однако если ваша модель предназначена для получения достоверных результатов, ложная информация может причинить реальный вред людям. Если о вас когда-либо распространяли ложные слухи, вы понимаете, насколько болезненным это может быть.

На жаргоне конфиденциальности вред, причиненный людям галлюцинациями, можно было бы назвать «введением в заблуждение» или «вредом для репутации». Акт распространения ложной информации также называется «искажением». По сути, это дезинформация о людях, и исправить или исправить данные они не могут. Даже без LLM неправильные данные могут привести к юридическим штрафам. Рассмотрим простой ввод неверных данных, когда страховая компания получила неверную информацию о ком-то, а затем отказалась его застраховать, что привело к судебному иску.

Даже если информация не является вредоносной и просто ошибочной, она может нанести вред. Например, если магистр права утверждает, что я получил Нобелевскую премию по математике, вам может показаться подозрительным, что я веду блог о конфиденциальности и не использую лучше свои теоремы решения времени (независимо от того, что Нобелевской премии по математике нет). . Следовательно, это может нанести ущерб моей репутации специалиста по конфиденциальности.

Из-за потенциального вреда неверных данных правила конфиденциальности, такие как GDPR, прямо разрешают людям исправлять данные о себе. Даже если галлюцинация не приводит к финансовому или физическому ущербу, она лишает людей возможности контролировать то, что о них думают. Я уже говорил это раньше и скажу еще раз: люди хотят контролировать свои данные.

Ведутся споры о том, можно ли вообще использовать слово «галлюцинация» для LLM. Некоторые предложили «дезинформацию» или «чушь собачью» как более точные термины. С точки зрения конфиденциальности галлюцинации LLM о людях — это просто неверные данные о людях, которые они не могут контролировать.

Краткое содержание

Таким образом, когда LLM раскрывают правильную или неправильную информацию о людях, это может привести к нарушению конфиденциальности. Вред может быть измеримым, или он может быть просто болезненным для человека. В последнем случае кто-то может испугаться или меньше доверять модели. С точки зрения GDPR использование данных должно быть ограничено определенной целью, и люди должны иметь право исправлять свои данные. Поэтому разработчики LLM должны стремиться предотвратить утечку личной информации, независимо от того, верна она или нет.

Мои источники и где узнать больше:

Пример атаки членства с использованием ВИЧ-позитивных пациентов https://dcai.csail.mit.edu/lectures/data-privacy-security/

Расу можно определить по почтовым индексам: https://cdt.org/insights/how-does-the-internet-know-your-race/)

Конфиденциальная информация о занятости, обнаруженная в инструменте перевода: https://slator.com/translate-com-exposes-highly-sensive-information-massive-privacy-breach/

Обзор галлюцинаций при генерации естественного языка: Цзи, З., Ли, Н., Фриске, Р., Ю, Т., Су, Д., Сюй, Ю., Исии, Э., Банг, Ю., Дай, В., Мадотто, А., и Фунг, П. (2022). Обзор галлюцинаций при генерации естественного языка. АрХив. https://doi.org/10.1145/3571730

GDPR и право на исправление данных: https://commission.europa.eu/law/law-topic/data-protection/reform/rights-citizens/my-rights/my-data-incorrect-can-i-correct -it_ru#пример

Опасения по поводу термина галлюцинация в LLM: https://betterprogramming.pub/large-language-models-dont-hallucinate-b9bdfa202edf

Атаки на конфиденциальность LLM со ссылками на исследования: https://www.private-ai.com/2022/06/17/the-privacy-risk-of-language-models/

Репутационный вред и LLM: https://www.theprivacywhisperer.com/p/ai-hallucinations-and-privacy-a-reputational

Искажение как ущерб конфиденциальности: Таксономия вреда конфиденциальности Солове — это основополагающая юридическая статья, в которой описываются искажения, а также другие общие виды вреда конфиденциальности https://scholarship.law.upenn.edu/penn_law_review/vol154/iss3/1/

Чтобы подписаться на мой еженедельный информационный бюллетень и получать подобный контент бесплатно, посетите http://www.privacyengineering.ch/good-to-great-privacy/