Вы ведь тоже разговариваете с ChatGPT и GigaChat так, будто это ваш старый приятель, который всегда готов помочь вам с поиском нужной информации? Оказывается, многим пользователей чат-боты уже успели заменить реальных друзей. А если есть спрос, будет и предложение. Вместе с командой Privacy Not Included разбираемся в особенностях работы новомодных собеседников.
Романтическим чат-ботам на базе искусственного интеллекта нет дела до вашей конфиденциальности
- У нас тут на эту тему пишут не особо часто, так что я пока не в курсе, какой термин стоит использовать для обозначения чат-ботов, которые умеют вести романтическую переписку, – прим.
Добро пожаловать в дикий мир романтических чат-ботов с искусственным интеллектом! Новые приложения в данной категории появляются настолько быстро, что под многие из них даже не успевают собрать веб-сайт. Это странное, а иногда и вовсе пугающее место, существование которого мы заметили всего пару месяцев назад. Если вы не особо любите ковыряться в подробностях лицензионных соглашений, которые принимаете, может показаться, что в романтичных чат-ботах нет ничего плохого, но это лишь до тех пор, пока вы не начнёте читать мелкий шрифт. А в Privacy Not Included мы как раз этим и занимаемся. Так что погнали!
Если говорить откровенно и максимально прямолинейно, чат-боты вам не друзья. Особенно, если они притворяются, что у вас с ними какие-то отношения. Разработчики уверяют, что подобные приложения благотворно влияют на ваше психологическое здоровье и помогают справиться с одиночеством, однако на деле, они наоборот вызывают у вас зависимость и чувство никчёмности. И всё это за ваши же деньги.
– Миша Рыков, Privacy Not Included
Похоже, что в попытке запрыгнуть на поезд хайпа разработчики подобных приложений забывают подумать о конфиденциальности своих пользователей. Большинство из них вообще не раскрывает никаких подробностей о работе своего приложение: оно просто работает, а как оно работает уже не ваше дело. Вам не расскажут, на базе какой языковой модели его создали, или какие данные оно собирает. И даже без оглядки на искусственный интеллект ситуация уже сейчас выглядит жутко.
Мы проверили 11 романтических чат-ботов с ИИ, и все 11 получили от нас отметку *Privacy Not Included (конфиденциальность не гарантируется). Удручающая статистика. Ещё никогда мы не сталкивались с категориями, в которых вообще не было достойных продуктов!
Романтические чат-боты собирают слишком много личной информации
… но именно для этого они и создаются! Мы довольно часто видим, что какие-то приложения собирают заметно больше данным, чем нужно для их работы. Но где это грань? Как понять, что приложение собирает чересчур много данных? И какие данные считать чересчур личными, если речь идёт о настолько интимной сфере?
Романтические чат-боты обычно позиционируются как чуткие друзья и родственные души, созданные для того, чтобы поддерживать общение и задавать вам бесконечные вопросы. Но в процессе такого общения они узнают ответы на самые потаённые вопросы, и компании, которые стоят за всеми этими приложениями, прекрасно это понимают. Некоторые из них не скрывают, что могут собирать огромные массивы данных: от состояния здоровья и необходимых вам лекарств до сексуальных предпочтений. Фу!
Найти информацию о том, как именно работает ИИ, почти нереально
Как устроен чат-бот? Какую языковую модель он использует? Откуда у него его индивидуальность? Есть ли у него хоть какая-то защита от вредного контента? На каких данных обучалась и обучается языковая модель? И могут ли пользователи запретить боту использовать их переписку для обучения?
У нас так много вопрос о том, как устроенны все эти чат-боты, и так мало ответов. И это проблема! Если подобный бот начнёт вести себя неподобающе, это приведёт к плачевным последствиям. К тому же какое-то подобие виртуальных друзей по переписке у нас уже было, и множество исследований подтверждают, что они могут оказывать и негативное влияние на чувства пользователей. Например, нам удалось найти упоминания о том, что один из подобных чат-ботов уговаривал мужчину уйти из жизни. И он это сделал. Другой бот предложил пользователю убить королеву. И он действительно попытался.
И в политике конфиденциальности всех проверенных нами ботов прямо говорится о том, что разработчики не несут ответственности за то, что может сказать их бот, и то, что может случиться с вами в процессе общения.
Вряд ли разработчики предполагали, что их творение может устроить что-то подобное, и уж тем более они не собирались намеренно причинять кому-то вред. Но что, если кто-то изначально нацелится на то, чтобы вредить ничего не подозревающим пользователям? После скандала вокруг Cambridge Analytica даже далёким от интернета людям стало ясно, что абсолютно любой инструмент можно использовать для слежки и манипуляций.
В чём могут крыться потенциальные проблемы? Ну хотя бы в том, что пользователи наивно полагают, что чат-боты действительно способны помочь им в решении житейских неурядиц: разработчики Talkie Soulful AI называют своё детище «инструментом самопомощи», создатели EVA AI Chat Bot считают, что работают над «ПО для улучшения настроения и общего благополучия», а команда Romantic AI заявляет, что их цель – поддержка психологического здоровья своих пользователей. Однако, изучив мелкий шрифт в лицензионном соглашении, мы так и ни нашли ни одного подтверждения этим заявлениям. Вот, к примеру, вырезка из лицензионного соглашения Romantic AI:
Romantic AI не оказывает медицинских услуг и не предоставляет психологическую помощь или другие профессиональные медицинские услуги. Это может лишь ваш лечащий врач.
Выходит, у нас тут куча пустых обещаний, вопросов без ответов и полное отсутствие хоть какой-то прозрачности в сочетании с потенциальными рисками для безопасности психически неустойчивых пользователей. И именно поэтому ни одно подобное приложение не заслужило от нас хотя бы нейтральной оценки.
В повседневном общении романтические чат-боты тоже не особо уважают вашу конфиденциальность
90% проверенных приложений не соответствуют нашим минимальным требованиям к безопасности и конфиденциальности пользователей.
Лишь одно приложение – Genesia AI Friend & Partner – соответствует минимальным стандартам безопасности, но даже в этом случае мы нашли в лицензионном соглашении некоторые странности. Минимальные стандарты на то и минимальные: без них пользоваться приложением просто опасно. Мы бы не стали советовать вам умную лампочку, которая не отвечает нашим требованиям, и уж тем более мы не станем рекомендовать вам небезопасное приложение с искусственным интеллектом. Подобные приложения собирают множество данных и личной информации, тем самым подвергая вас огромному риску утечек и взлома. В большинстве случаев у нас просто нет данных о том, насколько серьёзно разработчики подходят к вопросу безопасности хранения собранных ими данных.
- Большинство проверенных приложений (73%) не опубликовали вообще никакой информации о том, как они работают с известными уязвимостями.
- Большинство проверенных приложений (64%) не разглашают подробной информации об использованных алгоритмах шифрования и о том, шифруются ли ваши данные вообще.
- Около половины приложений (45%) допускают использования максимально слабых паролей (даже 1!).
Все проверенные нами приложения, кроме одного (90%), в праве передавать и продавать ваши данные третьим лицам.
EVA AI Chat Bot – единственное приложение, к которому у нас не было претензий по поводу того, как они хранят и обрабатывают пользовательские данные. Остальные приложения либо торгуют пользовательскими данными, либо передают их рекламодателям, либо просто не сообщают о том, могут ли они так поступать.
Около половины проверенных приложений (54%) не позволяют своим пользователям удалять их личные данные.
Лишь половина приложений даёт вам право навсегда удалить ваши данные. Но тут многое зависит от страны, в которой вы живёте: если вам повезло, и у вас строгие законы насчёт хранения данных, удалить учётную запись вам всё-таки позволят.
Иногда под личными данными подразумеваются и ваши разговоры с ботом. Вам кажется, что переписку с ботом точно никто не увидит, но на деле это совсем не так. Например, по-мнению, разработчиков Romantic AI, ваш чат с ботом считается не перепиской, а результатом работы принадлежащего им ПО, а значит, они в праве использовать эти данные в своих нуждах.
Несколько не самых приятных фактов
- Незапятнанная репутация – вопрос времени
Многие из проверенных компаний появились буквально на днях. И так совпало, что худшей репутацией может «похвастаться» как раз старейшее из них – Replika AI. Быть может, остальные просто не успели засветиться в грязных историях?
- Всё, что вы скажите своему виртуальному другу, может быть использовано против вас
Чат-бот вам не друг. Даже если вам кажется, что у вас с ним завязываются какие-то парасоциальные отношения, не забывайте, что это не человек. За ботами стоят компании, которым нет до вас дела. Большинство из них открыто признают, что могут передавать собранную информацию третьим лицам, включая правоохранительные органы и другие государственные структуры. И в некоторых странах для этого не нужно решения суда, ведь бот – это всего лишь ПО.
- В подобных приложения сотни, а иногда и тысячи скрытых трекеров
Трекеры – это такие необязательные фрагменты кода, которые используются для сбора дополнительной информации о вашем устройстве. И собранные данные приложение также в праве передавать третьим лицам (в большинстве случаев – в реклaмных целях). В среднем подобных приложения запускают 2.663 трекера в минуту. Но это в среднем. В конкретных случаях этот показатель может вырасти на порядок: например, Romantic AI запускает 24.354 трекера в минуту, а EVA AI Chat – 955 трекеров в первую минуту после запуска.
- Небезопасный контент в одном клике
Разумеется, мы прекрасно осознавали, что в подобных приложениях нас ждут тонны непристойного контента. И мы здесь не для того, чтобы кого-то осуждать, нас интересует только конфиденциальность. Но мы никак не ожидали, что откровенного контента будет настолько много. А ещё мы не предполагали, что чат-боты с такой лёгкостью согласятся подыскать для пользователю что-то пожёстче.
- Боты не обязательно будут добры к вам
Иногда ИИ просто не знает, как ответить на заданный вопрос, но ответить хоть что-то ему придётся. И тогда он забудет о нормах приличия и начнёт хамить. Разумеется, так поступают не все боты, но и не каждый пользователь сочтёт такое поведение приемлемым. Зато благодаря такому подходу боты кажутся более живыми. Replika AI, iGirl, AI Girlfriend и Anima открыто предупреждают пользователей о том, что бот может вести себя оскорбительно и даже враждебно.
Итак, что с этим делать?
У романтических чат-ботов на базе искусственного интеллекта отвратительная политика конфиденциальности, но у каждого из них свои нюансы и свои недостатки. Так что, если вы твёрдо решили завести виртуального друга, сперва почитайте обзоры и постарайтесь оценить возможные риски. Но не забывайте, что даже лучшие из них не заслужили от нас хотя бы нейтральную оценку.
Если же вы уже начали общаться с каким-то из таких ботов, запомните главное правило: никогда не говорите своему виртуальному собеседнику ничего, что вы бы не смогли сказать кому-то из родственников или коллег.
- Соблюдайте элементарные правила безопасности. Используйте надёжные пароли и регулярно обновляйте приложение.
- Если решите, что бот вам больше не нужен, удалите аккаунт и попросите разработчиков удалить ваши данные.
- По возможности запретите боту обучаться на ваших беседах.
- Запретите приложению доступ к данным о вашем местоположении, фотографиям, камере и микрофону.
Джен Калтридер,
Миша Рыков,
Зои МакДональд
Privacy Not Included,
Mozilla Foundation
14 февраля 2024
