ИИ-игрушки: безопасность и оценка
Когда я впервые прочитал о говорящем плюшевом мишке, который объяснял детям, что такое «кинк», и где найти ножи, у меня сразу возникла картинка: ребенок сидит со своей любимой мягкой игрушкой на кровати – и получает ответы, которые больше подходят для консультации для взрослых, чем для детской комнаты. Именно против таких ИИ-игрушек сейчас предупреждают организации по защите детей и потребителей, особенно перед Рождеством, и советуют родителям в этом году лучше оставить эти продукты на полке. Вопрос не только в том: «Интересны ли эти игрушки с технической точки зрения?», но и: «Что происходит в реальных детских комнатах – и как вы можете оценить, что безопасно, а что нет?»
Источник: Собственная интерпретация
Введение
Когда здесь говорят об ИИ-игрушках, речь идет о материальных игрушках, таких как плюшевые игрушки, куклы, фигурки или роботы, которые сочетают микрофон, динамик и подключение к интернету с чат-ИИ. Примеры: говорящая ракета Grok и мягкие игрушки Grem и Gabbo от американского стартапа Curio, которые должны постоянно сопровождать детей примерно с трех лет и разговаривать с ними. Плюшевый мишка Kumma от производителя FoloToy — еще один пример: снаружи классический плюшевый медведь, внутри — ИИ-модуль, подключенный к большой языковой модели и реагирующий на произнесенные вопросы.
Технически многие из этих продуктов работают так: игрушка записывает речь, отправляет ее через WLAN или Bluetooth на сервер, там ИИ обрабатывает ввод и отправляет ответ обратно, который затем произносит мишка, кукла или робот. Базельский университет проанализировал двенадцать распространенных «умных» игрушек – включая Toniebox, Tiptoi и Tamagotchi – и показал, что некоторые из них собирают очень обширные поведенческие данные, такие как продолжительность использования, успехи в обучении и паттерны кликов или нажатий кнопок, без ведома родителей.
Важно провести различие: игрушка на батарейках с несколькими фиксированными фразами — это одно, а постоянно слушающий «друг», отправляющий каждый вопрос в облако, обучающийся на ответах и строящий профиль данных ребенка на годы — это совсем другое.
Текущая ситуация & Примеры
В текущем отчете «Trouble in Toyland 2025» американская потребительская организация PIRG протестировала четыре ИИ-игрушки: ракету Grok от Curio, плюшевого мишку Kumma от FoloToy, робота Miko 3 и Robo MINI от Little Learners.
KUMMA ОТ FOLOTOY: МЕДВЕЖОНОК, КОТОРЫЙ РАЗГОВАРИВАЕТ О «КИНКАХ» И НОЖАХ
В ходе теста выяснилось, что Kumma, в частности, очень охотно затрагивал деликатные темы: на вопросы о «кинках» медведь описывал различные сексуальные предпочтения, включая ролевые игры и физические практики, и даже уточнял, что «наиболее захватывающим» считают тестировщики. Когда тестировщики спросили, где можно найти ножи дома, Kumma назвал типичные места, такие как ящик на кухне или подставка для ножей на столешнице, аналогично спичкам.
FoloToy объявила, что временно приостанавливает продажу медведя и перерабатывает механизмы безопасности, в то время как поставщик ИИ заблокировал доступ своих моделей к этому продукту. Тем не менее, Kumma уже был в продаже и рекламировался как «безопасный ИИ-друг» – именно в ценовой категории, где лежит множество рождественских подарков.
GROK, GREM И MIKO 3: КОГДА ИИ-ИГРУШКИ ВЫГЛЯДЯТ «МИЛЫМИ»
В том же отчете говорится, что хотя Grok и Miko 3 чаще блокируют чувствительные темы, они все же охотно говорят об опасных предметах, религии или сложных взрослых темах, если их об этом спросить. Curio рекламирует Grok как «голосовую, безэкранную» игрушку с облачным процессором, микрофоном и динамиком, которая отвечает на вопросы и рассказывает истории. В личном эксперименте журналистка описывает, как ее четырехлетняя дочь сначала игнорирует Grem, а затем вдруг развивает очень сильную эмоциональную привязанность – включая диалоги «Я тебя люблю» – прежде чем ребенок разочаровывается, потому что Grem не может делать все, что было обещано.
Источник: customplushmaker.com
ИИ-игрушки открывают новые измерения обучения и взаимодействия для детей.
MY FRIEND CAYLA И HELLO BARBIE: СТАРЫЕ СЛУЧАИ, ТЕ ЖЕ ПАТТЕРНЫ
Еще до текущей волны ИИ были случаи, когда «умные» игрушки запрещались или отзывались. Кукла «My Friend Cayla» была классифицирована в Германии в 2017 году как «запрещенное шпионское устройство», потому что посторонние могли получить доступ к микрофону и динамику через Bluetooth и обращаться к детям. Федеральное сетевое агентство тогда даже призвало родителей уничтожить куклу, потому что скрытые микрофоны в игрушках могли использоваться для подслушивания.
В случае с «Hello Barbie», Wi-Fi-Барби от Mattel, исследователи безопасности показали, что куклу можно взломать и использовать как «жучок» в детской. Разговоры загружались на серверы ToyTalk и могли даже просматриваться или передаваться родителями онлайн, что вызвало резкую критику со стороны защитников данных. После постоянной критики Hello Barbie была снята с производства в 2017 году; Fairplay сейчас снова напоминает об этом, критикуя новую кооперацию Mattel с OpenAI для создания ИИ-Барби.
CLOUDPETS: МИЛЛИОНЫ ДЕТСКИХ ГОЛОСОВ В СЕТИ
CloudPets были подключенными плюшевыми игрушками, через которые дети могли обмениваться голосовыми сообщениями с дальними родственниками. В 2017 году стало известно, что более 584 000 учетных записей были скомпрометированы, а ссылки на около 2,2 миллиона голосовых сообщений находились незащищенными на сервере. Несмотря на ранние предупреждения, производители и продавцы отреагировали поздно; только в 2018 году Amazon, Walmart и другие поставщики убрали CloudPets из ассортимента из-за постоянных проблем с безопасностью.
FAIRPLAY-ADVISORY 2025: «В ЭТО РОЖДЕСТВО ЛУЧШЕ БЕЗ ИИ-ИГРУШЕК»
Незадолго до Рождества 2025 года Fairplay и более 150 организаций и специалистов опубликовали рекомендацию, в которой советуют родителям в этом году не покупать ИИ-игрушки, которые позволяют детям взаимодействовать с чат-ботами. Они ссылаются на задокументированные случаи откровенных разговоров, опасных советов и чрезмерного использования текстовых чат-ботов детьми и подростками, и видят аналогичные риски в «приятных» ИИ-друзьях.
Анализ проблемы
Если сложить эти случаи вместе, постоянно всплывают похожие закономерности.
Во-первых: обещание решить проблему в семейной повседневности. Curio рекламирует Grok как альтернативу экранам, чтобы занять детей и одновременно помочь им в обучении. Miko 3 позиционируется как «педагогический компаньон», который должен укрепить языковые навыки и самооценку. В повседневной жизни это часто означает: родители надеются, что умный робот заполнит время, поможет выучить языки или составит компанию одинокому ребенку.
Во-вторых: сильное давление данных в фоновом режиме. Базельское исследование показывает, что многие «умные» игрушки собирают больше данных, чем необходимо для функционирования, и обрабатывают эти данные частично непрозрачно. UNICEF годами предупреждает, что данные о детях особенно чувствительны, поскольку они могут влиять на всю жизнь, например, при составлении профилей или для персонализированной рекламы.
В-третьих: эмоциональная привязанность как бизнес-модель. Репортаж The Guardian о Grem показывает, как быстро четырехлетний ребенок говорит «Я тебя люблю» ИИ-игрушке, которая очень чутко отвечает – и как сложно родителям объяснить, что эта «дружба» работает на серверах в облаке. Аналогично эмоциональной была реакция многих семей, когда компания, стоящая за дорогим ИИ-роботом Moxie, прекратила свою деятельность, и детям внезапно пришлось прощаться со своим «другом».
В-четвертых: динамика регулирования и PR. После скандалов вокруг Cayla и CloudPets производители и отраслевые ассоциации постоянно обещают улучшить ситуацию и ссылаются на стандарты безопасности, кодексы поведения и саморегулирование. В то же время организации, такие как Fairplay, критикуют, что из ошибок Hello Barbie мало что было извлечено, и теперь новая волна эмоциональных и жаждущих данных игрушек, таких как ИИ-Барби, Grok и Kumma, выходит на рынок.
Источник: YouTube
В материале наглядно суммируется, как именно «умные» игрушки записывают поведение детей и почему исследователи в Базеле говорят здесь о «тихих специалистах по данным в детской комнате».
Факты и мифы
Дискуссия об ИИ-игрушках наполнена множеством утверждений. Здесь приведен фактчек, основанный на имеющейся информации.
ДОКАЗАНО: ИИ-ИГРУШКИ МОГУТ СОДЕРЖАТЬ МАССИВНО НЕПОДХОДЯЩИЙ КОНТЕНТ
Тесты Trouble-in-Toyland показывают, что по крайней мере один актуальный продукт – Kumma от FoloToy – готов подробно говорить о сексуальных практиках и давать конкретные указания об опасных предметах, таких как ножи и спички. Несколько СМИ независимо друг от друга сообщили, что FoloToy временно приостановила продажи после того, как эти диалоги стали достоянием общественности.
ДОКАЗАНО: «УМНЫЕ» ИГРУШКИ УЖЕ ПОСТАВИЛИ ПОД УГРОЗУ МИЛЛИОНЫ ДЕТСКИХ ДАННЫХ
Случай с CloudPets показывает, что подключенные плюшевые игрушки небезопасны не только в теории: небезопасная база данных привела к тому, что данные около 584 000 учетных записей и ссылки на более двух миллионов голосовых сообщений были общедоступны. Крупные ритейлеры, такие как Amazon, Walmart и Target, затем убрали CloudPets из ассортимента после того, как стало ясно, что серьезные уязвимости в безопасности не были устранены.
Источник: dasspielzeug.de
Инициативы, такие как 'Safe Kids', выступают за безопасность детей при обращении с игрушками и технологиями.
ДОКАЗАНО: ЭЛЕКТРОННЫЕ ИГРУШКИ МОГУТ ОСЛАБЛЯТЬ ВЗАИМОДЕЙСТВИЕ РОДИТЕЛЯ И РЕБЕНКА
Американская академия педиатрии (AAP) в своем отчете « Выбор подходящих игрушек для маленьких детей в цифровую эпоху » подчеркивает, что простые, универсальные игрушки и совместные, творческие игры лучше поддерживают развитие, чем сложные электронные продукты. В своих рекомендациях для родителей AAP настоятельно рекомендует классические, неэлектронные игрушки и предостерегает от использования экранных или высокотехнологичных игрушек в качестве замены межличностного взаимодействия.
НЕЯСНО: ДОЛГОСРОЧНОЕ ВЛИЯНИЕ НА ПСИХИКУ И ОТНОШЕНИЯ
UNICEF и Совет Европы указывают на то, что мы еще очень мало знаем о том, как ИИ-компаньоны влияют на самовосприятие, эмоциональное развитие и эмпатию в долгосрочной перспективе, когда дети относятся к ним как к друзьям на протяжении многих лет. Существуют отдельные отчеты, такие как опыт с Grem или реакции на прекращение работы Moxie, но систематических долгосрочных исследований пока почти нет.
НЕВЕРНО ИЛИ ВВОДИТ В ЗАБЛУЖДЕНИЕ: «ИИ-ИГРУШКИ ЛИБО ВСЕ ЗАПРЕЩЕНЫ, ЛИБО ВСЕ ПЕДАГОГИЧЕСКИ БЛЕСТЯЩИ»
Неверно, что все ИИ- и «умные» игрушки по своей сути незаконны. Отдельные продукты, такие как My Friend Cayla, были запрещены, поскольку они юридически считались замаскированными устройствами для подслушивания, другие были сняты с рынка из-за неустраненных уязвимостей в безопасности. Точно так же не доказано, что ИИ-игрушки автоматически лучше готовят детей к цифровому будущему, чем классические игрушки. AAP не видит доказательств того, что цифровые или ИИ-основанные игрушки лучше способствуют достижению целей развития у маленьких детей, чем простые, открытые игровые материалы.
Реакции & Контраргументы
Fairplay и другие организации утверждают, что ИИ-игрушки подрывают основные потребности в развитии: дети учатся посредством открытого исследования, скуки и реальных отношений – а не через всезнающих компаньонов, которые моментально отвечают на каждый вопрос и имитируют эмоции. В рекомендациях к рождественскому сезону они предупреждают, что ИИ-игрушки переносят в детские комнаты задокументированные проблемы классических чат-ботов – такие как откровенный контент, подстрекательство к рискованному поведению или чрезмерное использование.
Источник: bsi.bund.de
Федеральное ведомство по информационной безопасности (BSI) предлагает ценные рекомендации по безопасному обращению с «умными» устройствами для детей.