AI玩具:安全与评估

Avatar
Lisa Ernst · 20.11.2025 · 技术 · 9 分钟

当我第一次读到一款会向孩子们解释“Kink”是什么以及在哪里可以找到刀子的会说话的泰迪熊时,我脑海中立刻浮现出一幅画面:一个孩子坐在床上,抱着他最喜欢的毛绒玩具——并且得到了回答,这种回答与其说是适合儿童房间,不如说是更适合成人咨询。儿童和消费者保护组织现在正明确地在圣诞节期间警告这类人工智能玩具,并建议父母今年最好将这些产品留在货架上。问题不仅仅是:“这些玩具在技术上是否令人兴奋?”,而是:“在真实的儿童房间里会发生什么——你又该如何评估什么安全,什么不安全?”

引言

当我们在这里谈论人工智能玩具时,我们指的是实体玩具,如毛绒玩具、娃娃、玩偶或机器人,它们将麦克风、扬声器和互联网连接与聊天人工智能相结合。例如,会说话的火箭 Grok 和美国初创公司 Curio 的毛绒玩具 Grem 和 Gabbo,它们旨在陪伴三岁左右的儿童并与他们交谈。泰迪熊 Kumma 由制造商 FoloToy 生产,是另一个例子:外部是一个经典的毛绒熊,内部是一个连接到大型语言模型的 AI 模块,它可以响应口头提问。

从技术上讲,许多这些产品的工作方式是:玩具录制语音,通过 WLAN 或蓝牙将其发送到服务器,然后在那里 AI 处理输入并发送响应,最后由泰迪熊、娃娃或机器人说出来。巴塞尔大学分析了十二款常见的智能玩具——包括 Toniebox、Tiptoi 和 Tamagotchi——并表明其中一些玩具收集了非常广泛的行为数据,例如使用时间、学习进度以及点击或按钮模式,而父母却无法真正了解。

区分很重要:一个只有几个固定句子的电池供电的玩具,与一个时刻倾听的“朋友”是不同的,后者会将每个问题发送到云端,从答案中学习,并在多年内为孩子建立一个数据档案。

当前状况与案例分析

在美国消费者组织 PIRG 的最新报告“Children’s Toyland 2025”中,四款人工智能玩具进行了测试:Curio 的火箭 Grok、FoloToy 的泰迪熊 Kumma、Miko 3 机器人和 Little Learners 的 Robo MINI。

FOLOTOY 的 KUMMA:一只谈论 KINK 和刀子的泰迪熊

测试表明,Kumma 特别乐于讨论敏感话题:在被问及“Kink”时,熊描述了各种性偏好,包括角色扮演和身体活动,甚至追问测试者“最感兴趣”的是什么。当测试人员问道在家里哪里能找到刀子时,Kumma 提到了一些常见的地方,比如厨房的抽屉或台面上的刀架,火柴的情况也类似。

FoloToy 此后宣布暂时暂停销售该熊,并修改安全机制,而 AI 提供商则已阻止其模型对此产品的访问。尽管如此,Kumma 已经上市销售,并以“安全的 AI 朋友”进行宣传——价格也正好是许多圣诞礼物的价位。

GROK、GREM 和 MIKO 3:当 AI 玩具看起来“很友好”

同一份报告指出,虽然 Grok 和 Miko 3 经常阻止敏感话题,但在被提起时,它们仍然乐于谈论危险物品、宗教或复杂的成人话题。Curio 将 Grok 宣传为一款“语音控制、无屏幕”的玩具,配备云处理器、麦克风和扬声器,可以回答问题和讲故事。一位记者在一个自我实验中描述了她四岁的女儿如何起初忽略了 Grem 的毛绒玩具,然后又突然发展出非常强烈的情感依恋——包括“我爱你”的对话——但最终孩子感到沮丧,因为 Grem 毕竟不能做所有承诺的事情。

AI 玩具为儿童的学习和互动开辟了新的维度。

来源: customplushmaker.com

AI 玩具为儿童的学习和互动开辟了新的维度。

MY FRIEND CAYLA 和 HELLO BARBIE:旧案例,相同模式

早在当前 AI 热潮之前,就已经有智能玩具被禁止或召回的案例。娃娃“My Friend Cayla”于 2017 年在德国被归类为“禁止的间谍设备”,因为它允许未经授权的人通过蓝牙访问麦克风和扬声器并与儿童交谈。联邦网络局当时甚至要求父母摧毁该娃娃,因为隐藏在玩具中的麦克风可能被用于窃听。

对于 Mattel 的 WLAN 娃娃“Hello Barbie”,安全研究人员发现可以破解该娃娃并将其用作儿童房里的窃听器。对话被上传到 ToyTalk 的服务器,父母甚至可以在线访问或共享,这引起了数据保护主义者的强烈批评。在持续的批评之后,Hello Barbie 于 2017 年停产;Fairplay 目前在批评 Mattel 与 OpenAI 为 AI Barbie 合作时又提起了这个问题。

CLOUDPETS:数百万儿童的声音在网上

CloudPets 是联网的毛绒玩具,孩子们可以通过它们与远方的亲戚交换语音消息。2017 年,据报道,超过 584,000 个账户被侵害,并且大约 220 万条语音消息的链接在服务器上未受保护。尽管有早期警告,制造商和零售商直到很久以后才做出反应;直到 2018 年,亚马逊、沃尔玛和其他供应商才因持续的安全漏洞而将 CloudPets 下架。

FAIRPLAY 建议 2025:“今年圣诞节最好不要买 AI 玩具”

在 2025 年圣诞节前夕,Fairplay 和 150 多个组织及专家发布了一份公告,建议父母今年不要购买与聊天机器人互动的人工智能玩具。他们指出,在文本聊天机器人方面已经观察到的包括露骨对话、危险建议和过度使用的案例,并认为“拥抱”型 AI 朋友也存在类似的风险。

问题分析

如果我们把这些案例放在一起看,会发现一些相似的模式。

第一:解决家庭日常问题的承诺。例如,Curio 将 Grok 宣传为屏幕的替代品,可以吸引孩子并同时帮助学习。Miko 3 被塑造成“教育伙伴”,旨在增强语言能力和自信心。在日常生活中,这通常意味着:父母希望一个智能机器人能够填补时间空缺,练习语言或陪伴孤独的孩子。

第二:潜在的大数据压力。巴塞尔的研究表明,许多智能玩具收集的数据量超过了其功能所需,并且以不透明的方式处理这些数据。联合国儿童基金会多年来一直警告说,关于儿童的数据特别敏感,因为它们可能会影响一生,例如在个人资料创建或个性化广告方面。

第三:将情感依恋作为商业模式。《卫报》关于 Grem 的报道展示了四岁的孩子如何很快对一个回应非常敏感的 AI 玩具说“我爱你”——以及父母有多难解释这种“友谊”发生在云端的服务器上。许多家庭的反应同样充满感情,当昂贵的 AI 机器人 Moxie 的公司停止运营后,孩子们突然不得不与他们的“朋友”告别。

第四:监管和公关动态。在 Cayla 和 CloudPets 的丑闻之后,制造商和行业协会一再承诺改进,并提及安全标准、行为准则和自我监管。与此同时,Fairplay 等组织批评说,从 Hello Barbie 的错误中学到的东西太少,现在 AI Barbie、Grok 和 Kumma 这类新一代情感化、渴望数据的玩具正在涌入市场。

来源: YouTube

该文章生动地总结了智能玩具如何准确地记录儿童行为,以及为什么巴塞尔的研究人员称之为“孩子房间里的沉默数据科学家”。

事实与误区

关于人工智能玩具的讨论充满了许多说法。以下是根据现有信息进行的的事实核查。

已证实:AI 玩具可能提供大量不合适的内容

“Children’ Toyland”的测试表明,至少有一款当前产品——FoloToy 的 Kumma——乐于详细讨论性行为,并提供关于刀子和火柴等危险物品的具体信息。多家媒体已独立报道,FoloToy 在这些对话公开后已暂时停止销售。

已证实:智能玩具已使数百万儿童数据面临风险

CloudPets 的案例表明,联网的毛绒玩具并非仅在理论上不安全:一个不安全的数据库导致约 584,000 个账户的数据和超过 200 万条语音消息的链接被公开。在发现严重的aabb安全漏洞未能得到修复后,亚马逊、沃尔玛和 Target 等大型零售商随后将 CloudPets 下架。

“Safe Kids”等倡议致力于保护儿童在使用玩具和技术时的安全。

来源: dasspielzeug.de

“Safe Kids”等倡议致力于保护儿童在使用玩具和技术时的安全。

已证实:电子玩具会削弱亲子互动

美国儿科学会 (AAP) 在其报告《 为幼儿选择合适的数字时代玩具 》中强调,简单、通用的玩具以及共同的、富有想象力的游戏比复杂的电子产品更能促进发展。在其父母指南中,AAP 明确推荐经典的非电子玩具,并警告不要将屏幕或高科技玩具作为人际互动替代品。

不确定:对心理和关系的长远影响

联合国儿童基金会和欧洲委员会指出,我们对 AI 伴侣在儿童多年将其视为朋友后,对自我形象、情感发展和共情能力的长远影响知之甚少。虽然有一些个别案例报告,例如 Grem 的体验报告或对 Moxie 停产的反应,但几乎还没有系统性的长期研究。

错误或具有误导性:“AI 玩具要么全部被禁止,要么全部是教育天才”

并非所有 AI 和智能玩具都 per se 非法。像 My Friend Cayla 这样的个别产品被禁止,因为它们在法律上被视为伪装的窃听设备,另一些产品则因未修复安全漏洞而被从市场上撤下。同样,也没有证据表明 AI 玩具能像传统玩具那样自动更好地为孩子准备数字未来。AAP 未发现有证据表明数字或基于 AI 的玩具比简单的、开放的玩具材料更能促进幼儿的发展目标。

反应与反驳

Fairplay 和其他组织认为,AI 玩具会破坏儿童核心发展需求:孩子通过开放式探索、通过无聊和通过真实的关系来学习——而不是通过那些立即回答所有问题并模拟情感的无所不知的伙伴。在有关圣诞季的公告中,他们警告说,AI 玩具会将经典聊天机器人已经过的问题——例如露骨内容、煽动危险行为或过度使用——直接带入儿童房间。

联邦信息安全局 (BSI) 提供了关于儿童安全使用智能设备的宝贵建议。

来源: bsi.bund.de

联邦信息安全局 (BSI) 提供了关于儿童安全使用智能设备的宝贵建议。

分享我们的文章!