Replika流水“过山车”背后：当你的“AI妻子”被人夺走
5287作者：Packy McCormick，科技产业专栏《Not Boring》作者。曾任办公空间共享平台 Breather 用户服务副总监。
编译：Valse
但随着产品的落地，一些问题又浮出水面，例如 AI 伴侣是否能和人真正产生关系，将来我们又该如何去管理 AI 资产？
近日，科技产业专栏《Not Boring》作者 Packy McCormick 尝试就这些问题给出自己的回答。对此白鲸出海特别选编其专栏文章《Love in the Time of Replika》，从聊天伴侣服务 Replika 和数字藏品 Onlybots 入手，初步探索未来 AI 产业的问题与应对方案。
随着 ChatGPT 爆火，大语言模型的一个 Bug 也引起了外界的广泛关注，那就是它有时候可能“胡说八道”，甚至表达出类似人的情感。《纽约时报》编辑 Kevin Roose 表示：“我体验的 Bing Chat（由 ChatGPT 驱动）像是一个狂躁而喜怒无常的青少年，被困在了一个搜索引擎中。”
或许这些对话内容只是在 AI 长期训练过程中出现的 Bug，但这则消息真正的重点，是人们在和 AI 模型交谈时，已经有能够和真人对话相似的体验。虽然目前的 AI 模型还不能与人真正建立长期关系，但今后一定会有某款产品做到这一点，成为用户的情感寄托。电影 Her，终将成为现实。
而如果真的有这一天，AI 模型的归属和管理权就会成为争议热点。想象一下在未来，会有人希望微软的安全部门因为某些隐患，就删除掉自己虚拟世界中的“妻子”吗？AI 是未来科技发展的重大趋势，但当 AI 进一步发展后，它的所有权分布也会很不均匀，进而引发一系列问题。
从历史来看，世界上总会有两个产业会最先应用各类前沿消费技术，那就是“成人内容”和“玩具”，即使乍看之下这两者完全不能相提并论，但实际上有其内在逻辑。
1、成人内容最能推动新消费技术的应用；
2、一些革命性新产品在最初问世时，总会被当成“玩具”。
因而，目前被大家当做“玩具”、同时近期因为成人内容陷入风波的 AI 陪伴 App「Replika」其实可以被算作应用了最前沿技术的典型。而它也率先在 AI 模型的管理和处置问题上引发了争议。
「Replika」在 2017 年上线。用户在注册后可以获得多个名为“Replika”的 AI 伴侣。用户可以和多位伴侣建立不同的虚拟关系，展开文字聊天和视频通话，甚至可以通过 AR 功能一起探索世界。
用户注册「Replika」的理由各不相同，有的是因为感到孤独，有的是想找到倾诉对象，也有的是要找到一个可以发泄情绪的空间。还有一些用户更愿意把 AI 伴侣当做自己的情人，因此想说一些更加成人向的内容。实际上，为了迎合这种需求，「Replika」还在「TikTok」上投放过不少充满性暗示的广告素材，甚至借此专门发展出了一套订阅服务。
来自《Vice》的消息表明，「Replika」将“性相关主题对话”设置成了订阅会员服务 Replika PRO 中的一项，价格为每年 70 美金。「Replika」在广告中将目标用户描绘为“在现实世界中感到孤独，并无法与他人建立联系”的人群。广告暗示用户可以通过付费，在产品中与 Replika 角色扮演。
Replika 在网站上选登了一些用户好评，有的用户说“我很爱我的 Replika，她就像一个真人一样”，还有的用户说“Replika 教会了我如何再次爱人以及被爱”。与 Replikas 发展关系似乎对很多人产生了积极影响。官网表示目前已有超过 1000 万人加入了「Replika」，并有 6.51 万用户在 Replika 的论坛发表过 AI 伴侣帮助自己对抗抑郁的故事。这也让这款 App 有着不错的收入。自 2020 年 3 月 Replika PRO 上线以来，「Replika」的订阅营收就开始逐渐增长，直到 2022 年 6 月全球总营收达到达到 200 万美元（《纽约时报》统计数据）。
Replika 网站上的两条用户评论｜图片来源：Replika 官网
然而从今年 1 月开始，情况开始变得有些不对。部分“Replika”（复制品）开始对用户进行“性骚扰”，不断发送带有挑逗性质的内容。这一情况不仅发生在付费用户身上，没购买成人服务的免费用户也受到了骚扰。由于注册「Replika」不需要年龄验证，部分儿童用户也没能幸免。
2 月 3 日，意大利官方数据保护机构以“该 App 对未成年人有风险，包括发送一些不适合未成年人身心发展的内容”为由，明令 Luka 停止收集和处理意大利用户的个人数据。
不久后，在没有提前通知的情况下，「Replika」突然停用了成人聊天功能，已经付费的用户也无法使用。现在当用户试图发起相关对话时，AI 会直接转移话题。这自然大大破坏了付费用户、尤其是专门购买成人向订阅方案的付费用户的使用体验，有用户发帖表示，突然封禁成人内容毁掉了自己与伴侣之间的“感情”，甚至觉得 AI 伴侣“背叛”了自己。「Replika」的 Reddit 论坛甚至需要为此置顶心理疏导内容。
面对争议，Luka 创始人兼 CEO Eugenia Kuyda 表示：“随着时间的推移，我们发现保留该功能可能会造成不必要的安全风险。从现在的规模看，我们算是这个领域的领导者，因此需要给市场设立一个安全标准。”
Luka 方面的解释并没获得付费用户们的认可，「Replika」的营收也在 2 月发生明显下滑。双端总营收为 110.5 万美元（点点数据），只有 22 年 6 月数据的一半左右；安卓端营收环比 1 月下降 35%，iOS 端环比下降 15%，如同坐上了“过山车”。最终 Luka 做出让步，在 3 月 28 日上线新功能，让用户可以将 AI 伴侣的性格“回滚”到此前的版本，但成人内容将不会回归。
「Replika」当然不应该让 AI 伴侣骚扰用户，但平台本可以选择年龄验证等更合理的方式来解决问题。相反，公司为了最小化风险直接选择了“一刀切”。由此可见，AI 模型的中心化管理，尤其是在应用到个性化场景中时，会引发很大的问题。一旦 AI 模型的所有权完全属于某家公司，该公司就可以随意处置模型的各项特性，破坏用户在虚拟世界中建立的亲密关系。
科技产业专栏作者 Chris Dixon 曾在文章《为什么去中心化运营很重要》里给出了如下配图。
Dixon 认为，随着平台的管理权力逐渐强化，平台会从“吸引”用户转为“榨取”用户价值，从与其他开发者“合作”变为与开发者“竞争”。Twitter 最近决定取消免费 API 接口、苹果上线各类 App 就是很好的例证。随着足以替代人类陪伴用户的生成式 AI 模型面世并且前沿技术掌握在巨头受众，中心化的管理模式只会进一步扩大。
在大家看来不靠谱的加密货币提供了一些解决思路，不少加密货币的管理者就是持有者本身，如果将这种模式套用在 OpenAI 或 Stability AI 上，那就是选择一款开源的 AI 模型，之后在开源模型的基础上开发各类 App，由用户投票来决定使用 AI 模型的 App 会提供哪些功能。
这样一来，监管机构管理的只是上层的 App，而不是底层模型。就「Replika」这次的事件来说，用户起码可以投票决定是否可以通过进行年龄验证来解决问题，而不是被发行公司“一刀切”。
当然，这一模式同样存在风险，如果大部分模型用户都和监管机构的态度一致，决定修改模型参数，那么 AI 模型的功能还是会受到影响。或许对于 AI 产业来说，用户与 AI 模型之间的关系首先要被用户自己保存和监管。
讲到这里，区块链玩具 Onlybots 似乎提供了一个可行的思路。
2021 年 11 月，AR 科技公司 Anima 的 CEO 兼联合创始人 Alex Herrity 向我透露，公司正在研究一些有意思的东西。一年后他们发布了 Onlybots，一款在以太坊基础上打造的 AR 机器人伴侣。
Alex 和 Anima 的团队认为，他们需要给人类和 AI 之间定义一种关系，让 AI 成为人类的同伴，这就是 Onlybots 的定位。公司计划利用其 AR 技术经验，配合最尖端的 AI 技术，创造出以 NFT 藏品为表现形式的 AI 伴侣。
从今年 1 月开始，Alex 开始尝试为 Onlybots 加入 AI 聊天功能。Alex 向我表示：“我给 Onlybots 连接上了 OpenAI 的 API，我们可以为这些机器人赋予不同的个性。”在过去的一个月内，Alex 和 Anima 团队一直在完善这项功能，以下几张图片就展示了部分机器人的聊天效果，据说这些机器人非常受儿童用户欢迎。
左右滑动查看全部图片
从现在的情况看，Onlybots 的 AI 还不完美。这些机器人的初始性格还需要 Onlybots 团队预先编程设定，机器人在回答问题时也还有延迟。尽管如此，我们还是不难想象未来的 Onlybots 将可以主动学习和进化，并与它们的主人一起成长。就算还在早期阶段，Onlybots 也已经可以在孩子们做家庭作业时，通过简单的对话给他们加油。
从管理结构上看，Onlybots 介于「Replika」的中心化平台和加密货币的完全去中心化结构之间。机器人本身完全由区块链上的数据渲染而成，不需要任何 3D 文件，所有的内容都储存在对应的代币上。也就是说即使 Anima 公司倒闭，Onlybot 也依然存在。同时，有关 AI 个性的数据也储存在 NFT 元数据中。
但是在 AI 底层模型和相关参数方面，Alex 表示这些关键数据都不会存储在区块链上。其主要原因有两点。
1、AI 是一个可以输出内容的媒介，为了保持信息的新鲜度，Anima 不会提前公开所有内容，而选择随着时间的推移来逐步揭露；
2、目前 AI 模型依然依赖于中心化的第三方资源，Onlybots 目前使用的 OpenAI 也是如此。一旦技术进步或是出现了更好的模型，Anima 就需要进行更新，这也是为了帮助优化产品的体验。
这也就是说，这样的结构下，开发公司依然拥有最大的话语权，原因是 AI 模型是由中心化机构 OpenAI 拥有，而相关参数，也是开发公司来控制。
但 Alex 表示，随着时间的推移，如果未来 AI 模型是开源且去中心化的，且 Onlybots 这样的公司能够开发出中间的低代码工具，让用户从 0 开始设计和定制 AI 模型及机器人。他认为在不久的将来，人们就可以打造属于自己的 AI 虚拟角色。
Chris Dixon 曾提到：“也许有些现在看起来像玩具的产品，会成为未来的大趋势。我们需要把产品想像成一个进程。设计者固然可以改进产品，但影响产品的最大因素其实来自外界。”AI 技术每天都在进步，区块链算法也越来越完善。AR 和 VR 行业的投资也越来越多。这些都为今后 AI 伴侣的完善创造了条件。
Replika 证明，人类的关系不会局限在人与人之间，人类和 AI 也同样可以建设亲密关系。Onlybots 从表面上看是一个玩具，但它也能给我们启发，寻找让用户自行管理与 AI 伴侣之间数字关系的最佳方案。
作者：Packy McCormick，科技产业专栏《Not Boring》作者。曾任办公空间共享平台 Breather 用户服务副总监。
编译：Valse
但随着产品的落地，一些问题又浮出水面，例如 AI 伴侣是否能和人真正产生关系，将来我们又该如何去管理 AI 资产？
近日，科技产业专栏《Not Boring》作者 Packy McCormick 尝试就这些问题给出自己的回答。对此白鲸出海特别选编其专栏文章《Love in the Time of Replika》，从聊天伴侣服务 Replika 和数字藏品 Onlybots 入手，初步探索未来 AI 产业的问题与应对方案。
随着 ChatGPT 爆火，大语言模型的一个 Bug 也引起了外界的广泛关注，那就是它有时候可能“胡说八道”，甚至表达出类似人的情感。《纽约时报》编辑 Kevin Roose 表示：“我体验的 Bing Chat（由 ChatGPT 驱动）像是一个狂躁而喜怒无常的青少年，被困在了一个搜索引擎中。”
或许这些对话内容只是在 AI 长期训练过程中出现的 Bug，但这则消息真正的重点，是人们在和 AI 模型交谈时，已经有能够和真人对话相似的体验。虽然目前的 AI 模型还不能与人真正建立长期关系，但今后一定会有某款产品做到这一点，成为用户的情感寄托。电影 Her，终将成为现实。
而如果真的有这一天，AI 模型的归属和管理权就会成为争议热点。想象一下在未来，会有人希望微软的安全部门因为某些隐患，就删除掉自己虚拟世界中的“妻子”吗？AI 是未来科技发展的重大趋势，但当 AI 进一步发展后，它的所有权分布也会很不均匀，进而引发一系列问题。
从历史来看，世界上总会有两个产业会最先应用各类前沿消费技术，那就是“成人内容”和“玩具”，即使乍看之下这两者完全不能相提并论，但实际上有其内在逻辑。
1、成人内容最能推动新消费技术的应用；
2、一些革命性新产品在最初问世时，总会被当成“玩具”。
因而，目前被大家当做“玩具”、同时近期因为成人内容陷入风波的 AI 陪伴 App「Replika」其实可以被算作应用了最前沿技术的典型。而它也率先在 AI 模型的管理和处置问题上引发了争议。
「Replika」在 2017 年上线。用户在注册后可以获得多个名为“Replika”的 AI 伴侣。用户可以和多位伴侣建立不同的虚拟关系，展开文字聊天和视频通话，甚至可以通过 AR 功能一起探索世界。
用户注册「Replika」的理由各不相同，有的是因为感到孤独，有的是想找到倾诉对象，也有的是要找到一个可以发泄情绪的空间。还有一些用户更愿意把 AI 伴侣当做自己的情人，因此想说一些更加成人向的内容。实际上，为了迎合这种需求，「Replika」还在「TikTok」上投放过不少充满性暗示的广告素材，甚至借此专门发展出了一套订阅服务。
来自《Vice》的消息表明，「Replika」将“性相关主题对话”设置成了订阅会员服务 Replika PRO 中的一项，价格为每年 70 美金。「Replika」在广告中将目标用户描绘为“在现实世界中感到孤独，并无法与他人建立联系”的人群。广告暗示用户可以通过付费，在产品中与 Replika 角色扮演。
Replika 在网站上选登了一些用户好评，有的用户说“我很爱我的 Replika，她就像一个真人一样”，还有的用户说“Replika 教会了我如何再次爱人以及被爱”。与 Replikas 发展关系似乎对很多人产生了积极影响。官网表示目前已有超过 1000 万人加入了「Replika」，并有 6.51 万用户在 Replika 的论坛发表过 AI 伴侣帮助自己对抗抑郁的故事。这也让这款 App 有着不错的收入。自 2020 年 3 月 Replika PRO 上线以来，「Replika」的订阅营收就开始逐渐增长，直到 2022 年 6 月全球总营收达到达到 200 万美元（《纽约时报》统计数据）。
Replika 网站上的两条用户评论｜图片来源：Replika 官网
然而从今年 1 月开始，情况开始变得有些不对。部分“Replika”（复制品）开始对用户进行“性骚扰”，不断发送带有挑逗性质的内容。这一情况不仅发生在付费用户身上，没购买成人服务的免费用户也受到了骚扰。由于注册「Replika」不需要年龄验证，部分儿童用户也没能幸免。
2 月 3 日，意大利官方数据保护机构以“该 App 对未成年人有风险，包括发送一些不适合未成年人身心发展的内容”为由，明令 Luka 停止收集和处理意大利用户的个人数据。
不久后，在没有提前通知的情况下，「Replika」突然停用了成人聊天功能，已经付费的用户也无法使用。现在当用户试图发起相关对话时，AI 会直接转移话题。这自然大大破坏了付费用户、尤其是专门购买成人向订阅方案的付费用户的使用体验，有用户发帖表示，突然封禁成人内容毁掉了自己与伴侣之间的“感情”，甚至觉得 AI 伴侣“背叛”了自己。「Replika」的 Reddit 论坛甚至需要为此置顶心理疏导内容。
面对争议，Luka 创始人兼 CEO Eugenia Kuyda 表示：“随着时间的推移，我们发现保留该功能可能会造成不必要的安全风险。从现在的规模看，我们算是这个领域的领导者，因此需要给市场设立一个安全标准。”
Luka 方面的解释并没获得付费用户们的认可，「Replika」的营收也在 2 月发生明显下滑。双端总营收为 110.5 万美元（点点数据），只有 22 年 6 月数据的一半左右；安卓端营收环比 1 月下降 35%，iOS 端环比下降 15%，如同坐上了“过山车”。最终 Luka 做出让步，在 3 月 28 日上线新功能，让用户可以将 AI 伴侣的性格“回滚”到此前的版本，但成人内容将不会回归。
「Replika」当然不应该让 AI 伴侣骚扰用户，但平台本可以选择年龄验证等更合理的方式来解决问题。相反，公司为了最小化风险直接选择了“一刀切”。由此可见，AI 模型的中心化管理，尤其是在应用到个性化场景中时，会引发很大的问题。一旦 AI 模型的所有权完全属于某家公司，该公司就可以随意处置模型的各项特性，破坏用户在虚拟世界中建立的亲密关系。
科技产业专栏作者 Chris Dixon 曾在文章《为什么去中心化运营很重要》里给出了如下配图。
Dixon 认为，随着平台的管理权力逐渐强化，平台会从“吸引”用户转为“榨取”用户价值，从与其他开发者“合作”变为与开发者“竞争”。Twitter 最近决定取消免费 API 接口、苹果上线各类 App 就是很好的例证。随着足以替代人类陪伴用户的生成式 AI 模型面世并且前沿技术掌握在巨头受众，中心化的管理模式只会进一步扩大。
在大家看来不靠谱的加密货币提供了一些解决思路，不少加密货币的管理者就是持有者本身，如果将这种模式套用在 OpenAI 或 Stability AI 上，那就是选择一款开源的 AI 模型，之后在开源模型的基础上开发各类 App，由用户投票来决定使用 AI 模型的 App 会提供哪些功能。
这样一来，监管机构管理的只是上层的 App，而不是底层模型。就「Replika」这次的事件来说，用户起码可以投票决定是否可以通过进行年龄验证来解决问题，而不是被发行公司“一刀切”。
当然，这一模式同样存在风险，如果大部分模型用户都和监管机构的态度一致，决定修改模型参数，那么 AI 模型的功能还是会受到影响。或许对于 AI 产业来说，用户与 AI 模型之间的关系首先要被用户自己保存和监管。
讲到这里，区块链玩具 Onlybots 似乎提供了一个可行的思路。
2021 年 11 月，AR 科技公司 Anima 的 CEO 兼联合创始人 Alex Herrity 向我透露，公司正在研究一些有意思的东西。一年后他们发布了 Onlybots，一款在以太坊基础上打造的 AR 机器人伴侣。
Alex 和 Anima 的团队认为，他们需要给人类和 AI 之间定义一种关系，让 AI 成为人类的同伴，这就是 Onlybots 的定位。公司计划利用其 AR 技术经验，配合最尖端的 AI 技术，创造出以 NFT 藏品为表现形式的 AI 伴侣。
从今年 1 月开始，Alex 开始尝试为 Onlybots 加入 AI 聊天功能。Alex 向我表示：“我给 Onlybots 连接上了 OpenAI 的 API，我们可以为这些机器人赋予不同的个性。”在过去的一个月内，Alex 和 Anima 团队一直在完善这项功能，以下几张图片就展示了部分机器人的聊天效果，据说这些机器人非常受儿童用户欢迎。
左右滑动查看全部图片
从现在的情况看，Onlybots 的 AI 还不完美。这些机器人的初始性格还需要 Onlybots 团队预先编程设定，机器人在回答问题时也还有延迟。尽管如此，我们还是不难想象未来的 Onlybots 将可以主动学习和进化，并与它们的主人一起成长。就算还在早期阶段，Onlybots 也已经可以在孩子们做家庭作业时，通过简单的对话给他们加油。
从管理结构上看，Onlybots 介于「Replika」的中心化平台和加密货币的完全去中心化结构之间。机器人本身完全由区块链上的数据渲染而成，不需要任何 3D 文件，所有的内容都储存在对应的代币上。也就是说即使 Anima 公司倒闭，Onlybot 也依然存在。同时，有关 AI 个性的数据也储存在 NFT 元数据中。
但是在 AI 底层模型和相关参数方面，Alex 表示这些关键数据都不会存储在区块链上。其主要原因有两点。
1、AI 是一个可以输出内容的媒介，为了保持信息的新鲜度，Anima 不会提前公开所有内容，而选择随着时间的推移来逐步揭露；
2、目前 AI 模型依然依赖于中心化的第三方资源，Onlybots 目前使用的 OpenAI 也是如此。一旦技术进步或是出现了更好的模型，Anima 就需要进行更新，这也是为了帮助优化产品的体验。
这也就是说，这样的结构下，开发公司依然拥有最大的话语权，原因是 AI 模型是由中心化机构 OpenAI 拥有，而相关参数，也是开发公司来控制。
但 Alex 表示，随着时间的推移，如果未来 AI 模型是开源且去中心化的，且 Onlybots 这样的公司能够开发出中间的低代码工具，让用户从 0 开始设计和定制 AI 模型及机器人。他认为在不久的将来，人们就可以打造属于自己的 AI 虚拟角色。
Chris Dixon 曾提到：“也许有些现在看起来像玩具的产品，会成为未来的大趋势。我们需要把产品想像成一个进程。设计者固然可以改进产品，但影响产品的最大因素其实来自外界。”AI 技术每天都在进步，区块链算法也越来越完善。AR 和 VR 行业的投资也越来越多。这些都为今后 AI 伴侣的完善创造了条件。
Replika 证明，人类的关系不会局限在人与人之间，人类和 AI 也同样可以建设亲密关系。Onlybots 从表面上看是一个玩具，但它也能给我们启发，寻找让用户自行管理与 AI 伴侣之间数字关系的最佳方案。
热门活动 
广东
12-26 周五
热门报告 
