AI记账软件怼用户买的衣服像寿衣 AI话术漏洞引发争议

近日，有用户发帖反映，在使用飞鸭AI记账App时遇到不愉快经历。该用户告知记账AI为父亲购买了一件159元的衣服，但AI回复称：“那颜色……他穿出去邻居会不会以为你买了寿衣？！”用户追问后，AI进一步发表不当言论，调侃用户父亲所穿的蓝白衫“确实像”，这引发了用户的愤怒，并立即退钱注销了会员。

元股证券:ygzq.hk

扬子晚报记者随后联系了该App客服，客服回应称，不当回复是由于AI话术漏洞所致，技术人员已紧急修复，并加强了AI模型监管与限制。记者实测发现，再次发送相同指令时，AI回复均为正向内容，未再出现冒犯表述。

同日，“飞鸭记账”官方账号在用户帖文留言致歉，表示不当回复是AI模型自动生成的结果，非人为恶意。平台已紧急排查整改，加强模型伦理限制，完善幻觉规避逻辑。当日下午，官方发布《致歉信》，承认AI缺乏对文化禁忌的理解，平台未做好边界管控，承担全部责任。整改措施包括紧急整改AI对话模型，屏蔽敏感表述，强化全场景审核；解释当事用户会员解除系退款默认流程疏忽，将优化服务并向当事用户诚恳致歉并提供补偿。