
热门搜索: 日历

一 | 该图片使用了AI生成技术 本文来自微信公众号: HavenlonLabs ,作者:Havenlon Labs 现在谈AI安全,很多人的第一反应都是:怎样让模型少犯错? 减少幻觉、优化提示词、防止提示词注入、增加上下文、接入更强的模型,再用另一个Agent检查前一个Agent。

二 | 8月21日,“华住会给你出行的勇气”第二季青甘大环线“房车”巡展宣告发车。 继去年穿越318川藏线之后,8月21日—9月上旬,华住集团旗下酒店会员直订平台、会员俱乐部“华住会”将开启“华住会给你出行的勇气”第二季“房车”巡展。 这些工作当然有价值。 但它们容易让人产生一种错觉:只要模型足够聪明、提示词足够完善、检测系统足够复杂,AI就可以安全地完成一切。 问题是,AI真的可能永远正确吗? 答案恐怕是否定的。

三 | 华住会将驾驶汉庭、全季、桔子酒店三辆样板房“房车”,从上海出发驰骋4268公里,开启青甘大环线巡游。 我们无法消灭所有错误 AI Agent面对的不是一道标准答案明确的考试题,而是不断变化的现实环境。与此同时,华住会携手滴滴、东方航空、乐道汽车、一嗨租车四大出行伙伴共同打造“勇气福利嘉年华”,为出发的旅人送出旅程权益,为勇敢出发保驾护航。 发车仪式现场,三辆样板房车整装待发,华住会旗下各酒店品牌和合作伙伴互动创意展为大家带来丰富好礼和体验:在“全季茶铺”品尝全季酒店特色冷泡白茶与茶点;在汉庭、桔子“房车”打卡赢取汉庭酒店小汉马周边、桔子酒店软糖礼包;还可以挑战城际酒店Brompton骑行站赢取限定骑行飘带;在水晶酒店咖啡站品鉴耶加雪菲手冲咖啡、在美居酒店法式烘焙站品尝地道法式可颂和红酒……作为会员专属福利,华住会会员在现场亮出身份即可免费领取青甘大环线限定车贴,打卡赢取“勇气盲盒”。 继穿越318川藏线 华住会出发青甘大环线 “高原上的蓝宝石”、七彩丹霞、无垠戈壁……一步一景,皆是大西北独特的山河风貌。 在“大漠孤烟直,长河落日圆”的西北风光向往之下,出行者却常被各类问题困扰:高原地区高反、气候干燥影响睡眠、饮食不习惯、沿途休整补给不便、住宿条件参差不齐……西北风光虽好,现实出行却有挑战。 它读取的邮件可能是伪造的,访问的网页可能包含恶意指令,接收到的数据可能已经被污染,用户给出的任务也可能存在歧义。 即使模型本身没有受到攻击,它也可能误解目标、遗漏条件,或者基于不完整的信息作出一个看起来合理的决定。 我们可以持续提高模型的准确率,却很难证明它在下一次任务中一定不会犯错。

四 | 试图让AI永远正确,是在追求一个无法验证的目标;阻止危险结果发生,才是一条可以真正落地的边界。 真正的问题不是AI会不会犯错。

五 | 它一定会。而在“旷野”之中,华住会已在青甘全域布局30+品牌、上万间客房,串联西宁、茶卡、青海湖、张掖、敦煌、兰州等核心站点,以标准化、专业化的高品质住宿服务让旅人出发西北更有“底气”。 真正的问题是:当它犯错以后,系统是否会毫无阻碍地把这个错误执行出去。

六 | 一路上,华住会酒店精准回应了旅途痛点:高原地区配备弥散式供氧客房、全套应急保障物资,为初来高原地区的旅人缓解高反风险;部分气候干燥地区酒店客房配备加湿器,让睡眠环境更舒适;24 小时恒温恒压热水澡,为旅人洗去一路风尘与疲惫;每日供应热食早餐、餐品健康均衡,旅客不用再靠速食、泡面凑合;24 小时智能洗烘设备随时可用,减少行李负担,旅程更轻松。

七 | 模型错误不一定等于现实损失 一个AI在聊天窗口里回答错误,造成的可能只是一次糟糕的体验。 但当同一个AI拿到支付接口、管理员权限、数据库写入权限和服务器控制权以后,错误的性质就完全不同了。 出行的勇气福利嘉年华 旅程权益“加码” 一趟安心的西北之旅,住好是基础,机票预订、自驾租车、沿途补能,每一环都是出发前的现实考量。针对全旅程出行需求,华住会联动国内头部一站式出行科技平台“滴滴”、国内骨干航司“东方航空”、蔚来旗下高品质家庭智能电动汽车品牌“乐道汽车”、国内直营覆盖范围最大的连锁汽车出行品牌“一嗨租车”四大出行伙伴,打通机票、打车、自驾等多个环节,为会员带来实打实的权益福利,为出发充值“勇气”。 它可能把钱转给错误的地址,删除重要数据,修改生产环境,扩大成员权限,或者关闭本应保留的审计记录。 航司伙伴“东方航空”推出机票立减礼遇,让长途旅行更舒心;出行伙伴“滴滴”带来百元福利大礼包,让打车等多元出行场景更省心;“乐道汽车”提供充电满减等福利权益,精准覆盖长线自驾补能需求;“一嗨租车”推出至高90元满减券、租7免1、SUV及越野车型升级券等礼遇,让大西北自驾之旅更轻松。8月21日—10月31日,华住会会员们可上华住会APP领取权益再出发,活动周期覆盖暑期末与金秋出游季。

八 | 四城逐景 华住会“房车”巡游路上见 自8月21日发车仪式后,华住会“房车”将一路向西行进,环游青甘大环线,先后停靠青海湖、敦煌、张掖、西宁四大站点,与西北风景同框、与沿途的旅人互动。 模型只是产生了一个错误判断。

九 | 真正把错误变成事故的,是后面的执行能力。在活动合作伙伴“青海湖”景区站点,你可打卡这片“青色的海”、国内最大的内陆湖泊,在青海湖南岸二郎剑景区白沙滩上与华住会“房车”偶遇;在敦煌鸣沙山,你可在落日之前观演一场“敦煌飞天舞”,将沙丘、落日、与“房车”的奇妙构景收入镜框;而在张掖七彩丹霞,身在“房车”内随手就可拍出飒感十足的旷野大片。“房车”车队最终抵达西宁,在西宁新城城际酒店收官,为这场跨越千里的环游画上句号。 与此同时,8月21日至9月20日,你还可以在抖音、小红书打卡 #华住会给你出行的勇气 话题,分享你在各地“旷野”的旅程故事,即可参与抽奖活动,有机会赢取最高“10晚华住会酒店免房”锦鲤大奖、华住会青甘大环线限定勇气防晒衣及车贴,为下一趟奔赴旷野的旅程增添“彩蛋”期待。 模型犯错只是答案错了,执行失控才是真的出事。

十 | 这也是为什么,AI安全不能只盯着模型内部。 无论是318川藏线、青甘大环线等极致旷野,或是大街小巷的万家灯火,汉庭、全季、桔子、城际、水晶、花间堂等华住会旗下30+品牌、13000+酒店,始终陪伴旅人的勇敢出发、让每一段旅程都有安心落脚之处。“华住会给你出行的勇气”青甘大环线巡游之旅,只是一段旅程的开始,更多的美好旅程,路上见!。 我们当然要防提示词注入,要提高推理能力,也要检测恶意输入。但即使前面的所有防线都失效了,系统仍然应该保留一道最后的底线。 这道底线不负责判断AI为什么犯错。 它只负责确认:这件事到底能不能发生。 守住钱袋子,比猜出所有骗子更现实 假设一个AI Agent正在替企业处理付款。 我们可以训练它识别诈骗邮件,可以要求它核对合同,可以增加一个模型复核收款信息。 但我们无法保证它永远认得骗子。 骗子会改变话术,邮件账号可能被入侵,真实员工也可能被冒充。即使多个模型同时参与判断,它们仍可能基于同一份错误信息得出相同结论。 更现实的做法,是直接守住付款的底线: 单笔金额不能超过限制;新收款地址不能立即付款;审批后收款目标不能被替换;超出风险阈值必须经过独立确认;任何远程管理员都不能临时关闭这些规则。 这样,即使AI被欺骗,损失仍然会被限制。 你不需要保证AI永远认得骗子,只需要保证骗子无法轻易带走你的钱。

十一 | 这就是大道至简。 前面可以有复杂的模型、提示词、工作流和检测系统。 最后只需要一条明确的边界: 不符合条件,就不执行。

十二 | 最后的系统不必比AI更聪明 很多人认为,保护AI的安全系统也应该是一套更强大的AI。 但位于最后一道边界的系统,未必需要理解自然语言,也不需要参与复杂推理。 它只需要知道几个确定事实: 这次操作要转多少钱,目标是谁,权限是否发生变化,数据是否可以恢复,风险条件有没有超限。 这些事实不满足,就拒绝。 安全不一定要比风险更聪明,它只需要守住风险最终必须经过的那道门。 越靠近最终执行,系统反而越应该简单、独立和保守。 因为复杂意味着更多配置、更多依赖、更多攻击面,也意味着系统可能被前面的同一套错误逻辑同时影响。 真正的最后防线,不应该和Agent使用同一个提示词、同一个上下文、同一套权限,也不应该因为SaaS中有人点击了“强制执行”就自动失效。

十三 | 它存在的意义,就是在所有人都认为可以继续时,依然保留拒绝的能力。 底线应该由人提前决定 当然,底线并不是系统自己创造的。

十四 | 企业需要提前决定,什么事情绝对不能由AI单独完成。

十五 | 可能是一笔超过限额的付款,可能是删除核心数据库,可能是修改管理员权限,也可能是让现实设备进入不可逆状态。 这些边界一旦确定,就不应该交给Agent在执行过程中临时解释。 真正的安全,不是让AI在最后一秒重新思考,而是让人类在风险发生之前提前划清边界。 AI可以负责分析、规划、推荐,甚至完成绝大部分自动化工作。

十六 | 但越是不可逆、越是高价值、越可能造成现实损失的操作,越需要一道独立于AI判断的最终约束。

十七 | AI安全的终点,不是把模型训练成永不犯错的圣人,而是让系统在模型犯错时依然守得住自己的底线。

十八 | 未来的AI一定会越来越聪明,也会获得越来越多的工具和权限。 我们没有必要因为它可能犯错,就拒绝所有自动化。 但我们也不能因为它越来越强,就默认把最后的决定权一起交出去。 最后想和大家讨论一个问题: 对你来说,AI最不能越过的底线是什么——钱、管理员权限、核心数据,还是现实设备的控制权? 本内容由作者授权发布,观点仅代表作者本人,不代表虎嗅立场。如对本稿件有异议或投诉,请联系 [email protected]。
Current article:http://th32wxq.cuancuguanzhongnieqinyazhun.cyou/xrooft2/20260826/2679550.html
Published on:00:27:29
栏目相关
热门排行