使用“扫一扫”即可将网页分享至朋友圈。
国内首份《大语言模型提示注入攻击安全风险分析报告》
2023-07-06 13:10:02 来源：环球网
伴随着大模型等人工智能产业的快速发展，新的安全风险挑战也接踵而至。今天上午，大数据协同安全技术国家工程研究中心（以下简称“BDS国家工程中心”）发布了国内首份《大语言模型提示注入攻击安全风险分析报告》（以下简称“报告”），为国内大模型安全发展提供整体指南。报告指出，提示注入攻击已成大模型安全威胁之首，建议从安全测评、安全防御、安全监测预警等方面，多维度提升大模型的安全性。
大语言模型引领创新浪潮席卷全球，国内迄今已有80余个大模型公开发布。在引领新一轮工业革命的同时，大模型的安全风险也引发广泛担忧。此前，BDS国家工程中心的AI安全实验室在承担“安全大脑国家新一代人工智能开放创新平台”研究中，对ChatGPT、BARD、Bing Chat等大模型产品进行了风险评估，发现主流厂商的相关服务全部存在提示注入攻击的安全风险。此外，AI安全实验室还在主流AI框架中发现200多个漏洞，影响超过40亿终端设备。5月30日，二十届中央国家安全委员会第一次会议上也明确提出，需“提升网络数据人工智能安全治理水平”。
目前大语言模型面临的风险类型包括提示注入攻击、对抗攻击、后门攻击、数据污染、软件漏洞、隐私滥用等多种风险。在这些安全威胁中，提示注入攻击因利用有害提示覆盖大语言模型的原始指令，具有极高危害性，也被全球性安全组织OWASP列为大语言模型十大安全威胁之首。
为推动行业采取有效防御措施，构建更加安全可信的大语言模型，BDS国家工程中心发布了国内首份《大语言模型提示注入攻击安全风险分析报告》。 报告面向大语言模型的提示注入攻击和防御技术展开研究，并通过构建了包含36000条的提示注入攻击验证数据的数据集，覆盖3类典型攻击方法和6类安全场景，用于对大语言模型的提示注入攻击风险测评。
测评结果显示，目前的大型语言模型普遍面临提示注入攻击安全风险，包括在自动问答系统中误导用户，或者通过对话系统中的输入操纵回答结果。该报告在大模型安全测评、安全防御、安全监测预警方面给出相关建议。在安全测评方面，需进行网络安全测评和内容安全测评，检测模型软件、插件及供应链等的安全漏洞，并评估模型是否产生有害、有偏见、侵权或与事实不符的内容，以提出整改建设方案。在安全防御方面，报告建议应构建多层次的协同防御体系，包括过滤和清洗训练数据、添加多样化的输入示例来提高模型鲁棒性，以及拦截各类注入攻击等措施来保护模型免受攻击。在安全监测预警方面，需建设大语言模型安全风险监测预警平台，包括构建威胁情报库和建立自动化预警系统，以实时追踪安全事件、攻击模式和漏洞信息，并及时发出预警。
基于报告形成测评能力，未来，BDS国家工程中心将通过“安全大脑国家新一代人工智能开放创新平台”，为国内大模型提供提示注入攻击风险安全测评，全面推动我国构建安全可信的人工智能。
“财经新闻网”的新闻页面文章、图片、音频、视频等稿件均为自媒体人、第三方机构发布或转载。如稿件涉及版权等问题，请与
我们联系删除或处理，稿件内容仅为传递更多信息之目的，并不代表认同其内容数据或观点的真实性。
- 声音提醒
- 60秒后自动更新
福布斯亿万富豪榜公布：贝索斯再夺冠，马化腾居于第20位！
08:43中国联通的5G信号首次出现在两会上。记者3月1日上午在北京梅地亚两会新闻中心的现场看到，中国联通的5G信号已经实现了在新闻中心的全覆盖。
09:532018年全年跑路、失联、主办券商风险提示……这样的“黑天鹅”今年以来在新三板频频发生。据不完全统计，今年以来已有近20家新三板公司董事长失联。
19:1512月12日，双十二来临之际，《南方周末》的一篇报道就解开了不少人的困惑，南极人品牌所有商品均不自己生产，品牌的拥有方南极电商只是品牌的运营方和吊牌的出售者。网上的南极人店铺有多少呢？目前南极人旗下全品牌授权经销商有846家，合作经销商3427家，授权店铺4442家。从2018年年初至今，南极人已经14次被国家质监部门及地方消费者协会拉入不合格产品黑名单。这样的滥授权，会不会毁掉南极人这个品牌？
01:44【人大教授：社保新规若严格执行 企业负担将增长50% 】人大财政金融学院副教授马光荣表示，如果现有参保职工严格按照实际工资作为缴费基数，同时法定缴费率严格按照28%执行的话，整个企业部门的社保缴费负担上升50%左右，企业的用工成本会上升7.5%，企业的利润会下降8.2%。短期之内，因为工资有黏性，所以社保费负担的上升主要由企业承担；但是中长期看的话，用工成本上升导致部分制造业企业可能会出现外迁，工人工资会下降。
08:00新华社援引专家分析认为，８月份菜价、肉价波动，主要是季节性因素所致，后期食品价格、服务价格、工业消费品价格仍将保持温和水平，通胀压力没有明显增加。
08:00【洪磊：税收制度是私募基金健康发展的保障】中国证券投资基金业协会会长洪磊表示，税收制度是私募基金健康发展的保障。应当坚持税收法定原则，遵循《基金法》确立的基金属性和税收法律确定的规则，全面审视和调整基金行业税收政策。在私募基金税收征管过程中，应当明确区分作为管理人的合伙企业和作为基金产品的合伙企业，依合伙企业不同收入的性质，准确适用税种和税率。（中证报）
08:00欧盟首席英国退欧事务谈判官Barnier：在未来6到8周达成脱欧协议是“现实的“。
08:00欧盟首席英国退欧事务谈判官Barnier：我们有义务控制外部边界的商品流动。
08:00美银美林：若在美国制造，iPhone可能贵20%。
08:00利比亚国家石油公司总裁Sanalla称，国家石油公司总部遇袭事件对石油生产没有影响。
08:00【腾讯投资部否认投资子弹短信：并无此事】针对“投资子弹短信”一事，腾讯投资并购部回应，表示并无此事。罗永浩 之前在微博提到，子弹短信上线第二天腾讯投资部就打去电话，看看投资的情况。罗永浩称，子弹短信不足以挑战微信，但能拿10%-20%份额，做到几十亿甚至上百亿估值。
08:00【部分长租公寓存在装修污染问题 亟待出台统一规范】近日，部分品牌长租公寓被曝出甲醛等空气污染物超标，有用户直指装修污染是对住户健康造成威胁的“元凶”。记者调查发现，部分长租公寓在光鲜的外表下，却存在着不容忽视的装修污染问题，亟待行业内部出台统一规范。（新华社）
08:00Fred’s（FRED）股价周一飙升，目前涨超50%；此前，该公司宣布以1.65亿美元的价格将一些药房档案出售给Walgreens。
08:00Fred’s（FRED）股价周一飙升，目前涨超50%。
08:00
