一、奇点来临了吗？

大东：小白你在干嘛啊？

小白：我在看ChatGPT的文章，最近这玩意火出圈了。

大东：确实，ChatGPT对现代人的生活方式的改变堪称具有里程碑意义。

小白：嗯，东哥，我主要是关注ChatGPT对网络安全领域的影响，这与我的专业、学业乃至未来事业发展都有很强的关联度。

大东：没错，ChatGPT可以在网络安全领域有很多应用，比如辅助代码审计、威胁分析等，还有可能生成网络攻击脚本、钓鱼邮件等。

小白：确实，写代码一直被认为是一种高端的技术，程序员也一度被认为是高薪岗位的代名词，但是ChatGPT的横空出世，无异于降维打击，让很多从业人员暗暗滋生了危机感。

大东：其实事实也远不至于这样悲观。随着ChatGPT训练模型的丰富和语料库的丰富，的确可以在一定程度上替代人类，但是信息安全领域的工作岗位，有些工作是偏向于沟通性质的，过于理性的AI可能并不能给出能有人情味的答案，也无法满足人文主义需求。

小白：嗯嗯，比如社会工程学，对吧。

大东：是的小白，其实每一次AI技术的突飞猛进，都会引起一番关于“奇点是否已经来临”的大讨论，但目前来看，人类的创意、灵感和感情是AI短时间内无法替代的。因此我们的当务之急并非贩卖焦虑，而是要仔细分析ChatGPT对网络安全行业发展会产生哪些影响。

小白：太好了东哥，洗耳恭听。

二、ChatGPT 的“意识攻击”

大东：其实关于ChatGPT，我想到了一个有意思的事。

小白：啥事？

大东：去年维基上“卡申银矿”在中文版本中爆火的那件事，你有印象吗？

小白：这个我知道，确实很有意思。是一位知乎用户在为自己的小说寻找素材的时候，无意中检索到了“卡申银矿”这个词汇，并将它分享到了一个历史爱好者交流群中，结果有人对这个词汇提出了质疑，并通过一系列的资料查询后，发现俄罗斯历史上根本没有这么一座银矿。随着进一步地挖掘，终于挖出了名为“折毛”的用户，她在中文版上编纂了几百万字的古俄罗斯历史。

大东：嗯，哈哈，据说这位用户为了使自己编纂的历史更加可信，她还自行杜撰了地图、人口变化图、名人访谈等内容。

小白：但话说回来，这跟ChatGPT对网络安全的影响有啥关系呢？

大东：你不觉得这个故事给我们带来了一些启示吗？

小白：似懂非懂。

大东：ChatGPT与Wikipedia的信息输入方式有相似之处，前者是开放数据+用户修正投喂，不断强化学习能力；而后者是每个用户只要使用与其匹配的话语体系，就可以成功地创建百科。这件事就是钻了这个“空子”，在看似科学严谨的Wikipedia里面一本正经地胡说八道。

小白：这样看起来，确实如此。

大东：由此及彼地推演，我们不难看出，ChatGPT很容易被污染投喂，或者说遭受知识污染。

小白：可别把咱ChatGPT给喂坏了，孩子是无辜的呀。

大东：是的，更进一步可以假定AI智能体投喂污染ChatGPT。

小白：那可真的太过分了。

大东：引用“八个打”的说法，安全人员有时需要打地鼠、打苍蝇，自然也会需要打游击、打太极。比如通过使用来自社交媒体或其他来源的大量文本数据训练模型，攻击者可以使用ChatGPT生成极具可信度的网络钓⻥电子邮件或消息，旨在诱骗受害者泄露敏感信息。

小白：插一句：热心白上线了啊，“八个打”文章的上、下两篇想回顾的读者可以自行参阅。

大东：不错啊小白。由于黑客和灰产有不同层级的目的，所以如果ChatGPT经常会有恶意投喂，可能会造成互联网大范围的知识体系级意识攻击隐患。

小白：意识攻击？

大东：没错，意识攻击可能会有深度隐藏、潜移默化等特点，有毒的意识会扩散式污染互联网体系，类似手机依赖症。

小白：这太可怕了，看来AIGC是双刃剑啊！

大东：是的，相关的安全研究刻不容缓。

三、AI攻击恐成为主流

小白：东哥，我想起了我们2019年就写过《换脸好玩，可不要贪“ZAO”哦》。

大东：其实ChatGPT对网络安全行业演进的影响，远不止这些。

小白：还有哪些呢？

大东：ChatGPT的底层逻辑是基于大模型的深度学习框架，ChatGPT是源于Transformer 的神经网络架构提出。

小白：什么是大模型？

大东：这是指ChatGPT用的方法叫“大型语言模型”，中文习惯称为“大模型”。大模型所包含的参数在千亿级以上，是一种通用模型，能够将大量的数据通过Transformer架构做机器学习。

小白：哦哦。

大东：而大模型的训练，其实未来会形成产业链重塑，海量的应用数据输入到ChatGPT中，而各类商业组织、个人用户对AIGC依赖性会越来越强。那么，大模型将会等同于芯片、操作系统在ICT的基础软硬件地位，对于国家安全的重要性可想而知。

小白：看来，这是未来的卡脖子技术啊？那怎么能具备技术领跑地位呢？

大东：一方面，我们也要大力发展自己的大模型，同时大模型的技术迭代取决于算力网络资源保障和类似于超级互联网生态应用交互，譬如东数西算。

小白：那看来，算力网络安全将至关重要啊。

大东：是的，这方面的安全挑战需要提前考虑。

小白：那我们得赶快彻夜不眠研究；

大东：错，这样只是盲干。刚才我们讲过，ChatGPT可以用于生成恶意攻击代码，未来攻击代码恐怕都会是AI自动生成、无穷变化、持续演进，原有的人工防护方法将面临失效。

小白：那这怎么办啊？

大东：我们应该研究如何使用AIGC提升安全防护的AI化能力。

小白：那以后不就成了AI之间打架了吗？

大东：没错，ChatGPT会促进网络攻防技术升维，未来利用AI实现网络攻击会成为主流攻击形式。

四、小白内心说

小白：今天东哥从火出天际的ChatGPT开始讲，一直讲了ICT产业链重塑和未来网安领域的发展趋势，使我大开眼界，作为一名网安专业的学生，油然生发出一种使命感，感觉自己就是未来的superhero，但是AI安全防护技术该怎么战胜AI攻击呢？是个新问题。

来源: 中科院之声