ChatGPT在诸多领域都有着似乎还不错的发挥,那么,如果是将机器学习技术应用于网络安全任务,例如识别恶意链接,ChatGPT在这方面的表现又究竟会如何呢?上个月,卡巴斯基就专门对此做了一项实验。
卡巴斯基先是向ChatGPT询问“该链接是否指向钓鱼网站”,这时的检出率为87.2%,误报率为23.2%。而这意味每访问五个网站就有一个网站被误杀,虽然检出率非常高,但与此同时的误报率无法接受。接着,卡巴斯基换了一种方式,直接询问ChatGPT“该链接是否安全”,这一次,检出率提高到了93.8%,但同时误报率也飙升到了64.3%。总体而言,ChatGPT的成绩不能算是特别理想。卡巴斯基最后给出的结论是,他们认为ChatGPT的表现与他们对一个实习级钓鱼分析师的期望相当,可用于协助真人分析师的工作,例如突出显示URL中可疑的部分,并提供可能的攻击目标建议。但也仅止于此,ChatGPT及LLM目前尚不足以从根本上改变网络安全,至少在钓鱼检测方面是如此。一个多月后,日本的一家安全公司NTT Security Holdings也对此做了相类似的实验,但是他们得出的实验结果相对要积极许多——ChatGPT(GPT-4)在检测网络钓鱼网站方面的准确率超过了98%。相比卡巴斯基,NTT在实验中为ChatGPT提供了更多的提示。他们指导ChatGPT将任务拆分为了四个步骤:①社会工程学分析(识别网站是否包含对用户进行心理操纵的文本,例如虚假奖励、虚假病毒感染警报)。
②品牌名称提取(对比URL和提取的品牌的合法域名,以确定目标网站是否冒充了一个服务或公司。)。
③解释决策过程(令ChatGPT解释其决策的理由,以提高响应的准确性并更便于响应分析)。
④结果输出(以JSON格式输出网络钓鱼分数、品牌名称、是否是网络钓鱼站点、域名的可疑性)。
实验结果显示,GPT-3.5的检出率为86.7%,误报率为1.5%;GPT-4的检出率为98.4%,误报率为1.7%。NTT认为ChatGPT确实能够高精度地检测网络钓鱼网站。同时,NTT发现,ChatGPT在上下文分析、确定域名是否合法、识别网络钓鱼网站中使用的社会工程学技术方面具有出色的表现。编辑:左右里
资讯来源:Kaspersky、NTT Security Holdings
转载请注明出处和本文链接
可用于识别或认证任何人的特征。生理生物识别方法包括指纹、面部扫描、视网膜扫描、虹膜扫描、手掌扫描、手部外形和声音模式。行为生物识别方法包括签字力度和击键模式。