生成式人工智能工具可能产生“幻觉”，即暗示不存在的来源或工具，这种风险一直是开发人员担心的问题。

现在，专家警告说，如果威胁行为者发现了一个软件包的生成性人工智能幻觉，他们实际上可以构建它，并使其成为恶意的。

这样，他们最终会使用超级流行的人工智能工具来传播恶意软件。

LassoSecurity的网络安全研究员BarLanyado最近着手研究这种风险是否纯粹是理论上的，并得出结论：它可能会在野外被滥用。

为了进行分析，他收集了近50,000个“如何做”的问题，开发人员在构建软件解决方案时可能会向生成式AI工具提出这些问题。他重点研究了五种编程语言：python、node.js、go、.net和ruby​​，并询问了Chat-GPT3.5-Turbo、GPT-4、GeminiPro和Coral。

GPT4出现幻觉(本质上是编造软件包)的概率为24.2%，重复回答相同问题的比例为19.6%。GPT3.5出现幻觉的概率为22.2%，重复回答的比例为13.6%，而Gemini出现幻觉的概率为64.5%，重复回答的比例为14%。最后，Coral出现幻觉的概率为29.1%，重复回答的比例为24.2%。

到目前为止一切顺利。理论上，这四种工具通常会建议开发人员下载相同的、不存在的软件包。如果研究人员注意到了，黑客也会注意到，他们可以创建这些幻觉软件包来携带恶意代码，并让GenAI推广它们。