AI术语的去炒作

AI vs. ML（人工智能与机器学习）

AI（人工智能）和ML（机器学习）是经常互换使用的术语，但它们代表不同的概念。AI的目标是创建智能，即认知能力和通过图灵测试的能力。它通过将所学到的知识提升到更高的水平来工作。使用AI的目标是复制人类的行为，例如创建一个类似于人类清洁工的清洁机器人。

ML是AI的一个子集。它包括数学模型，其能力基于将机器与数据相结合。ML通过从事件中学习并对这些经验进行优先排序来工作。因此，ML可以执行人类无法完成的任务，例如处理大量数据、识别模式、预测概率等。

窄AI vs. 通用AI

通用AI的概念经常让大多数人感到恐惧，因为它是“机器人霸主”取代人类的顶峰。然而，尽管这个想法在技术上是可能的，但我们现在还没有达到这个阶段。

与通用AI不同，窄AI是一种专门用于非常特定任务的AI形式。这种专注允许它支持人类，从而解除我们的一些繁重或潜在危险的工作。它并不旨在取代我们。窄AI已经在各个行业中应用，比如用于制造汽车或包装箱。在网络安全领域，窄AI可以分析活动数据和日志，搜索异常或攻击迹象。

野外中的AI和ML

野外中有三种常见的AI和ML模型：生成AI、监督式ML和无监督式ML。

1. 生成AI

生成AI是AI领域的前沿领域，以LLMs等模型为特征，这些模型经过了知识库的训练。生成AI技术具有根据知识库中包含的信息生成新内容的能力。生成AI被描述为一种“自动更正”或“输入预测”的形式，但更为强大。生成AI应用的示例包括ChatGPT、Bing、Bard、Dall-E以及专门的网络安全助手，如IBM安全QRadar Advisor with Watson或MSFT安全CoPilot。

生成AI最适合用于头脑风暴、辅助复制编辑和针对可信赖的知识库进行研究等用例。网络安全专业人员，如SOC和融合团队，可以利用生成AI来进行研究，帮助他们了解零日漏洞、网络拓扑或新的威胁指标。需要注意的是，生成AI有时会产生“幻觉”，即错误答案。

2. 无监督学习

在ML中，无监督学习意味着训练数据和结果没有标记。这种方法允许算法在没有人为干预的情况下从数据中进行推理，找到模式、集群和连接。无监督学习通常用于动态推荐，比如在零售网站中。

在网络安全领域，无监督学习可用于聚类或分组，以及发现以前不明显的模式，例如可以帮助识别特定国家的所有具有某个签名的恶意软件。它还可以发现数据集之间的关联和链接。例如，确定点击钓鱼邮件的人是否更有可能重复使用密码。另一个用例是异常检测，如检测可能表明攻击者正在使用被盗的凭据的活动。

3. 监督式学习

在监督学习中，训练数据带有输入/输出对的标签，模型的准确性取决于标记的质量和数据集的完整性。通常需要人为干预来审查输出，提高准确性并纠正任何偏差漂移。监督学习最适合进行预测。

在网络安全领域，监督学习用于分类，可以帮助识别钓鱼和恶意软件。它还可以用于回归，例如根据过去的事件成本来预测新攻击的成本。

监督学习不适用于没有时间进行训练或没有人标记或训练数据的情况。当需要分析大量数据、数据不足或自动分类/聚类是最终目标时，也不建议使用监督学习。

强化学习（RL）

强化学习（RL）占据了完全监督和无监督学习之间的空间，是ML的一种独特方法。它意味着当现有的训练无法预测某些用例时，重新训练模型。即使是深度学习，有着大量的数据集，也可能错过RL可以解决的异常用例。RL的存在本质上承认了模型可能存在缺陷。

关于生成AI的网络犯罪分子的言论

生成AI引起了网络犯罪分子的兴趣。根据Etay Maor的说法：“网络犯罪分子一直在讨论如何使用ChatGPT、Bard

和其他GenAI应用，以及分享他们对其能力的体验和想法。看起来，他们认为GenAI存在局限性，可能在几年后更成熟，以供攻击者使用。”

一些对话示例包括：

NIST的人工智能风险管理框架（AI RMF）

与AI和基于AI的解决方案互动时，了解AI的局限性、风险和漏洞非常重要。美国国家标准与技术研究院（NIST）的人工智能风险管理框架（AI RMF）是一套旨在帮助组织识别、评估和管理与人工智能技术的部署和使用相关的风险的指南和最佳实践。

该框架包括以下六个要素：

1. 有效和可靠 - AI可能提供错误的信息，这在GenAI中也被称为“幻觉”。重要的是公司能够验证他们采用的AI是准确和可靠的。

2. 安全 - 确保提示的信息不会与其他用户共享，就像在臭名昭著的三星案例中一样。

3. 安全和弹性 - 攻击者正在使用AI进行网络攻击。组织应确保AI系统受到保护，免受攻击，并能够成功地阻止利用它或用它协助攻击的企图。

4. 负责和透明 - 能够解释AI供应链并确保有关其工作方式的公开对话非常重要。AI不是魔法。

5. 增强隐私 - 确保提示的信息在数据湖和使用时受到保护和匿名化。

6. 公平 - 这是最重要的要素之一。它意味着管理有害的偏见。例如，在AI人脸识别中常常存在偏见，轻肤色的男性比女性和较深肤色的人更容易被准确识别。当例如在执法中使用AI时，这可能会产生严重后果。

管理AI风险的其他资源包括MITRE ATLAS（用于人工智能系统的对抗性威胁格局）、OWASP机器学习安全十大和谷歌的安全AI框架（SAIF）。

向供应商提问的问题

在不久的将来，供应商将提供生成AI功能将非常普遍。以下是一些问题列表，以支持您明智的选择。

1. 是什么以及为什么？

AI具有什么能力，以及为什么需要它们？例如，GenAI非常擅长编写电子邮件，因此对于电子邮件系统来说，GenAI是有意义的。供应商的用例是什么？

2. 训练数据

训练数据需要得到正确和准确的管理，否则可能会引入偏见。了解培训数据的类型、如何清理以及如何管理等信息非常重要。

3. 是否内置了弹性？

供应商是否考虑到了网络犯罪分子正在攻击系统本身并实施了安全控制？

4. 真正的回报率与声明

ROI是多少，ROI是否能够证明实施AI或ML是合理的（还是因为炒作和销售目的而添加的）？

5. 它真的在解决问题吗？

最重要的问题是，AI是否正在解决您的问题，是否在良好的工作？如果AI不能解决问题并且没有按预期工作，那么支付额外的费用和增加额外的开销就没有意义。AI可以赋予我们力量，帮助我们表现更出色，但它不是灵丹妙药。这就是为什么企业在选择要在内部实施的AI工具时需要做出明智的决策的重要原因。