文献整理——威胁情报共享课题说明

用来描述自己对问题的理解

1 威胁情报场景描述

应用场景

这也是实现基于威胁情报共享的协同防御实现方案。

  • 美国——自动指示情报共享系统。
  • 银联：虚假注册、批量绑卡、恶意刷单刷券等各种恶意行为会影响企业相关产品的日常运营和营销推广，而传统金融行业自身缺乏与互联网相关的安全数据，需要高质量的情报数据支持相关的风险防控工作。银联是典型多职场、多组织协同防御的结构，拥有较多安防设备且对攻击敏感，会有海量的告警信息，如何从海量告警信息中获取真实的攻击行为是一个大的挑战。同时来自外部的威胁情报数据无法完全支撑对于真实攻击的检测、阻断和溯源分析，攻击者对于外围资产实施跳跃式攻击时，也可能导致联动防御困难。

存在问题（现实问题）

  • 共享与隐秘问题。情报共享的主体，因为安全理由不愿意暴露自身的情报状态。需要对协调共享与隐秘二者的矛盾关系。

  • 情报特征描述问题。互联网领域的威胁个体没有固定特征。互联网安全领域面临的问题是，我们去处理和应对的不是一个已知的人，而是一个可以不断变化的ID。需要通过一条情报刻画一个危险的个体。然后通过机器学习的方式，对危险个体进行学习。

  • 动态变化问题。网络威胁的来源可以以很快改变和调整它的攻击方向与对象。在数字化形式下，新威胁与可能的攻击向量数不胜数。企业在检测和阻断威胁的有效性和之前相比已经差很多了。如果犯罪分子也可以得到类似我们这种共享威胁情报的话，他们就可以来判断什么样的行为容易被抓住，这样他们就可以及时调整策略。

  • 虚假情报问题。攻击者可能伪造虚假情报，混淆情报的可信度，导致情报分析人员对发生的事件作出错误的反映。

解决思路（研究点）

  • 针对安全性要求。分布式机器学习，分布式神经网络，联邦学习，匿名共享，提高机器学习的效率。
  • 人脸识别的相关算法，模糊身份认同，而不是准确身份认同。行为特征匹配度，而非真正的识别。模糊名册，不针对身份ID，而是匹配行为特征。更像一种行为模式识别（威胁狩猎）。需要通过一条情报刻画一个危险的个体。然后通过机器学习的方式，对危险个体进行学习。输入一个个体的相关情报，尽量多的输入器特征信息，能够更加准确的判定其危险程度。
  • 日志归一的算法（情报共享合并的算法）误报处理的算法。
  • 数据传输同态加密技术（防止截获传输数据）
  • 数据可信度评估（掺杂虚假的数据）
  • 机器学习安全问题，对抗性攻击。数据中毒、模型规避、模型窃取、数据推理攻击。分布式机器学习安全性问题（防止通过机器学习的结果，还原出关键的情报，数据溯源安全问题）
  • 刻画同一个个体的情报可能包含的元数据类型相差很多，数据结构不一致。是否有一种基于nosql数据的机器学习方案。
  • 网络威胁情报的内容包括可疑和恶意活动的详细信息以及元数据，也包含了攻击媒介，使用的方法，可以采取的遏制措施。但即使分享了信誉文件，它不包含任何个人身份信息。
  • 通过各项网络特征刻画一个有威胁的情报主体。与人脸识别非常相似。所以可以通过过机器学习进行训练，识别当前的交互个体的威胁程度。给出一个威胁报告，这个报告是预测性的，分析性。这个算法应该具有很高的可靠性，用来识别不怀好意的个体。
  • 感觉这个不太像威胁情报共享系统，而是更像威胁个体评估系统。威胁情报共享，应该更加侧重于共享的内容和共享的方式，共享的内容应该全部公开，而不是经过加工处理。这个系统更像是威胁情报共享与评估系统。

威胁情报库

  • 威胁情报库的数据来源分为三方面，包括内部情报、专业机构和行业联盟。内部情报包括传统安全设备的拦截、后台SIEM等安全分析系统的分析以及业务风控系统的发现；专业机构会提供所处专业的多源情报，根据每家机构的专业特点进行互补，并在情报冲突时对数据进行研判；行业联盟的威胁情报共享目前正在研究探索中。内部情报、专业机构和行业联盟这三方面的数据聚合后，形成本地库，进行处理后，最终将数据结果反馈给最上层的应用层，推送给后台应用、防御设备或者人工调用。在综合考虑威胁情报库需求后，我们对国内相关厂商进行调研测试，最终选择北京微步在线科技有限公司旗下本地威胁情报管理平台作为银联威胁情报库的载体平台。

  • 威胁情报库的建立，一方面能够协助我们及时察觉黑客或恶意攻击者的各类战术、方法、行为模式，掌握针对支付场景的最新攻击动向，高效预防和处理各类网络风险安全事件；另一方面高质量的情报数据能够为风险防控提供有力支持，实现对外部网络异常访问行为的精确识别。它对于防守方安全风控团队及时掌安全态势并做出正确响应具有重要价值。

威胁情报利用

网络威胁情报（CTI）技术是一种基于证明的安全系统，可通过分析和共享与安全相关的数据来主动响应这些高级网络威胁。但是，如果攻击者有意将恶意数据注入到系统中，则通过创建和传播不正确的安全策略会严重损害CTI系统的性能。

CTI系统的核心是通过共享信息来最大化每个节点的威胁响应能力。这种方法可以对攻击类型和模式，攻击者和攻击组进行概要分析，从而预测潜在威胁并主动做出响应。网络威胁情报（CTI）系统是一种威胁分析和信息共享系统，用于增进对网络威胁的了解并主动做出反应。CTI系统通过将与威胁相关的数据重新组织和分析为形式化的形式，增强了对网络威胁的理解。

2 联邦学习

  • 联邦学习作为分布式的机器学习范式,可以有效解决数据孤岛问题,让参与方在不共享数据的基础上联合建模,能从技术上打破数据孤岛,实现AI协作。

附录：安全术语解析

APT攻击

APT攻击，即高级可持续威胁攻击,也称为定向威胁攻击，指某组织对特定对象展开的持续有效的攻击活动。这种攻击活动具有极强的隐蔽性和针对性,通常会运用受感染的各种介质、供应链和社会工程学等多种手段实施先进的、持久的且有效的威胁和攻击。

  • (1)攻击者：拥有高水平专业知识和丰富资源的敌对方。
  • (2)攻击目的：破坏某组织的关键设施,或阻碍某项任务的正常进行
  • (3)攻击手段：利用多种攻击方式,通过在目标基础设施上建立并扩展立足点来获取信息。
  • (4)攻击过程：在一个很长的时间段内潜伏并反复对目标进行攻击,同时适应安全系统的防御措施,通过保持高水平的交互来达到攻击目的。

主要特点:先进的攻击方法、隐蔽性好、持续性攻击、长期驻留目标系统。

女巫攻击(Sybil Attack)

是一种在线网路安全系统威胁，是指个人试图通过创建多个帐户身份、多个节点或电脑坐标从而控制网络。

情报共享规范

  • CVE、CVSS

  • CybOX。
    Cyber Observable eXpression (CybOX) 规范定义了一个表征计算机可观察对象与网络动态和实体的方法。可观察对象包括文件，HTTP会话，X509证书，系统配置项等。CybOX 规范提供了一套标准且支持扩展的语法，用来描述所有我们可以从计算系统和操作上观察到的内容。在某些情况下，可观察的对象可以作为判断威胁的指标，比如Windows的RegistryKey。这种可观察对象由于具有某个特定值，往往作为判断威胁存在与否的指标。IP地址也是一种可观察的对象，通常作为判断恶意企图的指标。

  • STIX。
    Structured Threat Information eXpression (STIX) 提供了基于标准XML的语法描述威胁情报的细节和威胁内容的方法。STIX支持使用CybOX格式去描述大部分STIX语法本身就能描述的内容，当然，STIX还支持其他格式。标准化将使安全研究人员交换威胁情报的效率和准确率大大提升，大大减少沟通中的误解，还能自动化处理某些威胁情报。实践证明，STIX规范可以描述威胁情报中多方面的特征，包括威胁因素，威胁活动，安全事故等。它极大程度利用DHS规范来指定各个STIX实体中包含的数据项的格式。

  • TAXII。
    Trusted Automated eXchange of Indicator Information (TAXII) 提供安全的传输和威胁情报信息的交换。很多文章让人误以为TAXII只能传输TAXII格式的数据，但实际上它支持多种格式传输数据。当前的通常做法是用TAXII来传输数据，用STIX来作情报描述，用CybOX的词汇。
    TAXII在标准化服务和信息交换的条款中定义了交换协议，可以支持多种共享模型，包括hub-and-spoke，peer-to-peer，subscription。
    TAXII在提供了安全传输的同时，还无需考虑拓朴结构、信任问题、授权管理等策略，留给更高级别的协议和约定去考虑。

  • Common Weakness Enumeration (CWE) 定义了通用软件设计与实现的弱点，安全漏洞往往是由这些弱点而来的。

  • Common Attack Pattern Enumeration and Classification (CAPEC) 提供了一个与跨事件攻击相似的功能。

  • Malware Attribute Enumeration and Characterization (MAEC) 可用于描述恶意软件的信息，类似于CVE和漏洞之间的关系。

  • Open Vulnerability Assessment Language (OVAL) 为评估漏洞范围和影响提供了一个框架。