网络安全设备流量分析上的探索 网络流量分析在FW\IDS\IPS中很常见。相比于主机层、应用层是以日志、请求等为分析对象，流量分析面对的是更底层的网络数据包，所包含的信息元素更多，但是分析起来也更加生涩。1、 高性能的网络IO无论是在业务服务器层还是机房出口层进行分析，都需要解决从网卡进行高速收包的问题。中断收包肯定是不能用的、协议栈肯定也是不能过的。常见的机制有Pcap（如网工必备应用tcpdump，但用作高性能收包现在已较少了）、Pfring（印象中是最早提出并实践了零拷贝Zero-Copy理念）、DPDK（Intel的解决方案，这几年使用非常流行），这些机制要么是基于linux内核的cBPF进行hook、要么是直接消除协议栈。而从3.17版本开始，内核引入了全新的eBPF（与老的cBPF相比，简直是鸟枪换炮，功能厉害得不行），由此诞生出了一个新的网络处理引擎XDP，近两年被业界颇为称道。与DPDK不同，XDP并不消除协议栈，而是工作在网卡收包与协议栈之间，甚至于是在内核分配skb之前。也就是经过XDP分析处理之后，数据包可以直接丢弃、直接发送，或者是继续送到协议栈处理。这对基于业务服务器层的卸载加速、流量管控、安全过滤有了更好的选择，目前国外大厂用的还比较多。tcpdump/wireshark（libpacp）PfringeBPFDPDK2、 特征匹配引擎流量分析可以分为两种类型，一种是DFI（深度流检测）、一种是DPI（深度包检测），前者注重量的统计、后者注重内容的分析。而特征匹配是内容分析很重要的组成部分，虽然业界常说当前的攻防对抗已升级、传统基于黑特征的检测防御会悉数失效，但从实际现网来看，通过黑特征还是能解决很大一部分的通用性攻击威胁。传统的字符串匹配如KMP、Sunday和AC多模，正则匹配如Pcre、Re2和随DPDK广泛使用的Hyperscan。纯软件的方案毕竟会共消耗和共用机器CPU，因此也有基于硬件加速的方案，比如多插一张FPGA卡，用来专门做匹配查找计算；另外还有Mellonax BlueField直接在网卡上加一个处理芯片（智能网卡），做协议卸载和匹配加速。3、 流重组很多安全威胁都发生在TCP类的业务协议上（如Web漏洞、高危端口），黑客除了在业务处理逻辑层面对安全防护措施进行绕过，也会在更底层的网络传输进行尝试，比如lake2文章里所提到的一些思路。因此对于TCP的分段传输特性，流重组对提升安全对抗的检测覆盖能力起到重要作用。实际落地上，业界少有现成的开源方案，自研实现上需考虑对内存的合理高效使用、对算法的精心调优，而现网使用中，则需要平衡性能和功能，太考虑性能则某些场景覆盖不了、太考虑功能则会导致处理性能下降，需要根据具体业务场景来定。4、主流厂商目前采用的技术深信服2020深信服应用交付ad产品手册https://download.sangfor.com.cn/db9ff30b95024888ab815f42319351e3.pdf深信服在AD产品中使用DPDK技术作为流量分析引擎5、目前开源的IPS/IDS系统目前开源的IPS系统主要有Suricata和Snort：SuricataSuricata是一个高性能的网络安全监控和入侵检测系统，支持多种协议和应用层协议解析，可以进行实时流量分析和攻击检测。由 OISF 和 Suricata 社区开发。项目地址：https://github.com/OISF/suricataSnort3Snort3是一个流行的开源IDS/IPS系统，支持多种规则语言和可扩展性，可以进行实时流量分析和攻击检测。项目地址：https://github.com/snort3/snort3