邮件过滤技术

发表于 | 更新于 | 分类于 | 阅读次数： | 字数： 3,573 | 阅读时长： 13

邮件过滤简介

电子邮件的基本概念：

电子邮件是一种通过网络提供信息交互的通信方式。

完整的电子邮件一般包括邮件地址、主题、正文和附件。

电子邮件的格式有：SMTP、POP3、MUA、MTA。

MUA（Mail User Agent）：电子邮件系统的构成之一，接受用户输入的各种指令，将用户的邮件发送至MTA或者通过POP3、IMAP协议将邮件从MTA取到本机。常见的MUA有Foxmail,Outlook Express等邮件客户端程序。

MTA（Mail Transfer Agent）： 用于收发Mail的程序一般统称为邮件用户代理MUA(Mail User Agent)。将来自MUA的信件转发给指定的用户的程序一般被称之为因特网邮件传送代理MTA（Mail Transfer Agent）。在linux/Unix系统上，最著名的MTA有sendmail、qmail等程序。

定义：

邮件过滤主要使用IP地址检查和邮件内容过滤技术，它可以帮助局域网用户提高邮件系统的安全性：

  • IP地址检查可以防止垃圾邮件在内网泛滥。
  • 邮件内容过滤既可以过滤掉匿名邮件，也可以通过检查邮件内容控制内网用户的邮件发送或接收权限。

垃圾邮件：

垃圾邮件是指未经用户许可强行发送的电子邮件，邮件包含广告、宣传资料、病毒等内容。对于用户来说，垃圾邮件除了会影响正常的邮件阅读，还可能包含病毒等有害信息；对服务提供商来说，垃圾邮件会造成邮件服务器拥塞，降低网络运行效率，甚至成为黑客攻击邮件服务器的工具。

垃圾邮件产生的原因：

  • SMTP协议缺陷
  • 经济利益的驱动
  • 开放的互联网
  • 无意导致的误发送

发送垃圾邮件的手段：

  • 通过各种方法（购买、偷窃）获取接受人列表。
  • 使用专门的服务器来发送垃圾邮件。
  • 通过破解等黑客手段挟持他人服务器或主机来发送垃圾邮件。
  • 破解他人的社交网络账号来发送垃圾邮件。
  • 综合运用多种躲避垃圾邮件检查的手段。

垃圾邮件的危害：

  • 降低生产力
  • 被黑客利用
  • 损害ISP品牌形象
  • 危害社会

垃圾邮件主要类型：

  • 病毒和木马邮件
  • 色情宣传邮件
  • 商业宣传邮件
  • 政治宣传邮件

垃圾邮件技术分析：

  • 动态IP/域名：垃圾邮件多采用IP地址或域名变换技术，达到欺骗反垃圾邮件系统的目的。
  • 动态内容：关键字动态变化；采用附件代替文本内容；信头、正文动态变化；内容图片化。
  • 分布式发送：采用分布式的发送方式，以防止地址或域名屏蔽。
  • 结合病毒特性：结合蠕虫病毒的自动传播机制，实现垃圾邮件的大量发送。

常见的垃圾邮件过滤技术：

技术

统计法：

  • 贝叶斯算法：基于统计方法，采用标记权重的方式，以已知的垃圾邮件和非垃圾邮件为样本进行内容分析和统计来计算下一封邮件为垃圾邮件的概率，生成过滤规则。
  • 连接/带宽统计：通过统计单位时间内某固定IP地址试图连接的数量是否在预定范围，或限制其有效带宽实现反垃圾邮件。
  • 邮件数量限制：限制单个IP在单位时间内可发送的邮件数量。
  • 信誉评分技术：基于统计的技术，采用信誉评级的方法实现邮件等级定义。

列表法：

  • 静态白名单：
  • 静态黑明单
  • RBL，远程实时黑明单。具体介绍见后文。

源头法：

  • DomainKeys：采用验证邮件发件人是否与其声称的邮件域名一致，并验证邮件的完整性。该技术为一种公钥+私钥的签名技术。
  • SPF（Sender Policy Framework）技术：SPF的目的用于防止伪造邮件地址 ，SPF基于反向查询技术判断邮件的指定域名和IP地址是否是完全对应。

其他：

  • 内容过滤：通过分析邮件的内容进而采用关键字过滤的方法对垃圾邮件进行过滤。
  • 多重图片识别技术：识别出通过图片来隐藏恶意信息的垃圾邮件。
  • 意图分析技术：邮件动机分析技术。

邮件过滤解决的问题：

  • 垃圾邮件泛滥

  • 匿名邮件非法传播：匿名邮件指发件人地址为空的电子邮件。

    从安全的角度考虑，匿名发送的邮件可能包含暴力、色情等对他人有危害的信息。

  • 信息泄密：防止通过邮件将机密信息非法传递到外部。

NGFW邮件过滤技术支持情况：

支持

邮件过滤原理

邮件发送/接受工作机制：

邮件的传输需要经过SMTP Server，SMTP Server之间通过SMTP（Simple Mail Transfer Protocol，简单邮件传输协议）协议来传递消息。

邮件发送

图：电子邮件传输过程

电子邮件的传输过程主要包括以下三步：

  1. 发送方PC将邮件寄到指定的SMTP Server。
  2. 发送方SMTP Server根据邮件的目的地址，将邮件信息封装在SMTP消息中寄给接收方SMTP Server。
  3. 收件人下载邮件。

基于SMTP/POP3/IMAP的邮件收发机制:

SMTP定义了计算机如何将邮件发送到SMTP Server，SMTP Server之间如何中转邮件。

POP3（Post Office Protocol 3，邮局协议版本3）和IMAP（Internet Mail Access Protocol，交互式邮件存取协议）规定计算机如何通过客户端软件管理、下载邮件服务器上的电子邮件。

SMTP Server、POP3 Server、IMAP是为用户提供服务的管理软件，需要部署在硬件服务器上。

IMAP与POP3主要区别在于：

  • 使用POP3，客户端软件会将所有未阅读邮件下载到计算机，并且邮件服务器会删除该邮件。
  • 使用IMAP，用户直接对服务器上的邮件进行操作，不需要把所有邮件下载到本地再进行各项操作。

基于该种方式，网络管理员需要在邮件服务器上部署SMTP服务、POP3服务（或IMAP服务）；终端用户需要在PC上安装邮件客户端软件（例如MicroSoft OutLook、FoxMail等邮件管理软件）。

机制

图：基于SMTP/POP3的邮件收发机制

一个完整的邮件发送过程包括4步：

  1. PC将邮件内容封装在SMTP消息中寄给发送方SMTP Server。
  2. 发送方SMTP Server将邮件封装在SMTP消息中寄给接收方SMTP Server，接收方SMTP Server储存起来。
  3. POP3 Server收到用户的请求后，读取SMTP Server储存的邮件。
  4. POP3 Server将邮件封装到POP3消息中发送给PC。

垃圾邮件防范：

垃圾邮件防范是基于IP的邮件过滤技术，通过检查发送方SMTP Server源IP的合法性来防止垃圾邮件泛滥。

垃圾邮件是指未经请求而发送的电子邮件。垃圾邮件的泛滥带来很多问题：

  • 占用网络带宽，造成邮件服务器拥塞，进而降低整个网络的运行效率。
  • 占用收件人的信箱空间，影响正常邮件的阅读和查看。
  • 频繁转发垃圾邮件，导致邮件服务器被上级国际Internet服务提供商加入黑名单，无法发送邮件到国外。

FW作为安全网关时，所有外部邮件均需经过FW中转，通过检查发送方SMTP Server的IP地址，可以有效过滤垃圾邮件。

发送方SMPT Server源IP地址检查：

在整个邮件发送过程中，PC与邮件服务器、邮件服务器与邮件服务器之间都不做认证，攻击者可以通过互联网上任意一台SMTP Server来发送邮件。

IP地址检查是指FW对发送方SMTP Server的源IP进行检查。

检查

图：发送方SMTP Server源IP地址检查过程

FW对发送方SMTP Server的源IP检查过程如下：

  1. FW收到其他SMTP Server发送的SMTP消息，包括正常邮件和垃圾邮件。
  2. FW执行IP地址检查：
    1. 解析SMTP消息，从SMTP消息中获取发送方SMTP Server的源IP。
    2. 检查源IP合法性。FW将IP地址与黑名单、白名单进行比较，来判断IP地址的合法性。有本地白名单、本地黑名单和RBL黑名单。如果源IP命中了本地白名单，判定为合法邮件；否则查找本地黑名单，如果命中本地黑名单，判定为垃圾邮件；否则查询RBL黑名单，命中RBL黑名单判断为垃圾邮件，否则判定为合法邮件。
  3. 放行合法邮件，阻断垃圾邮件。

过滤顺序：本地白名单—> 本地黑名单 —->远程实时黑名单（RBL）

响应方式：告警和阻断。

RBL黑名单查询机制：

RBL（Real-time Blackhole List），即实时黑名单列表，是由反垃圾邮件组织联合收集的一个庞大的在线数据库，收集、保存频繁发送垃圾邮件SMTP Server的IP地址。

提供RBL服务的机构会实时更新黑名单列表来保证可以过来最新的垃圾邮件。

RBL过滤只支持对使用SMTP协议进行传输的邮件进行过滤。

rbl

图：RBL工作机制

FW使用RBL黑名单进行邮件过滤的工作过程：

  1. FW收到SMTP消息后，提取发送方SMTP Server的IP地址。
  2. FW将解析出来的IP地址和由第三方RBL服务器指定的RBL服务名放到一条信息中，向DNS Server发送解析请求。例如，SMTP Server的源IP为1.2.3.4，RBL服务名为“sbl.spamhaus.org”，则FW将信息“4.3.2.1.sbl.spamhaus.org”发送给DNS Server。
  3. DNS Server收到FW发送的信息后，读取RBL服务名，解析出RBL服务器对应的IP地址，将查询请求转发给RBL服务器。
  4. RBL服务器收到DNS服务器转发的查询请求后，将结果以应答码的形式反馈给DNS Server。应答码是一个IP地址，标识此次RBL查询是否有结果。
  5. DNS Server将从RBL服务器获取的应答码转发给FW。
  6. FW根据应答码判断来自该SMTP Server的邮件是否为垃圾邮件。
    • 如果从RBL服务器获得的应答码与FW上配置的应答码一致，该SMTP邮件将被视为垃圾邮件。
    • 如果从RBL服务器获得的应答码与FW上配置的应答码不一致，该SMTP邮件将被放行。

要使用RBL黑名单，网络管理员需要配置DNS服务器、RBL服务名和应答码。

应答码通常是一个IP地址，仅仅标识查询结果，并不具有实际意义，可以是一个保留IP段的地址，如127.0.0.1、127.0.0.2等。

要使用RBL黑名单，需要事先从RBL服务提供商获取应答码，并在FW上完成应答码的配置。FW发起RBL查询请求后，会将RBL服务器反馈的应答码与网络管理员配置的应答码进行比较，如果两者一致，FW会判断这是一封垃圾邮件。

基于邮件内容的过滤：

匿名邮件检测、邮箱地址检查、邮件附件控制都是基于邮件内容的过滤，通过检查发件人和收件人的邮箱地址、附件大小和附件个数来实现过滤。

邮件内容过滤运行机制：

FW作为安全网关时，所有的数据信息都要经过FW中转，FW在中转信息前，对信息进行检查，过滤掉包含非法邮件的信息。

过滤

图：邮件内容过滤运行机制
  1. 数据信息到达FW。
  2. FW进行邮件内容过滤：
    1. 流量识别。FW根据匹配条件（例如数据流量的源安全区域、目的安全区域、源地址、目的地址等）识别出要进行邮件过滤的流量。
    2. 邮件过滤。FW分析出哪些流量包含邮件内容，检查邮箱地址、附件大小，识别出非法邮件。
  3. 丢弃包含非法邮件的信息。

检测方向：

邮件内容过滤分为发送方向和接收方向：

  • 发送方向：如果邮件内容封装在SMTP消息中，FW执行发送方向检测。
  • 接收方向：如果邮件内容封装在POP3消息或IMAP消息中，FW会判断为接收方向，执行接收方向的检测。

仅开启邮件过滤功能是无法查杀邮件病毒的，需要开启反病毒功能。

邮件内容过滤带来的价值：

邮件内容过滤特性从邮件中提取邮件要求并对其进行过滤，消除其带来的内容安全威胁，给用户带来如下价值：

  • 防信息泄露。
  • 屏蔽敏感信息和反动言论。
  • 收发邮件权限控制。
  • 防带宽过度占用。

SMTP/POP3邮件过滤：

SMTP/POP3邮件内容过滤是指当内网用户通过邮件客户端收发邮件时，对邮件地址、附件大小和数量进行监控。

内网用户发送不符合配置要求的邮件，将被阻断。

邮件过滤配置思路

配置思路：

  1. 配置本地白名单、黑名单（可选）
  2. 配置RBL黑名单（可选）
  3. 配置匿名邮件检测（可选）
  4. 配置邮箱地址检查（可选）
  5. 配置邮件附件控制（可选）
  6. 配置安全策略（必选）
  7. 编译提交

邮件过滤排错思路：

  1. License是否有效
  2. 黑白名单是否配置
  3. 邮件过滤配置文件是否命中流量
  4. 配置是否提交

参考文档：华为HedEx文档

坚持原创技术分享，您的支持将鼓励我继续创作！