增强型 Web 筛选

增强型 Web 过滤的工作原理是什么？

增强型 Web 过滤 （EWF） 功能可拦截、扫描 HTTP 或 HTTPS 流量并据此采取措施。以下是 HTTP 方法：

• 获取

• 发布

• 选项

• 主管

• 放

• 删除

• 追踪

• 连接

以下是了解 EWF 流程的步骤：

1. 设备创建到 Websense ThreatSeeker Cloud （TSC） 的 TCP 套接字连接。

2. 设备拦截 HTTP 或 HTTPS 连接，并提取 URL、主机名或 IP 地址以执行 Web 过滤。对于 HTTPS 连接，如果不使用 SSL 转发代理解密流量，则通过 SSL 转发代理和服务器名称指示 （SNI） 支持 EWF。

   从 Junos OS 12.3X48-D25 版和 Junos OS 17.3R1 版开始，通过 SSL 转发代理的增强型 Web 过滤 （EWF） 支持 HTTPS 流量。

3. 设备在用户配置的阻止列表或允许列表中查找 URL。

   阻止列表或允许列表操作类型是用户定义的类别，其中所有 URL 或 IP 地址始终被阻止或允许，并可选择记录。

   • 如果 URL 在用户配置的阻止列表中，则设备将阻止该 URL。

   • 如果 URL 在用户配置的允许列表中，则设备允许该 URL。

4. 设备检查用户定义的类别，并根据用户指定的类别操作阻止或允许 URL。

5. 设备在本地缓存或云服务中查找预定义类别。

   • 如果 URL 过滤缓存中没有 URL，设备会将 HTTP 格式的 URL 发送到 TSC，并发出分类请求。设备使用 TSC 可用的连接之一来发送请求。

   • TSC 通过分类和信誉分数来响应设备。

6. 设备根据识别的类别执行以下操作：

   • 如果 URL 被允许，设备会将 HTTP 请求转发至 HTTP 服务器。

   • 如果 URL 被阻止，设备将向 HTTP 客户端发送拒绝页面，并向 HTTP 服务器发送重置消息以关闭连接

   • 如果 URL 被隔离，设备会向 HTTP 客户端发送带有 set-cookie 的隔离页面。如果客户端决定继续，则设备允许使用 cookie 进行新请求。

   • 如果已配置类别且类别操作可用，则设备将根据类别操作允许或阻止 URL。

   • 如果未配置该类别，设备将根据全局信誉操作允许或阻止 URL。

   • 如果未配置全局信誉，设备将根据 Web 过滤配置文件中配置的默认操作允许或阻止 URL。

   默认情况下，EWF 按阻止列表、允许列表、自定义类别和预定义类别的顺序处理 URL。

用户消息和重定向 URL

从 Junos OS 15.1X49-D110 版开始，为命令添加了custom-objects一个新选项 custom-message，通过该命令，您可以配置用户消息和重定向 URL，以便在每个 EWF 类别的 URL 被阻止或隔离时通知用户。该custom-message选项具有以下必需属性：

• 名称：自定义消息的名称;最大长度为 59 字节。

• 类型：自定义消息的类型： user-message 或 redirect-url。

• 内容：自定义消息的内容;最大长度为 1024 字节。

将用户消息或重定向 URL 配置为自定义对象，并将自定义对象分配给 EWF 类别。

• 用户消息表示网站访问已被组织的访问策略阻止。要配置用户消息，请在层次结构级别包含[edit security utm custom-objects custom-message message]该type user-message content message-text语句。

• 重定向 URL 将阻止或隔离的 URL 重定向到用户定义的 URL。要配置重定向 URL，请在层次结构级别包含[edit security utm custom-objects custom-message message]该type redirect-url content redirect-url语句。

该 custom-message 选项提供以下优势：

• 可以为每个 EWF 类别配置单独的自定义消息或重定向 URL。

• 该 custom-message 选项允许您微调消息以支持您的策略，以了解哪个 URL 被阻止或隔离。

  每个类别仅应用一个 custom-message 配置选项。 custom-message 该配置仅在增强型 Web 过滤 （EWF） 上受支持。因此，仅支持瞻博网络 EWF 引擎类型。

从 Junos OS 17.4R1 版开始，本地和 Websense 重定向配置文件可支持自定义类别配置。

功能要求

使用增强型 Web 筛选 （EWF） 需要以下项：

• License key— 激活和使用 EWF 解决方案需要新许可证。

  可以忽略警告消息“需要'wf_key_websense_ewf'许可证”，因为它是由例行 EWF 许可证验证检查生成的。

  许可证密钥到期后，将为 EWF 功能提供 30 天的宽限期，与其他内容安全性功能一致。

  此功能需要许可证。有关许可证管理的一般信息，请参阅 许可指南 。请参阅 SRX 系列防火墙 的产品产品介绍，了解详细信息，或联系您的瞻博网络客户团队或瞻博网络合作伙伴。

  当 EWF 功能的宽限期过后 （或如果尚未安装该功能） ，将禁用 Web 过滤，所有 HTTP 请求都会绕过 Web 过滤，并且禁用与 TSC 的任何连接。安装有效许可证后，将再次建立与服务器的连接。

• 该 debug 命令向设备上可用的每个 TCP 连接提供以下信息：

  • 已处理的请求数

  • 挂起的请求数

  • 错误数（丢弃或超时请求）

• TCP connection between a Web client and a webserver— 应用程序识别 （APPID） 模块用于识别 HTTP 连接。EWF 解决方案在设备收到第一个 SYN 数据包后识别 HTTP 连接。如果必须阻止 HTTP 请求，EWF 会将阻止消息从设备发送到 Web 客户端。EWF 进一步向客户端发送 TCP FIN 请求，并向服务器发送 TCP 重置 （RST） 以禁用连接。设备通过流会话发送所有消息。这些消息会跟随整个服务链。

• HTTP request interception—EWF 拦截设备上的第一个 HTTP 请求，并对 HTTP 1.0 和 HTTP 1.1 中定义的所有方法执行 URL 过滤。设备在等待 TSC 的响应时保留原始请求。如果 HTTP URL 中的第一个数据包已分段，或者设备由于某种原因无法提取 URL，则将使用目标 IP 地址进行分类。如果打开 http-reassemble，EWF 可以从片段中恢复整个请求并获取 URL。

  对于 HTTP 1.1 持久连接，EWF 模块会忽略该会话上的后续请求。

  如果设备长时间保留原始请求，则客户端将重新传输请求。URL 过滤代码将检测重新传输的数据包。如果原始 HTTP 请求已转发，则 EWF 会将重新传输的数据包转发到服务器。但是，如果 EWF 处于第一个数据包处理过程中或进行阻塞会话的计算，则解决方案将丢弃重新传输的数据包。计数器跟踪设备接收的重传数据包数。

  如果 TSC 未及时响应来自设备的分类请求，则根据超时回退设置阻止或允许原始客户端请求。

• HTTPS request interception—从 Junos OS 15.1X49-D40 和 Junos OS 17.3R1 版开始，EWF 拦截通过 SRX 系列防火墙的 HTTPS 流量。来自设备的安全通道分为客户端和设备之间的一个 SSL 通道，以及设备和 HTTPS 服务器之间的另一个 SSL 通道。SSL 转发代理充当两个通道的终端，并将明文流量转发到内容安全性。内容安全性从 HTTP 请求消息中提取 URL。

• Blocking message— 发送到 Web 客户端的阻止消息可由用户配置，并且具有以下类型：

  • 瞻博网络拦截消息是设备中定义的默认消息，用户可修改。默认阻止消息包含请求被阻止的原因和类别名称（如果由于类别而被阻止）。

  • Syslog 消息。

  例如，如果您已将Enhanced_Search_Engines_and_Portals设置为阻止的操作，并尝试访问 www.example.com，则阻止消息的形式如下： Juniper Web Filtering:Juniper Web Filtering has been set to block this site. CATEGORY: Enhanced_Search_Engines_and_Portals REASON: BY_PRE_DEFINED 。但是，被测设备 （DUT） 上的相应系统日志消息为： WEBFILTER_URL_BLOCKED: WebFilter: ACTION="URL Blocked" 56.56.56.2(59418)->74.125.224.48(80) CATEGORY="Enhanced_Search_Engines_and_Portals" REASON="by predefined category" PROFILE="web-ewf" URL=www.example.com OBJ=/ 。

• Monitoring the Websense server—URL过滤模块使用两种方法来确定TSC是否处于活动状态：套接字连接和心跳。EWF 维护到 TSC 的持久 TCP 套接字。如果启用了 TCP ACK，则服务器会通过 TCP ACK 进行响应。EWF 向 TSC 发送应用层 NOOP 保持活动状态。如果设备在特定时间段内未收到对三个连续 NOOP 保持活动的响应，则会确定套接字处于非活动状态。EWF 模块尝试打开与 TSC 的新连接。如果所有套接字都处于非活动状态，则 TSC 被视为非活动状态。因此会发生错误。将显示并记录错误。根据服务器连接回退设置，后续请求和挂起的请求将被阻止或传递，直到再次打开与 TSC 的新连接。

• HTTP protocol communication with the TSC—EWF 使用 HTTP 1.1 协议与 TSC 通信。这确保了持久连接并通过同一连接传输多个 HTTP 请求。单个 HTTP 请求或响应用于客户端或服务器通信。TSC 可以处理排队的请求;为了获得最佳性能，使用异步请求或响应机制。请求通过 TCP 发送，因此使用 TCP 重传来确保请求或响应的交付。TCP 还确保将有效的、有序的、非重传的 HTTP 流数据发送到设备上的 HTTP 客户端。

• Responses- 响应遵循基本 HTTP 约定。成功的响应包括 20 倍响应代码（通常为 200）。错误响应包括 4xx 或 5xx 代码。4xx 系列中的错误响应表示自定义代码中存在问题。5xx 系列中的错误响应表示服务存在问题。

  错误代码和含义如下：

  • 400 - 错误请求

  • 403–禁止

  • 404–未找到

  • 408 - 请求已取消或响应为 null

  • 500 – 内部服务器错误

  400 系列中的错误表示请求存在问题。500 系列中的错误表示 TSC 服务存在问题。Websense 会自动收到这些错误的通知并做出相应的响应。

  可以配置默认回退设置来确定是通过还是阻止请求： set security utm feature-profile web-filtering juniper-enhanced profile juniper-enhanced fallback-settings default ?

  响应还包含站点分类和站点信誉信息。

• Categories— 设备上提供了类别列表。此列表由多个类别组成，每个类别都包含一个类别代码、一个名称和一个父 ID。类别也可以由用户定义。每个类别都由 URL 或 IP 地址列表组成。类别不会动态更新，而是与 Junos OS 版本绑定，因为它们必须编译到 Junos OS 映像中。类别中的任何更新都需要与 Junos OS 发布周期同步。

  从 Junos OS 17.4R1 版开始，您可以下载并动态加载新的 EWF 类别。新 EWF 类别的下载和动态加载不需要软件升级。Websense 偶尔会发布新的 EWF 类别。EWF 根据主机、URL 或 IP 地址对网站进行分类，并根据类别进行过滤。

  如果类别文件在主设备和辅助设备之间传输失败，则文件传输将导致升级错误，并生成错误日志。

  在新类别文件安装过程中，如果更改了类别文件名，则新的类别文件将覆盖内部系统中的旧类别文件，并且所有相关的输出信息都将替换为新的类别名称。

  从 Junos OS 17.4R1 版开始，各个 EWF 类别支持在类别文件中定义的预定义基本过滤器。每个 EWF 类别在基本筛选器中都有一个默认操作，该操作附加到用户配置文件以充当备份筛选器。如果未在用户配置文件中配置类别，则基本过滤器将执行该操作。

  基本过滤器是一个对象，其中包含类别文件中定义的所有类别的类别操作对。基本过滤器是一个结构化对象，借助过滤器名称和类别操作对数组进行定义。

  下面是具有类别操作对数组的基本筛选器的示例。对于Enhanced_Adult_Material类别，操作为阻止;对于Enhanced_Blog_Posting类别，操作是允许的;等等。

  EWF 支持多达 16 个基本滤波器。Junos OS 17.4R1 版还支持基本过滤器的联机升级。

  如果用户配置文件与基本过滤器的名称相同，则 Web 过滤器使用错误的配置文件。

• Caching- 成功分类的响应将缓存在设备上。未分类的 URL 不会缓存。缓存的大小可以由用户配置。

• Safe search (HTTP support only, not HTTPS)- 安全搜索解决方案用于确保嵌入对象（例如从搜索引擎接收的 URL 上的图像）是安全的，并且不会将不需要的内容返回给客户端。

  向 TSC 提供 URL 以提供分类信息。如果是搜索 URL，TSC 还会返回一个安全搜索字符串。例如，安全搜索字符串是 safe=active。此安全搜索字符串将附加到 URL，并打开用于使用安全搜索重定向客户端查询的重定向响应。这可确保不会将不安全的内容返回到客户端。如果 TSC 指示需要进行安全搜索，则可以执行安全搜索重定向。

  例如，客户端向 EWF 配置文件允许的 URL https://www.google.com/search?q=test 发出请求。在数据包模式下，DUT 上的 EWF 将生成 HTTP 302 响应，重定向 URL 为： https://www.google.com/search?q=test&safe=active。此响应返回给客户端。客户端现在向此 URL 发送安全重定向请求。在流模式下，DUT 上的 EWF 将 URL 重写为 https://www.google.com/search?q=test&safe=active 并将其转发。

  注意：

  安全搜索重定向仅支持 HTTP。您无法提取 HTTPS 的 URL。因此，无法为 HTTPS 搜索 URL 生成重定向响应。可以使用 CLI 选项 no-safe-search禁用安全搜索重定向。

• Site reputation— TSC 提供站点信誉信息。根据这些信誉，您可以选择阻止或允许操作。如果 URL 未由允许列表或阻止列表处理，并且不属于用户或预定义类别，则信誉可用于执行 URL 过滤决策。

  从 Junos OS 17.4R1 版开始，信誉基础分数是可配置的。用户可以应用 Websense ThreatSeeker Cloud （TSC） 提供的全局信誉值。对于非类别 URL，全局信誉值用于执行过滤，

  信誉分数如下：

  • 100-90–站点被认为非常安全。

  • 80-89–站点被认为是中等安全的。

  • 70-79–站点被认为是相当安全的。

  • 60-69 – 站点被视为可疑。

  • 0-59 - 站点被视为有害。

  设备会根据站点信誉分数为被阻止或允许的 URL 保留日志。

• Profiles— URL 过滤配置文件定义为类别列表，每个配置文件都有一个与之关联的操作类型（允许、日志记录和允许、阻止、隔离）。如果用户选择不定义自己的配置文件，则会向用户提供预定义的配置文件。 junos-wf-enhanced-default

  您还可以根据配置文件中的站点信誉定义操作，以指定当传入 URL 不属于配置文件中定义的任何类别时的操作。如果未配置站点信誉处理信息，则可以定义默认操作。配置文件中未定义类别或未定义信誉操作的所有 URL 都将被阻止、允许、记录并允许或隔离，具体取决于配置文件中明确定义的默认操作的阻止或许可处理。如果您未指定默认操作，则将允许 URL。对于搜索引擎请求，如果没有显式用户定义的配置，并且 URL 请求没有安全搜索选项，则 EWF 会生成重定向响应并将其发送到客户端。客户端将生成启用安全搜索选项的新搜索请求。

  URL 过滤配置文件可以包含以下项目：

  • 多个用户定义和预定义类别，每个类别都有一个允许或阻止操作

  • 多个站点信誉处理类别，每个类别都有一个允许或阻止操作

  • 一个带有允许或阻止操作的默认操作

  搜索顺序为阻止列表、允许列表、用户定义类别、预定义类别、安全搜索、站点信誉和默认操作。

缓存预加载（Cache Preload）

从 Junos OS 23.2R1 版开始，缓存将加载评分最高、经常访问的 URL 列表以及系统启动阶段的分类信息。这对于互联网连接速度较慢的用户非常有用，他们由于远程分类服务而在访问 Web 时遇到高延迟。它确保即使发出第一个请求也不会出现延迟，因为 Web 过滤器策略决策基于缓存中预加载的 URL 类别信息。

默认情况下不启用缓存。确保启用缓存以使用此功能。要为增强型 Web 过滤 （EWF） 启用缓存，需要以下配置，这些配置在 SRX 系列防火墙中可用。

• security utm default-configuration web-filtering juniper-enhanced cache timeout

• security utm default-configuration web-filtering juniper-enhanced cache size

对增强型 Web 过滤的缓存预加载使用以下 CLI 配置语句选项：

表 1：选项

信息源 URL	用于下载备用文件，而不是默认的硬编码文件。这不是强制性的。如果未设置硬编码默认值，则使用硬编码默认值。 默认 Feed URL： https://update.juniper-updates.net/EWF-CACHE-PRELOAD/ 根据 Feed 类型使用以下默认值之一： https://update.juniper-updates.net/EWF-CACHE-PRELOAD/abs_urls_feed.tgz https://update.juniper-updates.net/EWF-CACHE-PRELOAD/server_names_feed.tgz
自动	用于自动设置下载和预加载缓存，无需用户交互。
自动间隔<以小时为单位的时间>	用于计划自动缓存预加载。如果指定了自动选项，则为必需选项。
自动重试<小时时间>	用于在自动缓存预加载由于某种原因失败时安排重试。如果指定了自动选项，则为必需选项。
自动信息源类型<abs-urls-feed 或 server-names-feed>	用于指定要由自动下载和预加载功能使用的源类型。如果指定了自动选项，则为必需选项。

注意：

您可以使用以下命令限制缓存中的最大条目数：

set security utm default-configuration web-filtering juniper-enhanced cache size ?

可能的补全：

<size> Juniper enhanced cache size (0..4096 kilobytes)

CLI 提供了用于增强型 Web 过滤缓存预加载功能的新操作命令。

您可以使用操作命令从远程服务器下载您选择的 URL 源。Feed-URL 选项可用于下载备用文件而不是默认硬编码文件。即使使用 Feed-URL 选项，也需要 server-names-feed 选项和 abs-urls-feed 选项来指示您指定的包中可用的 Feed 类型。

• request security utm web-filtering cache-preload download abs-urls-feed

• request security utm web-filtering cache-preload download server-names-feed

• request security utm web-filtering cache-preload download server-names-feed feed-url https://update.juniper-updates.net/EWF-CACHE-PRELOAD/server_names_fp_feed.tgz

• request security utm web-filtering cache-preload download abs-urls-feed feed-url https://update.juniper-updates.net/EWF-CACHE-PRELOAD/abs_urls_fp_feed.tgz

注意：

用户指定的类型 server-names-feed 包必须包含 server_names_feed.csv 和 server_names_feed.ver 文件。

用户指定的包 abs-urls-feed must 包含 abs_urls_feed.csv 和 abs_urls_feed.ver 文件。

以下是硬编码链接。程序根据源类型选择链接。

https://update.juniper-updates.net/EWF-CACHE-PRELOAD/abs_urls_feed.tgz

https://update.juniper-updates.net/EWF-CACHE-PRELOAD/server_names_feed.tgz

使用以下操作命令使用系统内已有的 URL 馈送触发缓存预加载。如果已使用下载命令安装了软件包，则这些命令将加载缓存。使用 server-names-feed 选项预加载已分类的服务器名称。使用 abs-urls-feed 预加载分类的 URL feed。

• request security utm web-filtering cache-preload load-active-local server-names-feed

• request security utm web-filtering cache-preload load-active-local abs-urls-feed

使用以下内容从远程服务器下载、安装默认 URL 源，并加载缓存。使用 server-names-feed 选项下载分类的服务器名称。使用 abs-urls-feed 下载分类的 URL feed。

• request security utm web-filtering cache-preload load-active server-names-feed

• request security utm web-filtering cache-preload load-active abs-urls-feed

要检查缓存预加载功能的状态，请使用以下命令：

智能 Web 过滤配置文件选择

从 Junos OS 23.2R1 版开始，在完成最终策略匹配之前，将使用来自 JDPI 的动态应用信息来检索策略信息。根据最终应用程序匹配，在选择最终策略后，Web 过滤器配置文件将再次更新。

根据动态应用信息检索的内容安全性配置文件比应用默认配置文件（早期方法）更准确。

基于应用的动态策略检测现在是默认行为。

要将其中一个内容安全性策略设为默认值，引入了以下命令：

set security utm default-policy <pol_name>

您可以使用此命令选择任何内容安全性策略作为默认策略。如果在统一的多策略配置方案中配置了默认策略，则使用默认内容安全性 Web 过滤策略。如果未配置，则使用 junos-default-utm-policy 作为默认策略。

注意：

默认策略更改仅适用于 Web 过滤，不适用于内容过滤、防病毒或反垃圾邮件。

以下CLI命令用于显示dynapp-profile-selection的配置：

show security utm web-filtering status

内容安全性 Web 过滤状态：

使用以下命令显示策略查找活动的调试计数器值：

show security utm l7-app-policy statistics

新计数器将添加到 Web 筛选统计信息中以进行调试。

表 2：添加到 Web 过滤统计信息中的新计数器

与 dynapp 策略匹配的会话	每当与uf_ng会话关联的策略根据新识别的应用 ID 发生更改时，都会增加。
与默认策略匹配的会话数	当为连接执行的内容安全性策略操作基于用户配置的默认策略时增加。当用户配置的默认策略与新动态应用标识的策略相同时，或者当用户配置的默认策略具有有效的内容安全性 Web 筛选配置文件，并且无策略与现有防火墙策略匹配时，此计数器会增加。
与最终策略匹配的会话数	在对内容安全性策略执行操作且没有任何策略冲突时增加。

注意：

使用该命令检查 show services application-identification application-system-cache AppID模块标识的动态应用。

用于增强型 Web 过滤 （EWF） 的用户消息和重定向 URL

从 Junos OS 15.1X49-D110 版开始，为语句添加了custom-objects一个新选项 custom-message，通过该语句，您可以配置用户消息和重定向 URL，以便在每个 EWF 类别的 URL 被阻止或隔离时通知用户。该custom-message选项具有以下必需属性：

• 名称：自定义消息的名称;最大长度为 59 个 ASCII 字符。

• 类型：自定义消息的类型： user-message 或 redirect-url。

• 内容：自定义消息的内容;最大长度为 1024 个 ASCII 字符。

将用户消息或重定向 URL 配置为自定义对象，并将自定义对象分配给 EWF 类别。

• 用户消息表示网站访问已被组织的访问策略阻止。要配置用户消息，请在层次结构级别包含[edit security utm custom-objects custom-message message]该type user-message content message-text语句。

• 重定向 URL 将阻止或隔离的 URL 重定向到用户定义的 URL。要配置重定向 URL，请在层次结构级别包含[edit security utm custom-objects custom-message message]该type redirect-url content redirect-url语句。

该 custom-message 选项提供以下优势：

• 可以为每个 EWF 类别配置单独的自定义消息或重定向 URL。

• 该 custom-message 选项使您能够微调消息以支持您的策略，以了解哪个 URL 被阻止或隔离。

• 每个类别仅应用一个自定义消息配置选项。自定义消息配置仅在增强型 Web 筛选 （EWF） 上受支持。因此，仅支持瞻博网络 EWF 引擎类型。

从 Junos OS 17.4R1 版开始，本地和 Websense 重定向配置文件可支持自定义类别配置。