- 百度
- Bing
- 360
- 搜狗
- 神马
使用EyouCMS的自动采集功能时，采集到的内容中经常包含目标站点的广告链接、推广代码或无关的HTML元素。这些内容不仅影响网站美观，还可能带来安全风险。手动清理效率低下，因此需要通过技术手段实现自动化过滤。
EyouCMS的采集过滤主要依赖两个环节：采集规则中的内容替换规则，以及系统级的全局过滤函数。本指南将同时覆盖这两种方法，确保过滤彻底。
在创建或编辑采集规则时，通过“内容替换规则”对采集到的HTML源码进行字符串替换。此方法针对性强，适用于特定站点的固定广告模式。
修改EyouCMS核心文件中的内容处理函数，对所有入库的内容进行二次清洗。此方法作为安全网，处理规则中未覆盖的“漏网之鱼”。
登录EyouCMS后台，进入“系统”->“采集管理”，编辑或新建一条采集规则。
使用浏览器的开发者工具（F12）审查元素，分析目标文章页面中广告部分的HTML代码特征。常见特征如下：
- 链接（a标签）的href属性包含推广关键词，如“ad”、“go”、“click”等
- 嵌入的script标签或iframe标签
- 带有特定样式的图片或文字段落
步骤2：配置替换规则
在采集规则的“内容替换”选项卡中，添加规则。一条规则分为“被替换内容”和“替换为”两部分。“被替换内容”支持正则表达式。
以下是几个可直接复制使用的高效规则示例：
示例1：删除整个广告DIV容器
```
被替换内容：]>.?
替换为：（留空）
```
示例2：清除所有带推广特征的超链接，但保留链接文本
```
被替换内容：]href="[^"](?:ad|go|click|sponsor)[^"]"[^>]>(.?)
替换为：$1
```
示例3：删除所有script和iframe标签
```
被替换内容：<(?:script|iframe)\b[^<](?:(?!)<[^<])
替换为：（留空）
```
操作要点：每条规则独占一行。规则将按顺序执行。务必在测试文章上预览效果，确认过滤准确无误后再进行正式采集。
四、全局过滤函数增强实操
此方法修改核心文件，请在操作前务必备份原文件。
步骤1：定位并编辑处理函数
用代码编辑器打开文件：/core/library/think/hook.php（路径可能因版本略有不同，核心思想是找到内容入库前的处理钩子或函数）。
更通用的方法是，在内容模型对应的处理逻辑中增加过滤。编辑文件：/application/common/model/ArticleContent.php（假设是文章模型）。
步骤2：插入自定义过滤函数
在类定义中，找到内容入库前调用的方法（通常是`before_insert`或`before_update`钩子，或`save`方法内部）。添加一个自定义的过滤方法调用。
示例：在`ArticleContent`模型的`before_insert`方法中增加过滤。
```php
// 在 ArticleContent 类中添加一个方法
protected function filterAds($content) {
// 规则1：去除特定class的div
$pattern1 = '/]>.?<\/div>/is';
$content = preg_replace($pattern1, '', $content);
// 规则2：去除所有script标签
$pattern2 = '/)<[^<])<\/script>/is';
$content = preg_replace($pattern2, '', $content);
// 规则3：净化a标签，删除含有特定关键词的href，保留文本
$pattern3 = '/]href="[^"](?:ad|go|click|sponsor|track)[^"]"[^>]>(.?)<\/a>/is';
$content = preg_replace($pattern3, '$1', $content);
// 规则4：去除行内样式可能包含的广告
$pattern4 = '/<[^>]style="[^"](display:\snone|visibility:\shidden)[^"]"[^>]>.?<\/[^>]>/is';
$content = preg_replace($pattern4, '', $content);
return $content;
}
// 在 before_insert 或 before_update 钩子中调用
protected static function init()
{
// 监听写入前的事件
self::event('before_insert', function ($article) {
if (!empty($article->content)) {
$article->content = (new self())->filterAds($article->content);
}
if (!empty($article->litpic)) { // 顺便过滤缩略图中的广告链接
$article->litpic = preg_replace('/\?.$/', '', $article->litpic); // 去除图片链接后的参数
}
});
self::event('before_update', function ($article) {
if (!empty($article->content)) {
$article->content = (new self())->filterAds($article->content);
}
});
}
```
代码解释与安全提示：
- 正则表达式修饰符`is`：`i`表示不区分大小写，`s`表示`.`匹配包括换行符在内的所有字符。
- 执行顺序：规则1到4按顺序执行，逐步净化内容。
- 重要：修改核心文件前，必须在本地或测试环境验证。错误的正则可能导致内容丢失或页面错乱。
五、测试与验证流程
过滤规则上线前，必须经过严格测试。
1. 单篇文章测试
在采集规则中，使用“测试采集”功能，对一篇包含典型广告的文章进行采集。仔细对比过滤前后的HTML源代码，确认目标广告代码被移除，且正文内容未被意外破坏（如段落丢失、图片消失）。
2. 批量采集测试
创建一个临时栏目，使用配置好的规则采集10-20篇文章。检查这些文章的最终前台展示效果，重点查看：
- 页面是否有多余的空行或空白区域（被删除的广告容器遗留）。
- 文章中是否还存在明显的推广链接或文字。
- 文章格式（如列表、表格）是否保持完整。
3. 全局函数测试
手动在后台添加一篇包含测试广告代码的文章，提交后检查数据库存储的内容以及前台显示的内容，确认全局过滤函数生效。
六、高级技巧与故障排除
1. 处理动态加载的广告
对于通过JavaScript动态加载的广告，采集器获取的源码中可能没有广告代码。此类广告无法通过HTML过滤清除，需要在采集规则中排除对特定JS文件的加载，或者考虑使用无头浏览器采集方案（如Puppeteer），但这超出了基础过滤范畴。
2. 正则表达式调试
如果过滤不生效或误伤正文，使用在线正则测试工具（如 regex101.com）调试你的正则表达式。将样本HTML和编写的正则放入工具，实时查看匹配结果。
3. 常见问题
- 过滤后文章出现乱码：检查正则表达式是否错误地匹配并删除了中文字符。避免使用过于宽泛的`.?`，尽量限定标签范围。
- 部分广告残留：广告代码可能换用了新的class名或结构。需要更新采集规则和全局函数中的正则表达式，增加新的匹配模式。
- 性能下降：过于复杂的正则表达式或规则数量过多会影响采集和发布速度。尽量优化正则，或考虑将最核心的几条规则放入全局函数，采集规则中只放特定站点的规则。
七、维护与更新建议
广告技术不断变化，过滤规则需要定期维护。
- 建立规则库：将针对不同站点的有效采集规则记录在文档中。
- 定期抽查：每周随机抽查新采集的文章，检查是否有新形式的广告出现。
- 增量更新：发现新广告后，分析其代码特征，将新的匹配规则追加到现有规则列表的末尾，避免影响已有规则。
通过上述采集规则与全局函数相结合的方式，你可以构建一个健壮的广告过滤系统，显著提升EyouCMS自动采集内容的质量，减少后期人工编辑成本。
上一篇： EyouCMS采集插件使用
下一篇： EyouCMS采集规则批量导出实战指南
易频IT社区是综合性互联网IT技术门户网站，专注分享网络技术、服务器运维、网络安全、编程开发、系统架构、云计算、大数据等行业干货，实时更新IT行业资讯、零基础教程、实战案例，为IT从业者、技术爱好者提供专业的学习交流平台。
Copyright © 2021-2026 易频IT社区. All Rights Reserved. 备案号：闽ICP备2023013482号 网站地图