【通知】
【通知】充值首选支付宝,未及时到账,请邮件联系 youjianqunfa@qq.com 备注用户名。
当前位置:首页 > QQ邮件群发教程 > 正文内容
1月1日

时间:2019-01-01 12:05

主流邮箱的反垃圾邮件技术

0
分类:QQ邮件群发教程 | 评论:2人 | 浏览:4,963次   

随着国际互联网Internet的发展和普及,互连网的规模呈现几何级数爆炸式增长,电子邮件(e-mail)以其方便、快捷、低成本的独特魅力成为人们日常生活中不可缺少的通信手段之一。但电子邮件给人们带来极大便利的同时,也日益显示出其负面影响,那就是我们每天收到的邮件中有很大一部分是那种“不请自来”的,它们或者是推销广告,或者是一些有害的不良信息,甚至还有病毒。在中国互联网协会不久前发布的“2005年第三次反垃圾邮件状况调查报告”中,网民收到的垃圾邮件占据了总邮件数量的61.53%%。而搜狐提供的一项调查显示,每天收到垃圾邮件30封以内的网民占63.64%%,每天收到30封至100封的占了18.18%%,而收到100封以上的网民也占18.18%%。
现在很多反垃圾邮件技术方案都不会只采用一种技术,而是多种技术的综合体。目前的反垃圾邮件产品所采用的技术主要还是黑白名、关键词过滤、HASH技术、贝叶斯过滤、智能过滤、DNS识别、速率控制、OCR识别和分析、病毒扫描、全面信誉系统、基于规则的评分系统和数据挖掘等技术(除数据挖掘技术外那些过滤技术属于事后防备型)。这里不再进行赘述,我主要对主流邮箱的特殊反垃圾技术进行介绍
一、163 网易邮箱
作为中国反垃圾邮件协会成员与发起人之一,网易积极倡导并发起反垃圾邮件平台,参与反垃圾邮件行业法规的制定,并针对时下流行的垃圾邮件的特点,自主创新智能反垃圾技术。对于企业邮箱可能会收到大量垃圾邮件问题,网易邮箱采取综合评分策略,从多角度多方位启发式评估邮件是否为垃圾邮件。邮箱用户可以通过举报垃圾邮件及时反馈给后台系统,系统以最快速度更新反垃圾邮件策略,阻止垃圾邮件继续进入。网易邮箱的垃圾邮件正确捕获率达99.99%,误判率仅为0.001% ,优于国际0.003%的业界标准,更优于国内大部分邮件服务商0.01%的标准。
1.1采用了基于多个rbl dns查询的综合评分策略
网易目前与国际知名的几个RBL组织,包括spamhaus/surbl/uribl等组织都建立良好合作关系,并为其提供了在国内的公益性dns查询镜像服务。 而在判定标准上,网易并不仅仅基于某一个单一的反垃圾策略,而是将一次邮件会话过程中所能提供的所有“证据”作为整体评价,包括了连接、频率、内容过滤等方方面面,最终按照系统制定以及用户自己的策略,来决定拒绝还是接收。以RBL为例:假如某个IP被spamhaus收录了,我们系统并未因此而拒绝此IP,但如果同时被spamhaus, surlbl, uibl等收录了,那么这封邮件被拒收的可能性就非常大。
1.2 应用了图片指纹相似度技术、图片bayes技术及图片像素特征分析技术
在2007年年中,从国外涌入了大量的图片垃圾邮件,单靠过往的技术无法有效抵御,因为传统的反垃圾技术对图片垃圾邮件无效,很难对其进行内容过滤。网易从发现图片垃圾邮件开始,便第一时间着手研发有针对性的反击技术。最终应用了图片指纹相似度技术、图片bayes技术及图片像素特征分析技术,有效地抵御了本次图片垃圾邮件狂潮,并为日后做好了充分的准备。 前段时段,还曾出现过基于PDF格式,FLASH格式的垃圾邮件,都被网易通过有效、精准的技术手段拦截下来。
1.3 建立了基于发送者信誉的海量数据库系统
网易长期坚持邮件服务提供商之间的互通互盈,但却并未因此而放松对垃圾邮件的监控。发送者信誉机制就是一种先进的思路,网易会动态评估独立IP和域名的历史发送情况,结合RFC标准的SPF发送者验证技术,建立不同的信誉值,纳入综合评分体系。
1.4 建立了切实有效的用户反馈举报系统
任何单一的技术手段都无法实现100%的捕捉率和正确率,所以网易也坚持以用户为宗旨,设立用户反馈机制。在服务器对话中遇到问题,可以链接到WEB页面查明原因,也可以直接电话联系网易的 24小时客服系统。在WEB邮箱中,用户可以对漏进来的垃圾邮件或被误判的正常邮件进行申诉,反垃圾过滤系统能不断调整过滤策略,提高过滤效率,降低误判发生的几率。
1.5 用户个性化反垃圾设置
网易邮箱正全力开发基于用户个性化的反垃圾系统,按照用户自己的使用习惯,历史行为,性格喜好来判断是否为垃圾邮件。为了提高用户级别的反垃圾质量,网易除了提供用户反馈渠道外,还提供精度更高的用户级别内容过滤策略。用户往来的邮件特征可以被系统收集,从而形成个性化的使用习惯;邮件系统会优先使用用户级的数据来进行过滤。例如某用户订阅了一份电子杂志,被系统误投入了垃圾箱,用户只需要简单地从垃圾箱移动到收件箱,就可以保证以后此类邮件都可以正常地进入到收件箱。另外,网易也提供了传统的用户黑白名单,以及可定制的反垃圾克星等。
1.6 与各大邮件运营商建立了稳定良好的日常沟通联络
包括与GMAIL和AOL都建立了互相举报垃圾邮件的spam feedback系统。
二、雅虎、Gmail
Domainkeys 是由雅虎公司推出的一项确保电子邮件来源的真实性和内容的完整性的技术,它能让电子邮件服务商确定某封信是否真实的来自某个域和帮助他们的用户免受“钓鱼欺诈邮件“的损害,比如用户常收到伪造这些机构的诈骗邮件,然后索取用户的信用卡卡号和密码。 而对于金融机构等公司也有保护用户的交易信息,提高用户满意度,减少客服咨询处理量和品牌保护的作用。
Domainkey的工作原理是:发信域的负责人首先生成一对公私钥用于对它发出的邮件进行签名,公钥需要部署到公共的DNS 服务器上供所有收信方查询。而私钥则用于加密自己发出的信。这样只有含有用这个私钥加密后的字符串的邮件才是该域发出的邮件。收信方在收到邮件时,可以通过公用DNS查询它的公钥,然后用该域的公钥来解密验证收到的邮件。如果验证是正确的,这封信就被投递到用户的邮箱里;如果验证失败,邮件将会被丢弃或者标志。这样用户在所收到的邮件就能确保邮件确实是该域发出。
Domainkey的验证过程:例如user@a.com发送给user@b.com,a.com的mta会在每封发出的邮件里根据私钥生成一个签名.当b.com的mx服务器在接收邮件时会根据发送方邮件头里的签名查出selector(即s字段,用于签名.例如dk),则b.com的mx会查找dk._domainkey.b.com的txt记录得到公钥.然后使用公钥对签名进行核实。
DomainKeys的实现过程:
发送服务器经过两步:
1、建立。域所有者需要产生一对公/私钥用于标记所有发出的邮件(允许多对密钥),公钥在DNS中公开,私钥在使用DomainKey的邮件服务器上。
2、签名。当每个用户发送邮件的时候,邮件系统自动使用存储的私钥来产生签名。签名作为邮件头的一部分,然后邮件被传递到接收服务器上。
接收服务器通过三步来验证签名邮件:
1、准备。接收服务器从邮件头提取出签名和发送域(From:)然后从DNS获得相应的公钥。
2、验证。接收服务器用从DNS获得的公钥来验证用私钥产生的签名。这保证邮件真实发送并且没有被修改过。
3、传递。接收服务器使用本地策略来作出最后结果,如果域被验证了,而且其他的反垃圾邮件测试也没有决定,那么邮件就被传递到用户的收件箱中,否则,邮件可以被抛弃、隔离等。
DomainKeys技术通过防止邮件地址欺骗来解决困扰整个互联网的垃圾邮件问题,可以有效地阻止了各种各样经过改头换面的垃圾邮件; Domainkey是在接收方邮件运营商支持的情况下才有效,否则对接收双方是没有意义的,因此从本质上来说,也不能鉴定一个邮件是否是垃圾邮件。
三、微软 Hotmail
2004年,Gates曾信誓旦旦地预言微软能够在未来消灭垃圾邮件,他所期望的就是Sender ID技术,但是,最近他则收回了他的预言。这也就是标准之争,微软希望IETF能够采用Sender ID技术作为标准,并且得到了大量支持,比如Cisco, Comcast, IBM, Cisco,Port25,Sendmail,Symantec,VeriSign等,也包括后来又倒戈的AOL的支持,但是在开源社区,微软一直没有得到足够的支持,IETF最终否决了微软的提议。
SMTP协议本身是一个简化的邮件递交协议,缺乏必要的身份认证,这是造成垃圾邮件泛滥的原因之一。针对这种情况,人们提出了一系列方法,如SPF(发件人策略框架)、CallerID(呼叫者身份认证)等等。

SenderID技术是由微软公司提出的,就是CallerID技术和SPF技术的结合体。顾名思义SenderID技术就是根据发送方所提供的表明来源的信息来决定接收与否。事实上,这种技术并不直接判断某封邮件是否是垃圾邮件,而是判断邮件的来源是否与其标称相符。也就是说,它不是用来阻止垃圾邮件的发送,而是正确回答“谁发送了邮件”这个基本问题,从而使得垃圾邮件的判定更加简单。
SenderID的工作流程大致分为四步:
第一步,发信人使用自己的PC机撰写一封邮件;
第二步,撰写完毕,P机通过SMTP协议,路由发送该邮件到接收邮件服务器;
第三步,接收邮件服务器通过SenderID技术对发信人所声称的身份进行检查(该检查通过DNS的特定查询进行);
第四步,如果通过检查,发现发信人所声称的身份和其发信地址相匹配,那么接收该邮件,否则对该邮件采取特定操作,比如直接拒收该邮件。
SenderID技术主要包括两个方面:发送邮件方的支持和接收邮件方的支持。其中发送邮件方的支持主要有三个部分:发信人对其DNS的修改,增加特定的DNS资源记录以表明其发信身份;发信人在其外发邮件服务器的发信通信协议中增加SUBMITTER扩展;发信人根据情况在其邮件中增加Re-sent-Sender、Resent-From、Sender和From等信头。接收邮件方的支持有:收信人对收到的邮件通信信息进行DNS查询,通过特定的DNS资源记录检查其发信身份。这些检查的通讯信息包括EHLO/HELO信息、MAIL FROM信息、信头中特定的字段信息等。
SenderID技术抓住了垃圾邮件发送的一个重要特征,那就是垃圾邮件总是想方设法地掩盖其发送来源,通过这一点可以避免被阻挡、追踪和逃避法律责任。因此,广泛实施的SenderID技术可以对垃圾邮件的生存造成致命的打击。
当然SenderID也有缺陷:其一,因为SenderID技术只是一个解决垃圾邮件发送源的技术,从本质上来说,并不能鉴定一个邮件是否是垃圾邮件。比如,垃圾邮件发送者可以通过注册廉价的域名来发送垃圾邮件,从技术的角度来看,一切都是符合规范的;还有,垃圾邮件发送者还可以通过别人的邮件服务器的漏洞转发其垃圾邮件,这同样是SenderID技术所不能解决的。其二,SenderID技术需要对DNS机制进行扩充,实施比较难
DomainKey和SenderID技术解决的问题是邮件地址是否合法有效,这样一则可拒绝邮件地址和签名不一致的邮件,二则可辅助“白名单”和“黑名单”进行过滤。这两项技术的缺陷是需要对现在所有的邮件服务器进行升级改造,需要业界的共同行动。

  • 评论:(2)
  • 有图有真相

已有 2 位网友发表了一针见血的评论,你还等什么?

你必须 登录 才可以留言.

  1. 6666
    1楼 6666
    2017/11/15 20:17:09

    突然发现一个问题,似乎发送的数量和频率与这封邮件是否是垃圾邮件之间好像是没关系的吧?不能说一封邮件被发送了很多次,这封邮件就一定是垃圾邮件了吧?限制频率,限制ip,限制邮箱地址,好像是错误的做法吧?因为可能会误判了不是垃圾邮件的邮件啊,这样是很致命的呀!按道理来讲,真正能做似乎只能是判断邮件本身,或者通过用户本身对邮件的态度来协助判断到底是不是垃圾邮件,跟其他应该没关系才对。应该存在一种特殊情况,就是你只使用一个ip,一个邮箱地址,但是你确保这封邮件的确不会被用户判断为垃圾邮件,那么它以后就不再判断这封邮件,也就是说这封邮件彻底成为一个非垃圾邮件。我个人认为这种情况是极有可能存在的。你比如百度贴吧,有很多垃圾帖子,这实际上说明现在的智能系统是很靠不住的,百度还是研究人工智能的公司呢!所以我认为腾讯应该会考虑这一点,应该一旦误判重要邮件,将会很致命,它并不敢拿这个开玩笑

  2. 6666
    2楼 6666
    2017/11/15 20:38:55

    刚才我仔细想了一下,发垃圾邮件系统的确是有两套思路:
    第一套,就是常规思路,就是直接针对垃圾邮件,跟发送ip,发送频率,发送邮箱地址,发送内容等有关。
    第二套,反思路,也就是说通过你们发垃圾邮件的思路反过来考虑,也就是说发送ip,发送频率,发送邮箱地址,跟本是反的,也就是说如果你是变化ip,变换邮箱地址,小变发送内容,那就判断你是发垃圾邮件的,而固定ip,固定邮箱地址,则不做考虑,也就是全部通过,然后通过用户的反馈来判断这是否是垃圾邮件。
    这两套思路是有根本不同的,如果是第一套思路,那就意味着这家公司要么极度相信技术,要么不拿用户当人看。而且从法律的角度来看,平台其实无权替用户直接做决定,实际这种帮用户做决定的做法,从严格的意义来说,是违法的。
    我倾向于,比如腾讯,它是用的第二套思路,因为第二套思路才是真正尊重用户的。
    当然,这些是猜测,具体情况还是得测试,一切以测试结果论