5月15日，知名黑客ROY厉在其微信公众号发布文章，对AV-C等传统安全评测机构的标准进行了分析，他认为传统的评测机构基于端时代的评测标准无法适用云安全时代，这些基于实验室的评测与现实差距太远。以下是ROY厉文章全文。
“风口”论的创造者雷军最近说，风口被人玩坏了。有人喜欢风口，是因为可以借风口顺风飞猪，就像那些互联网大佬们一样；也有人惧怕风口，担心在风口逆风折戟，比如在反腐风中落马的官员们。
最近一段事件，安全评测机构突然间成为风口浪尖，先是360和腾讯先后公开质疑AV-C和AV-Test，指责这些评测机构标准陈旧过时，紧接着Fireeye的皮克斯007撰文批评评测机构沦为恶势力，让“传统安全防护产品就算是想转型也转不了”。无论是360、腾讯还是皮克斯007都言辞激烈，“陈旧过时、法律维权、恶势力”虽不至于让这些评测机构的权威信用垮塌，也足以让他们陷入一定的信任危机，至少哪家厂商再去参加这些评测，老板批钱时会多问几个为什么。
究竟是什么原因让这些在行业中横行数年，曾经被安全企业“奉若神明”的评测机构如此急转急下，陷入扫地风口？焦点还是标准，不得不说，这些评测机构仍然沿用了十多年前的端时代的评测体系有点老了，让今天的安全软件来参加这样的评测，无异于削足适履。所以皮克斯007会说：“自己制定一些标准，让厂家们来参评，然后分出一二三名来。这个听起来也不错，但是问题是如果他制定的标准和现实严重脱节，又欺行霸市，成了恶势力。”
那么大家对标准的分析究竟在哪呢？
云和端的纷争：现在AV-C评测标准是基于端时代的传统杀毒技术而制定的，这是一套基于“特征码引擎+病毒样本库”的实验室静态测试方法，它拿已知一堆病毒样本去扫描做文件检测，测试的是安全软件对已知病毒木马的检测能力。测出百分之多少的检出率，这是端时代的测试方法，针对已知样本检出率的测试；但是云时代需要安全软件能做更快的响应和更全面的威胁感知，云时代的测试方法应该是测试对未知威胁的感知和新病毒木马的响应速度，以最快的速度发现未知威胁和新的病毒木马然后进行防御。所以用端时代的标准来测试云时代的安全软件颇似关公战秦琼。
实验室和真实环境的纷争：这次在数字公司的声明中曾经提到了Teamviewer的案例，这个还是很有说服力的，一些原本很流行的工具软件，在国内被用于黑色产业，比如Teamviewer是一款合法软件，在国外是一款很流行的远程控制软件，深受系统管理员的喜爱，国内也有系统管理员在使用。但是是国内被大量的网络诈骗者用于诈骗，以国内某著名艺人网银被盗100万元的真实案件为例，不法分子骗其经纪人卸载了360杀毒，再要求受害者从钓鱼网站下载使用Teamviewer，从而控制其电脑盗取巨额网银资金。所以在国内不仅要判断一个程序是否合法，还要根据文件下载途径、软件行为等信息综合判断并查杀被恶意利用。
这个案例就说明，实验室的这套测试结果跟真实环境的防护能力有差异。就以数字公司为例，国内黑产都有共识，绕过数字公司的攻防是最难的，也就是说他的实战实力肯定没得说，但是如果以真实产品来参加这些评测，成绩不一定很好。
小量样本集与互联网上海量样本的纷争：数字公司的声明中说，每天发现样本数百万，每年发现样本总量十多亿，但是评测机构评测样本基本都在30万以下，以这样的小量样本来衡量每年发现十多亿样本的安全软件的检出能力，是一种抽样式的，造成的结果必然是安全软件要做应试准备。
地区差异纷争：今天网络威胁的地域化差异还是挺大的，由于文化差异和经济发展水平不同，中国国内的黑色产业比国外更猖狂，相对来说国内的黑产趋利性更强、技术水平低、制作成本低，但攻击手段更加没有底限，破坏力更强，对用户的危害也更大。比如以下的三种木马就是典型的中国特色。
第一类是国内流行的钓鱼木马，伪装界面，比如QQ黏虫、QQ刷钻软件，都是诱骗用户输入账号密码，制作成本低、技术含量低，但对用户的实际危害很大，也很容易流行；
第二类是AV终结者类木马的：这类木马破坏力很强，他们的目标首先是破坏电脑中的安全软件，然后下载一些恶意的软件或者恶意的推广程序，实现软控、盗号等目的。国外的木马比较安静隐蔽，这是由于文化差异造成的。国外软件的对待这类木马的自我保护能力都很弱；
第三类白利用，用一个合法软件的EXE去加载木马的DLL，用木马的DLL来解密一个加密的配置文件，或者加载恶意的脚本；白利用也是国内黑产针对国内安全软件滋生出来的常见的攻击木马，比如网购木马或者远控类的木马比较多。
从以上的四个纷争看，AV-C这些传统评测的确不能完全适合今天的安全形势，但回过头来说，评测机构从来就不是公平的化身，他们制定的自己的标准，也就制定了自己的游戏规则，愿意玩就要接受这些游戏规则，如果不接受，那就跟数字公司一样退出吧。
