人民网贵阳5月26日电 2016中国大数据产业峰会暨中国电子商务创新发展峰会（以下简称“数博会”）于5月25日至29日在贵阳举办。京东集团首席技术顾问翁志发言中表示，需要建立一个立体的体系，用大数据决策方式进行一个数据的过滤，进行数据的分析，来找出漏洞。
翁志在发言中指出，数据隐私，像数据仓库，因为我们数据越来越庞大，这个数据泄露的可能性也是方方面面。我们要对这个数据进行保密、保护，用什么方法呢？就是用数据加密的方式，存取要控制，形成日志，我们系统要能够进行日志的回溯，可以回溯到过去的某一个节点。数据管理，包括事务日至，数据审计，数据源的控制，完整性，点对点验证与过滤，实时监控。还有包括监控的问题京东商品采集器。
以下为发言全文：
谢谢主持人。各位来宾下午好！今天我给大家分享的是数据分析在信息安全中的应用。这个会的主题是大数据，但是我把这个大数据变成了一个宾语，用大数据的方式去解决安全上的问题。我们来看数据的变化，形式，原来我们的数据都是在纸上，现在我们的数据是在网上，而是放在更魔幻的，虚拟的，大家看不到的Cloud里面，数量，原来处理的数据都是一个小磁盘，3.5寸的就可以放很多的信息，我们现在处理的都是巨大数量级的数据。
看看我们面临的安全问题。在PC时代，我们主要面临的问题就是病毒，恶意软件，还有就是有人偷盗你的机器，可以把机器给破解，身份有被盗取的危险。在云时代，我们的数据放在虚无缥渺的云上，但是云端数据就安全吗？我们有网络劫持、DOS、注入攻击、旁路攻击、验证攻击、中间人加密攻击。验证攻击可以撞库和脱库，中间人加密的攻击，我们网络很多情况下可以变成加密的网络，但是处于中间人的状态可以在之间来混淆认证的。
我们来看看云时代的数据安全是怎么做的？有四个部分，架构安全，云的安全是分布式的方式，一个节点可以包括更多的机器，包括更多虚拟化的在里面，我们面临的问题就是架构安全的问题，怎样使我们的网络体系当中的每个节点都是安全的。还有就是数据安全，大家知道关系型数据，经常放在数据库当中，它有一定的安全基准，但是我们更多的大数据是放在非结构化的数据，大家经常使用的是一些集群，集群的数据安全就是一个很重要，对我们是一个威胁，怎样使得数据变得更安全。数据隐私，像数据仓库，因为我们数据越来越庞大，这个数据泄露的可能性也是方方面面。我们要对这个数据进行保密、保护京东商城信息采集，用什么方法呢？就是用数据加密的方式，存取要控制，形成日志，我们系统要能够进行日志的回溯，可以回溯到过去的某一个节点。数据管理，包括事务日至，数据审计，数据源的控制，完整性，点对点验证与过滤，实时监控。还有包括监控的问题。
传统的安全方式能够解决我们现在所谓的APT式的攻击吗？对于这种带有非常深的隐蔽性的攻击，而且可能产生很大的时间，我们做过这种测试的，随便选一个公司，选我们公司内部的四个账号，通过电子邮件就可以让它中毒，而且可以去盗取他的信息。基本上命中率是50%以上。所以说我们大家其实都是面临在一个危险之中的。
我们现在的数据防范措施是如何的呢？我们不再是一个点对点的防范了，我们面临的问题，是一个层级的问题，而不是一个局部的问题。同时，单点的问题，我们更多看到的是立体防御，要从一个立体的角度，方方面面来考虑这个问题。感知的，就是我们的数据，其实泄露，这些信息是可以通过一些方法来进行分析，这也是可以用到大数据处理的地方。比如说流量的异常，可能是发生了一些问题。如何打造基于大数据分析的安防体系？我们做安全怎么去防范的？我们的目的不是说要仅仅去防范一个点，一个线，其实大家可能也看过一篇谷歌的文章，他们已经变成每个机器有数字认证的方式，所以他认为是进行数据完整的保护。
对于我们来说，我们其实是需要建立一个立体的体系，用大数据决策方式进行一个数据的过滤，进行数据的分析，来找出漏洞。这里大家可以看到，我们能够涉及到其中的哪些方面呢？比如说订单，订单信息，每天都是生成大量的个人用户信息。对于这些订单信息，我们会分析到底是一个什么呢？是黄牛呢？还是这个订单是否带有一些商业的运作？大家都知道，这是电商当中一个恶疾，其实对于我们也是一个伤害，我们都要对这些数据进行分析，账户体系，每个互联网公司都拥有大量的账户，这些账户要泄露，对于用户和公司来说都是致命的问题。所以我们对数据要承担100%的责任。所以这方面我们会非常非常的小心。
包括事务日志，这些日志可以帮助我们分析当时的体系是否是当时在数据处理的时候，是否是正常的京东商品信息采集，或者是否有被攻击的可能。爬虫，大家知道现在随着竞争愈发激烈，有很多的爬虫流量，这对我们来说是一个成本，我们会对这方面进行保护，我们会把爬虫流量进行剔除掉，漏洞管理，大家知道每个体系、每个应用不是完美的，都是有很多的漏洞。对于漏洞用人工的方式进行一个自动化的挖掘，数据会打通和联合。DDos，它的应急响应，对于我们友商之间对于数据的保护是有共同的立场，我们之间是应该有这种默契的。对于一些账号，对于一些非法用户我们会进行一个信息的流通，来保护我们的用户，来回馈用户的信任。
像我们的网络，还有像服务器，都会提供日志，这个日志会帮助我们回溯到以前的状态，这对我们分析问题的发生都是非常有利的。看一下我们的数据，数据的来源是方方面面的，这些数据我们要进行一个很大的存储，进行分类，分布式处理系统，只能用大数据的方式解决安全的问题。分析，分析是有建模的过程，有分析、统计概率的方面来做，目的就是要进行把异常的信息和不正常的信息我们会进行一个处理，分为实时和离线，对于离线部分，注入更复杂的工作，实时部分，可以实时的反馈，及时发现流量，产出，就是变成决策的，进行安全的维护。
看看日志的采集，涉及到方方面面，对于数据加密，大家知道数据如果是处于非加密的状态，它在任何数据传输的时候，都有风险丢失的。我们用什么方法来做呢？用HTTPS，它是指我们在通过HDP协议网络传输过程当中，有一个安全的保证。当然HTTPS也有很多认证的机制，这个机制也有一些方法。RPC加密，其实对于数据的泄露，可能是一个威胁。因为它容易被人忽视，在一个系统当中，或者在一个数据中心内部，数据都是很容易被这种方式进行攻击的。敏感数据加密，涉及到用户的身份证、电话号码这些数据，我们认为是敏感数据，所以我们要做特殊的保护，要进行一个更安全的加密机制。所以要用一个KeyServer进行保护，服务器运算节点都形成一个认证，这个认证来保证它不会被进行篡改。DDos，大家都知道，对于流量攻击，对它的攻击我们都会进行一个分析，把这些打击流量给扔掉。这是注入，大家已经在生活当中遇到很多了。风控系统，对于我们来说，对于电商来说，我们对于风控系统看的非常非常重要，因为对于用户的信息，我们要进行一个风控的把握，所以对它的风控系统进行一个控制，要进行实时分析，如果这个用户账号被盗用了，我们会加更严格的验证方式，保护用户的财产。
京东商城信息采集 网络劫持，从DNS，这些在公网上的信息系统其实是非常脆弱的，经常会被，一是人为的错误，二是被经常攻击，经常发现有这种DNS被劫持的现象。拿到的信息并不是你想访问的信息，甚至是友商的网站。而网络包，在网络传输的时候，它的网络包是可以进行一个滤过的，这个滤过，它可以做广告的劫持，可以做广告的注入，所以会有一些商业行为的，在网络劫持当中的应用。这些应用对于用户，对于我们用户来说是一个伤害，对于我们的电商体系也是一个威胁。还有一个就是我们现在开源管理软件，我们用的系统，都是用的开源软件，这些开源软件因为是曝露在大庭广众之下的，它总是会有一些不安全的因素在里面，大家也在过往当中碰到很多的产品，有安全上的隐患，如果这个安全隐患不能够马上被发现的话，很有可能会被不法分子进行利用。所以对于这种软件的管理也是一个很重要的事情。帮助我们来进行有效的系统的安全的防护。还有监控，大家知道监控，没有监控我们的系统就是会处于一个非常不稳定的状态，所以监控在安全体系当中也是非常非常重要的。应急响应，这是人为的机制，这是友商之间进行一个信息的互通互联。
还有就是安全知识培训，我们的程序员需要对安全有一个了解，才能写出比较好的代码。好京东商品信息采集，今天我给大家分析的就这些京东商品采集器。
文章地址：https://www.tianxianmao.com/article/online/jdwzksjdcjqdysjdeyyt.html
