海量日志分析管理新工具

　　1.云志简介

　　蚁巡云志，简称云志。云志是一个集中存储、搜索和分析日志的工具，是一个基于大数据处理技术的SaaS服务平台，提供了四大主要功能：日志集中存储，实时监测日志，快速搜索分析，及时发出告警。另外提供了日志数据的可视化，通过表格、图表等形式展示日志的数量、级别、详细信息等

　　2.功能介绍

　　2.1日志集中存储：

　　只需简单的配置，即可将不同类型设备或应用的日志接入到云志中，在浏览器中登录云志即可查看所日志，实现一个系统存储和管理所有日志的功能。

　　2.2实时监测日志：

　　系统可以将设备或应用的日志实时推送到监测列中，在浏览器界面上可实时观看设备或应用的运行过程。

　　2.3快速搜索分析：

　　系统采用大数据处理技术，能够实现毫秒级数据查询。在此基础上，实现数据分析功能，并提供分析结果的可视化，从而直观的展示数据中隐藏的价值。

　　2.4及时发出告警：

　　用户通过设置告警策略，预设可能出现的错误日志或者安全日志的关键字，当日志中出现包含相关的关键字时，系统会通过短信或邮件的方式及时发送告警通知。

　　3.价值特点

　　3.1减少1/4的研发工作量

　　3.2加快产品上线进程

　　3.3加强产品运营及运维能力

　　3.4挖掘并直观展示海量日志价值

　　4.创业支持计划

　　云志免费为互联网行业创业团队或企业提供3个月vip服务网站日志分析助手 ，期限可以根据实际情况做调整。

　　LogMiner日志分析工具的使用

　　1.安装logminer：

　　要安装LogMiner工具，必须首先要运行下面这样两个脚本，

　　$ORACLE_HOME/rdbms/admin/dbmslm.sql

　　$ORACLE_HOME/rdbms/admin/dbmslmd.sql.

　　这两个脚本必须均以SYS用户身份运行。

　　*************使用字典文件存储在flat file中*****************************

　　2.创建数据字典文件

　　ALTER SYSTEM SET UTL_FILE_DIR = 'd:\oracle\logmnr' SCOPE=SPFILE;

　　重新启动数据库，使新加的参数生效，然后创建数据字典文件：

　　EXECUTE dbms_logmnr_d.build(dictionary_filename => 'dirctionary.ora', dictionary_location => 'D:\oracle\logmnr',options => dbms_logmnr_d.store_in_flat_file);

　　3.创建要分析的日志文件列表

　　EXECUTE dbms_logmnr.add_logfile(LogFileName=>'c:\1_3814.dbf', Options=>dbms_logmnr.new);

　　EXECUTE dbms_logmnr.add_logfile( LogFileName=>'c:\1_3815.dbf',Options=>dbms_logmnr.addfile);

　　4.使用LogMiner进行日志分析

　　EXECUTE dbms_logmnr.start_logmnr(DictFileName=>'D:\oracle\logmnr\dirctionary.ora');

　　***********************************************************************

　　*************使用字典文件存储在redo file中(推荐这种方法，不需要重启数据库)*****************************

　　2.创建数据字典到redo file

　　EXECUTE DBMS_LOGMNR_D.build(options => DBMS_LOGMNR_D.STORE_IN_REDO_LOGS);

　　3.创建要分析的日志文件列表

　　EXECUTE dbms_logmnr.add_logfile(LogFileName=>'c:\1_3814.dbf', Options=>dbms_logmnr.new);

　　EXECUTE dbms_logmnr.add_logfile( LogFileName=>'c:\1_3815.dbf',Options=>dbms_logmnr.addfile);

　　4.使用LogMiner进行日志分析

　　EXECUTE DBMS_LOGMNR.start_logmnr(Options => DBMS_LOGMNR_D.STORE_IN_REDO_LOGS);

　　********************************************************************************************************

　　5.观察分析结果

　　CREATE TABLE temp AS SELECT * FROM v$logmnr_contents;

　　6.终止日志分析事务，此时PGA内存区域被清除，分析结果也随之不再存在

　　EXECUTE dbms_logmnr.end_logmnr();

　　7.其他注意事项

　　我们可以利用LogMiner日志分析工具来分析其他数据库实例产生的重作日志文件，而不仅仅用来分析本身安装LogMiner的数据库实例的redo logs文件。使用LogMiner分析其他数据库实例时，有几点需要注意：

　　1. LogMiner必须使用被分析数据库实例产生的字典文件，而不是安装LogMiner的数据库产生的字典文件，另外必须保证安装LogMiner数据库的字符集和被分析数据库的字符集相同。

　　2. 被分析数据库平台必须和当前LogMiner所在数据库平台一样，也就是说如果我们要分析的文件是由运行在UNIX平台上的Oracle 8i产生的，那么也必须在一个运行在UNIX平台上的Oracle实例上运行LogMiner，而不能在其他如Microsoft NT上运行LogMiner。当然两者的硬件条件不一定要求完全一样。

　　3. LogMiner日志分析工具仅能够分析Oracle 8以后的产品，对于8以前的产品，该工具也无能为力。

　　8.对于oracle 10g在使用logmnr时必须提前设置SUPPLEMENTAL LOG DATA

　　ALTER DATABASE ADD SUPPLEMENTAL LOG DATA (PRIMARY KEY, UNIQUE INDEX) COLUMNS;

　　删除SUPPLEMENTAL LOG DATA功能

　　网站诊断分析工作中常用的几个工具

　　对于网站诊断来说，由于要诊断网站在搜索引擎中的表现和网站异常，那么在对索引、链接指向和蜘蛛抓取等方面的分析就显得很重要。Google管理员工具不但提供了完善的数据分析，还能指出网站存在的问题。在诊断分析工作中，37网络认为用的最多的三个栏目是：搜索流量、Google索引和抓取。搜索流量栏目中我们可以查询到关键词搜索查询、链接和手动操作。值得一提的是，指向您网站的链接功能尤其给力;不但可以详细检测出与自己网站链接的对象，还能通过链接次数最多的内容顺藤摸瓜找出源头网站(这一点在分析恶意外链的时候特别有用)。

　　另外，可能由于Google数据库过于庞大，内部链接功能有些滞后，相当一部分链接还可能是上一两个月的旧网址。Google索引状态中高级功能还能看到编入索引和被robots.txt阻止的页面数。内容关键词则是单个关键词在页面中呈现的重要性。抓取栏目又是一大强劲工具。37网络在分析网站错误和访问异常的时候，习惯使用抓取栏目的工具;抓取错误包含DNS、服务器连接、Robots.txt抓取、网址错误罗列都非常详细。Google是分析搜索引擎抓取页面的过程。这是一个非常详细的数据呈现，在模拟搜索引擎的时候用得着。

　　百度站长工具

　　在国内百度搜索引擎是老大，很多排名工作也是围绕百度展开的。因此百度站长工具也就成了广大站长诊断分析网站的首选。 百度站长工具有些功能是模仿Google管理员工具的(比如最近推出的抓取诊断工具)。不过百度站长工具更符合国内用户习惯。网站诊断工作中，我们最多用到的是网站分析栏目的工具。比如百度索引量、关键词、抓取异常、外链等。可以查看索引量变化，近期是否有剧烈动荡;抓取是否异常，近期网站和网址是否异常;外链分析是一个比较有用的功能，可以分析出是否有恶意外链，还能批量拒绝外链。

　　SEO综合查询

　　SEO综合查询工具想必是几乎所有站长在网站优化中必备的工具了。如果上述两种工具是较私密的网站数据外，那么SEO查询工具查询出来的则是优化中公开的数据了。在诊断分析工作中，37网络建议大家着重要检查的就是网站设置，关键词选取和搭配，site数量，百度权重(主要是排名问题)，快照时间和可视化的链接表现。SEO综合查询工具集当然不仅仅是这些，还有很多细节上的查询在网站诊断中也需要注意，比如模拟搜索引擎，长尾关键字，同IP查询诸如此类。

　　xenu

　　网站诊断中链接分析是很重要的一环。虽然在Google管理员工具中有内部链接的分析，但谈到专业性的内链分析，那就应该使用xenu了，虽然在一些朋友意识中这是死链接分析工具。它是一个强大的网站内链分析工具。当然xenu在分析站内死链接上尤其有名，能全方位挖掘出网站内部隐藏链接和死链接。xenu可以详细分析出网站站内链接的指向，让我们分析出网站链接到哪里，哪些链接指向这个页面，这也有利于分析网站权重的分配。

　　opensiteexplorer

　　在分析网站排名问题的时候，不但要分析内链的建设和搭配，还要了解网站的外链。当然现在还没有一个工具可以完全分析出竞争对手的所有外链。但，我们仍然有很棒的链接分析工具opensiteexplorer。这是国外的一款分析工具。运行速度并不快，而且查询出来的数据并不一定新。37网络提醒大家本工具中还有详细的参数可以设置，比如锚文本、只nofollow、导入链接等。在对竞争对手网站分析的时候是一个比较实用的外链分析工具。

　　光年日志分析系统

　　这个不用说，想必大家也都知道，在网站日志分析的时候，用的很多很有名的日志分析系统。网站分析离不开分析网站日志。这涉及到蜘蛛来访，抓取和异常问题，很多的问题都已经详细记录在网站日志里了。我们要做的就是通过日志分析系统分析网站状况。不过想必大家也知道，很多虚拟主机的控制后台都有日志下载功能，这对网站诊断工作节省了不少工作量。

　　流量统计工具

　　我们所说的网站流量统计工具可能并不局限于一种。37网络之所以没有列出一个代表性的流量统计工具，是因为一般我们建站之后都会安装统计代码，用以分析网站流量。常用的CNZZ、百度统计、51啦等。这些统计后台每天都有详细的记录，对独立访客、搜索关键词、页面受访等数据都有详细的记载。在对流量分析和用户分析的时候是不可或缺的帮手。