[日志过滤]日志分析提取讨论

zxbing

1. 04/18/10        13:00:00        UNIX         Error                file system usage > 90%       
2. 04/18/10        13:02:00        UNIX          Warning         cpu usage > 80%
3. 04/18/10        13:05:00        Oracle        Error                listener inactive

复制代码

提取昨天18:00:00到今天18:00:00的日志到新的文件中，每天定时执行

如何比较高效的编写，可能数据量比较大，请大家讨论一下用什么？

Celinda

要精准还是高效，或者两者兼具。
日志怎么来的，是否支持管道及logrotate一类的工具
提取后是否需要清空原日志文件

zxbing

Post by Celinda;2083849
要精准还是高效，或者两者兼具。
日志怎么来的，是否支持管道及logrotate一类的工具
提取后是否需要清空原日志文件

不清空，如果支持的话怎么弄？
不支持呢？
日志应也是有一个shell直接记录的，选取的话应该尽量准确

zxbing

无人矣~~。不屑？不能？可悲！

Celinda

不清空的话，按日志前面的时间戳截取出来，可以用awk， 或者grep + head+tail
这样比较慢，但准确

可以清空的话，在crontab里定时每天18：00切换日志，速度快但是需要清空日志，而且会有点误差

chasye

如果一天下来数据量大，可能实时处理是最快的，起码不用一某个时间占用大量的CPU。
基本思路如下：

1. 
   
2. #!/usr/bin/perl
   
3. open FH, "tail -n 1 -f log_file|" or die "Err: $!";
   
4. while(<FH>){
   
5.         print  "$_";
   
6. }
   
7. close FH;
   

复制代码

实际应用可能还要加上切换输出文件之类的东西，到时加入到启动运行就OK了。

zxbing

Post by chasye;2085738
如果一天下来数据量大，可能实时处理是最快的，起码不用一某个时间占用大量的CPU。
基本思路如下：

1. 
   
2. #!/usr/bin/perl
   
3. open FH, "tail -n 1 -f log_file|" or die "Err: $!";
   
4. while(<FH>){
   
5.         print  "$_";
   
6. }
   
7. close FH;
   

复制代码

实际应用可能还要加上切换输出文件之类的东西，到时加入到启动运行就OK了。

谢谢，很有启发！！~~~