怎样在选择列时，排除掉列中括号的干扰？

number321

目前我有个apache日志，每列以空格分隔，但列中允许有空格，当存在空格时，列要用引号引起来。比如这样：

1.1.1.1 - - [26/Dec/2015:00:05:43 +0800] "GET /123/ HTTP/1.1" 503 1706 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)" "www.test.com" 13920

其中 "GET /123/ HTTP/1.1" 是单独的一列，"Googlebot/2.1 (+http://www.google.com/bot.html)"也是单独一列，但它们当中都有空格。


现在我希望就以日志中的这种规则作为列的划分方法，取出其中某几列的内容。用sed、awk或者其他什么工具，能实现呢？

o枫叶o飘零

如果只取这2样  为什么不以引号为分隔符呢？

MMMIX

回复 1# number321


    $ cat p.pl
#!/usr/bin/perl

use strict;
use warnings;

use v5.14;
use autodie;
use Data::Dumper;

while (<DATA>) {
  chomp;
  my @fields = m/^\s* (.*) \s+ (.*) \s+ (.*) \s+ \[ ([^]]+) \] \s+ " ([^"]+) " \s+ (.*) \s+ (.*) \s+ " ([^"]+) " \s+ " ([^"]+) " \s+ " ([^"]+) " \s+ (.*) \s*$/x;
  print Dumper(\@fields);
}

__DATA__
1.1.1.1 - - [26/Dec/2015:00:05:43 +0800] "GET /123/ HTTP/1.1" 503 1706 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)" "www.test.com" 13920

$ ./p.pl
$VAR1 = [
          '1.1.1.1',
          '-',
          '-',
          '26/Dec/2015:00:05:43 +0800',
          'GET /123/ HTTP/1.1',
          '503',
          '1706',
          '-',
          'Googlebot/2.1 (+http://www.google.com/bot.html)',
          'www.test.com',
          '13920'
        ];

jason680

回复 1# number321

$ awk -f q.awk FILE
NF=15 before modified
NF=12 after modified
$1 = <1.1.1.1>
$2 = <->
$3 = <->
$4 = <[26/Dec/2015:00:05:43>
$5 = <+0800]>
$6 = <"GET /123/ HTTP/1.1">
$7 = <503>
$8 = <1706>
$9 = <"-">
$10 = <"Googlebot/2.1 (+http://www.google.com/bot.html)">
$11 = <"www.test.com">
$12 = <13920>

$ cat q.awk
function qq( c,n){
  c = 0;
  for (n = 1; n <= NF; n++) {
    if($n~/^"/ && $n~/"$/){
      #gsub(/"/,"")  # for removed the "
      $(++c) = $n
      continue
    }
    if(q == 1){
      if($n~/"$/){
      #if(sub(/"$/,"",$n)){   # for removed the "
        q = 0
      }
      $c = $c FS $n
      continue
    }
    if($n~/^"/){
    #if(sub(/^"/,"",$n)){   # for removed the "
      q = 1
      $(++c) = $n
      continue
    }
    $(++c) = $n
  }
  NF = c
}
{
  print "NF="NF,"before modified"
  qq();
  print "NF="NF,"after modified"
  for (n = 1; n <= NF; n++) {
    printf("$%d = <%s>\n", n, $n)
  }
}

   

number321

这样都是通过脚本来实现了吧，用脚本的话是可以实现我说的效果。我现在就是先弄一个python脚本，接收管道输入，将引号内的空格全部替换成_，然后再用awk选取列的。

但这样感觉多了一道，不知道可不可以用sed和awk直接用一句命令来实现呢？

runintostar

回复 1# number321
这个应该也是单独的一列吧

1. [26/Dec/2015:00:05:43 +0800]

复制代码

把分隔符换成','了, 如果你要换成别的就自己改OFS吧

1. awk '{for(i=1;i<=NF;i++){if(t){s=s" "$i;if($i~/[]"]$/){$(t-sft)=s;sft+=i-t;t=0;s=""}}else{$(i-sft)=$i};if($i~/^["[]/&&$i!~/[]"]$/){t=i;s=$i};};NF-=sft;OFS=",";print}'

复制代码