请教多个文本合并的判断问题

yexingqi

请教一下,我有多个文件,每个文件内容本每行的数据是用 “;” 号来分隔，“;” 号前面可能有一个或多个的空格。

例如:
cat file1.txt
wangxiqi-1;10.10.17.35;c4346b5cd373;linux; HR;3F_A03;man;xxx;
wangxiqi-2;10.10.17.36;c4346b5cd375;linux;HR ;3F_A03 ;man ;xxx ;

cat file2.txt
wangxiqi-1;10.10.17.35;c4346b5cd373;linux;  ; ;  ;xxx;
wangxiqi-3;10.10.17.38;c4346b5cd374;linux;HR ;3F_A03 ;man ;xxx ;


我希望对多个这样的文件进行合并. 并做以下判断:
1. 如果所有的文件第二列和第四列的内容都是都是相同的(红色部分),那么自动把它合并.只保留最完整的一份(分隔符号";" 里的数据最多的一份保留.)
2. 如果所有的文件第二列和第四列的内容在其它的文件不存在,那么它就会加到新的合并文件那里去.

最终出现这种结果: (所有的空格被自动清除)
cat finally.txt
wangxiqi-1;10.10.17.35;c4346b5cd373;linux;HR;3F_A03;man;xxx;
wangxiqi-2;10.10.17.36;c4346b5cd375;linux;HR;3F_A03;man ;xxx ;
wangxiqi-3;10.10.17.38;c4346b5cd374;linux;HR;3F_A03;man ;xxx ;

请问如何实现呢? 实在是太复杂.想了好久都没有实现成功. .....  我先提前谢过您了!

jzsjm1002

回复 1# yexingqi

1. cat test.awk
   
2. #!/usr/bin/awk -f
   
3. #
   
4. 
   
5. BEGIN{FS=";"}
   
6. 
   
7. {nr[$1,$2,$4][length($0)]=gensub(/\s/,"","g")}
   
8. 
   
9. END{
   
10.   PROCINFO["sorted_in"]="@ind_num_asc"
    
11.   for(x in nr){
    
12.     for(y in nr[x])
    
13.       len=(y>len?y:len)
    
14.     print nr[x][len]
    
15.     len=0
    
16.   }
    
17. }
    
18. 
    
19. ./test.awk file1.txt file2.txt
    
20. wangxiqi-1;10.10.17.35;c4346b5cd373;linux;HR;3F_A03;man;xxx;
    
21. wangxiqi-2;10.10.17.36;c4346b5cd375;linux;HR;3F_A03;man;xxx;
    
22. wangxiqi-3;10.10.17.38;c4346b5cd374;linux;HR;3F_A03;man;xxx;
    
23. 
    
24. awk --version
    
25. GNU Awk 4.0.2

复制代码

yexingqi

回复 2# jzsjm1002

利害啊.佩服佩服, 脚本不多但完全实现了我想要的结果. 可惜我不太懂awk,没看懂您的思路....

谢谢!


另外请问一下,如果用shell能实现么?

moperyblue

1. awk -F';' '{gsub(/[ \t]/,"");c=0;for(i=1;i<=NF;i++)if($i)++c;k=$2$4;if(c>b[k]){a[k]=$0;b[k]=c}}!e[k]++{d[++j]=k}END{while(x++<j)print a[d[x]]}' file1.txt file2.txt

复制代码

jzsjm1002

回复 3# yexingqi

可以 会有些麻烦   文本处理建议用awk

csccyab

#!/usr/bin/awk -f

BEGIN{FS=";"}

{
gsub(/\s/,"",$0)
if (a[$1,$2,$4]) {
   n1 = split($0, array, ";")
   n2 = length(a[$1,$2,$4])
   if (n1 > n2)
      a[$1,$2,$4] = $0
} else
   a[$1,$2,$4] = $0
}

END {
PROCINFO["sorted_in"]="@ind_num_asc"
for (i in a)
   print a
}