跨文件关键字匹配--方法总结

怿_mao44

近段时间碰到了很多情况是需要跨两个输入文件，通过关键字来将相同内容合并，于是在此区分不同情况，将解决办法总结如下：
          希望能帮助其他跟我一样有过困惑的朋友。。
   解决方法有很多，这里只是提出其中一部分，供大家讨论，提出意见，或者还有怎样情况的匹配条件需要另外注意   ？？  

解决方法中，表明了每一个提供答案的贡献者，再次感谢他们

第一种情况：匹配条件的关键字在两个文件中都是唯一，不重复的
按照某一列的内容，合并相同内容的两个文件中的行，均已制表符进行划分的

如文件1：(此文件中第三列为关键字)

1. Qwe        wer        aa        rty
   
2. Giy        rug        cc        uop
   
3. Rtu        egj        ee        ioj
   
4. Drt        tue        ff        yti
   

复制代码

文件2：：(而此文件中第二列为关键字)

1. 123        aa        wyf        yui
   
2. 234        bb        yoi        dty
   
3. 456        dd        uoj        yio
   
4. 567        ee        drt        hio
   

复制代码

分别得到三个结果：
    结果文件一：  在两个文件中有匹配的记录

1. Qwe        wer        aa        rty        123        aa        wyf        yui
   
2. Rtu        egi        ee        ioj        567        ee        drt        hio
   

复制代码

结果文件二：   只在输入文件一中存在的记录

1. Giy        rug        cc        uop
   
2. Drt        tue        ff        yti
   

复制代码

结果文件三：   只在输入文件二中存在的记录

1. 234        bb        yoi        dty
   
2. 456        dd        uoj        yio
   

复制代码

解决方法：
1.由“yinyuemi ”提供

1. $ join -1 3 -2 2 file1 file2 # comm
   
2. $ grep -vf <(cut -f3 file1) file2 # file2 only
   
3. $ grep -vf <(cut -f2 file2) file1 # file1 only

复制代码

2.由“yangkyo821 ”提供

1. $ awk 'NR==FNR{f1[$3]=$0;next}$2 in f1{printf $0"\t"f1[$2] RS > "outfile1";delete f1[$2];next}{print > "outfile3"}END{for(s in f1)print f1[s] > "outfile2"}' file1 file2

复制代码

3.由“jiejie455”提供

1. $ awk 'NR==FNR{a[$3]=$0;ind[$3]};NR>FNR{b[$2]=$0;ind[$2]}END{for(i in ind){if(a[i]&&b[i]){print a[i],b[i]}}}' file1 file2 ##comm
   
2. $ awk 'NR==FNR{a[$3]=$0;ind[$3]};NR>FNR{b[$2]=$0;ind[$2]}END{for(i in ind){if(a[i]&&!b[i]){print a[i],b[i]}}}' file1 file2 ##file1_only
   
3. $ awk 'NR==FNR{a[$3]=$0;ind[$3]};NR>FNR{b[$2]=$0;ind[$2]}END{for(i in ind){if(!a[i]&&b[i]){print a[i],b[i]}}}' file1 file2 ## file2_only

复制代码

第二种情况：需要同时匹配两列的关键字，而且第二列，第三列之间在同一个输入文件中是存在重复记录的
文件一的第二列必须匹配文件二的第三列（file_1$2==file_2$3），而同时文件一的第三列必须匹配文件二的第四列（file_1$3==file_2$4）。

输入文件一：

1. 
   
2. 11        aa        bb        123        456
   
3. 22        aa        cc        456        789
   
4. 33        ee        bb        123        789
   
5. 44        bb        aa        456        132
   

复制代码

输入文件二：

1. +        1        aa        cc
   
2. +        2        ee        bb
   

复制代码

希望输出的结果文件是：

1. 
   
2. 22        aa        cc        456        789        +        1        aa        cc
   
3. 33        ee        bb        123        789        +        2        ee        bb

复制代码

解决方法：
1.由"rdcwayx "提供

1. $ awk 'NR==FNR{a[$2 FS $3]=$0;next}$3 FS $4 in a {print a[$3 FS $4] "\t"  $0}' file1 file2
   

复制代码

2.由“zhaopingzi ”提供

1. $ awk 'ARGIND==1 {a[$2$3]=$0} ARGIND>1&&($3$4 in a) {print a[$3$4],$0}' file1 file2
   

复制代码

第三种情况：匹配关键字的列在其中一个输入文件中含有重复的记录，匹配全部的记录

输入文件fileA，此时第三列中就出现有重复的“aa”

1. 11        123        aa        321
   
2. 12        223        aa        123
   
3. 22         332        bb        231
   

复制代码

输入文件fileB

1. aa        AA
   
2. bb        BB

复制代码

根据文件一中的第三列和文件二中的第一列进行匹配，匹配成功的合并一个文件输出
希望的结果文件result

1. 11        123        aa        321        aa        AA
   
2. 12        223        aa        123        aa        AA
   
3. 22         332        bb        231        bb        BB
   

复制代码

解决方法：
1.由“winway1988 ”提供

1. $ awk 'NR==FNR{a[$1]=$0}NR>FNR{print $0 "\t" a[$3]}' fileB fileA

复制代码

2.由“zooyo ”提供

1. $ awk 'BEGIN{while(getline <"fileB")a[$1]=$0}{$0=$0"\t"a[$3]}1' fileA  

复制代码

第四种情况：当两个不同文件中存在关键字需要匹配，且需要匹配的关键字，在两个输入文件中均存在重复的记录
输入文件一：此时第二列中"aa bb"均出现重复

1. 1        aa        123
   
2. 2        aa        234
   
3. 3        bb        345
   
4. 4        bb        445
   
5. 5        dd        234

复制代码

输入文件二：此时第三列的"bb"仍然出现有重复

1. A1        111        aa
   
2. B1        222        bb
   
3. B2        333        bb
   
4. B2        333        cc

复制代码

根据输入文件一中第2列，输入文件二中第3列作为关键字进行匹配，输出全部匹配的记录
期望输出结果：

1. 1        aa        123        A1        111        aa
   
2. 2        aa        234        A1        111        aa
   
3. 3        bb        345        B1        222        bb
   
4. 4        bb        445        B1        222        bb
   
5. 3        bb        345        B2        333        bb
   
6. 4        bb        445        B2        333        bb

复制代码

解决方法：
1.由“rdcwayx ”提供

1. $ awk 'NR==FNR{key[$2]++;a[$2 FS key[$2]]=$0;next} $3 in key {for (i=1;i<=key[$3];i++) print a[$3 FS i], $0}' OFS="\t"  file1.txt file2.txt
   

复制代码

2.由“jiejie455”提供

1. awk 'NR==FNR{a[$2]=a[$2]?$0"|"a[$2]:$0};NR>FNR{if(a[$3]){split(a[$3],b,"|");for(i=1;i<=length(b);i++){print b[i]"\t"$0}}}' file1 file2

复制代码

kk5234

学习学习！

liangfm117

顶啊   很好很强大  智慧的结晶

ziyunfei

牛,好好学习了

ulovko

总结的真及时，赞！ ^_^

sunceenjoy

第三种匹配是不是有些问题：
楼主给的a，b2个文件正好是都有匹配，如果a文件多一条记录，比如
33        121        ee        121
那这条记录应该是不被显示出来的，因为b文件无匹配.

修改如下:
awk 'NR==FNR{a[$1]=$0}NR>FNR&&a[$3]{print $0 "\t" a[$3]}' 2.txt 1.txt
awk 'BEGIN{while(getline <"fileB")a[$1]=$0}{$0=$0"\t"a[$3]}a[$3]' fileA  

Shell_HAT

有总结才有进步，加油。

chichushanren

都是大牛！！！！

lastfile

先记下来，或许以后有用