免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 程序设计 › Shell › 【已解决】如何在两列中找出第二列重复的个数？？在线等 ...
最近访问板块 发新帖
查看: 2463 | 回复: 6
打印 上一主题 下一主题

[文本处理] 【已解决】如何在两列中找出第二列重复的个数？？在线等！ [复制链接]

clfsy

论坛徽章:
0
跳转到指定楼层
1楼 [收藏(0)] [报告]
发表于 2017-04-27 10:38 |只看该作者 |倒序浏览
本帖最后由 clfsy 于 2017-05-05 11:22 编辑

是可以用zcat命令，但是这个文件本身就有12G那么大，解压后接近120G，处理起来非常费时。。
暂时还是想不到特别好的办法来加速处理这个文件。

不过谢谢楼上
在线, 如何
reyleon

论坛徽章:
60
20周年集字徽章-20 日期:2020-10-28 14:04:3015-16赛季CBA联赛之北京 日期:2016-07-06 15:42:0715-16赛季CBA联赛之同曦 日期:2016-06-12 10:38:0915-16赛季CBA联赛之佛山 日期:2016-05-27 11:54:56黄金圣斗士 日期:2015-12-02 11:44:35白银圣斗士 日期:2015-11-25 14:32:43白银圣斗士 日期:2015-11-23 12:53:352015亚冠之布里斯班狮吼 日期:2015-10-21 16:55:482015亚冠之首尔 日期:2015-09-01 16:46:052015亚冠之德黑兰石油 日期:2015-08-31 11:39:192015亚冠之萨济拖拉机 日期:2015-08-28 21:06:5315-16赛季CBA联赛之广东 日期:2016-07-12 14:58:53
2楼 [报告]
发表于 2017-04-27 10:51 |只看该作者
awk '{a[$2]++}END{for(i in a)print i,a[i] | "sort -k2nr" }' test
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
clfsy

论坛徽章:
0
3楼 [报告]
发表于 2017-04-27 10:59 |只看该作者
回复 2# reyleon

多谢2楼大神回复。脚本可行，顺便再问大神一个问题， awk如何处理压缩的文件.gz 文件需要先解压吗？还是直接有option可以 执行的。


实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
Shell_HAT

论坛徽章:
33
ChinaUnix元老 日期:2015-02-02 08:55:39CU十四周年纪念徽章 日期:2019-08-20 08:30:3720周年集字徽章-周 日期:2020-10-28 14:13:3020周年集字徽章-20 日期:2020-10-28 14:04:3019周年集字徽章-CU 日期:2019-09-08 23:26:2519周年集字徽章-19 日期:2019-08-27 13:31:262016科比退役纪念章 日期:2022-04-24 14:33:24
4楼 [报告]
发表于 2017-04-27 11:27 |只看该作者
回复 3# clfsy


  1. man awk
复制代码

可以看到有没有这样的option
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
reyleon

论坛徽章:
60
20周年集字徽章-20 日期:2020-10-28 14:04:3015-16赛季CBA联赛之北京 日期:2016-07-06 15:42:0715-16赛季CBA联赛之同曦 日期:2016-06-12 10:38:0915-16赛季CBA联赛之佛山 日期:2016-05-27 11:54:56黄金圣斗士 日期:2015-12-02 11:44:35白银圣斗士 日期:2015-11-25 14:32:43白银圣斗士 日期:2015-11-23 12:53:352015亚冠之布里斯班狮吼 日期:2015-10-21 16:55:482015亚冠之首尔 日期:2015-09-01 16:46:052015亚冠之德黑兰石油 日期:2015-08-31 11:39:192015亚冠之萨济拖拉机 日期:2015-08-28 21:06:5315-16赛季CBA联赛之广东 日期:2016-07-12 14:58:53
5楼 [报告]
发表于 2017-04-27 11:51 |只看该作者
回复 3# clfsy

你不能先解压再处理么?
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
fh21_xuejinlian

论坛徽章:
1
15-16赛季CBA联赛之江苏 日期:2016-10-26 16:19:04
6楼 [报告]
发表于 2017-04-27 18:22 |只看该作者
压缩的文件可以直接使用zcat 命令
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
clfsy

论坛徽章:
0
7楼 [报告]
发表于 2017-05-05 11:21 |只看该作者
fh21_xuejinlian 发表于 2017-04-27 18:22
压缩的文件可以直接使用zcat 命令

是可以用zcat命令，但是这个文件本身就有12G那么大，解压后接近120G，处理起来非常费时。。
暂时还是想不到特别好的办法来加速处理这个文件。

不过谢谢楼上
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP