免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 2101 | 回复: 6
打印 上一主题 下一主题

[文本处理] nginx的日志格式字段替换 [复制链接]

论坛徽章:
1
2015年亚洲杯之巴林
日期:2015-04-02 09:32:18
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2016-05-17 14:27 |只看该作者 |倒序浏览
本帖最后由 opiopuiopoi 于 2016-05-17 14:32 编辑

大家熟悉的nginx的配置文件中,日志格式的片段:

log_format     main  '$remote_addr,$remote_user,[$time_local],"$request",'
                      '$status $body_bytes_sent,"$http_referer",
                       "$request_time"'
;

想把蓝色字体的字段替换为我想要的格式,红色的保留。

比如替换为:

log_format  main '$remote_addr $remote_user [$time_local] "http://$host" "$request" '
                          '$status $body_bytes_sent "$http_referer" "$http_user_agent" "$HTTP_X_UP_CALLING_LINE_ID"
';


总之原来的格式字段不固定,行数也不固定,替换为我想要的格式。

论坛徽章:
0
2 [报告]
发表于 2016-05-17 14:50 |只看该作者
本帖最后由 lll1985911 于 2016-05-17 15:04 编辑
  1. paste -d' ' -s a.txt | sed -r -e 's/ +/ /g' -e 's/,/ "http:\/\/$host" /3' -e 's/,/ "$http_user_agent"/5' -e 's/request_time/HTTP_X_UP_CALLING_LINE_ID/' -e 's/,/ /g' -e "s/' '/'\n\t\t'/"
复制代码

论坛徽章:
1
2015年亚洲杯之巴林
日期:2015-04-02 09:32:18
3 [报告]
发表于 2016-05-17 15:44 |只看该作者
感谢回复!
可能是我没说清楚,再解释一下:
蓝色字体的具体字段内容我们完全没有必要管它,我们只是替换它。
paste命令的方式也不妥,因为我贴出的文本只是nginx.conf 里的一个片段,paste 一个文件就没有必要了。

回复 2# lll1985911


   

论坛徽章:
0
4 [报告]
发表于 2016-05-17 16:22 |只看该作者
回复 3# opiopuiopoi

你要替换成什么东西?

论坛徽章:
1
2015年亚洲杯之巴林
日期:2015-04-02 09:32:18
5 [报告]
发表于 2016-05-17 17:36 |只看该作者
sed -e ':label; /log_format\s*main/,/;/ { /;/! { $! { N; b label }; }; s/log_format.*;/abcasdfasdfa/; }' a.txt

这个暂时完成了替换。

论坛徽章:
307
程序设计版块每周发帖之星
日期:2016-04-08 00:41:33操作系统版块每日发帖之星
日期:2015-09-02 06:20:00每日论坛发贴之星
日期:2015-09-02 06:20:00程序设计版块每日发帖之星
日期:2015-09-04 06:20:00每日论坛发贴之星
日期:2015-09-04 06:20:00每周论坛发贴之星
日期:2015-09-06 22:22:00程序设计版块每日发帖之星
日期:2015-09-09 06:20:00程序设计版块每日发帖之星
日期:2015-09-19 06:20:00程序设计版块每日发帖之星
日期:2015-09-20 06:20:00每日论坛发贴之星
日期:2015-09-20 06:20:00程序设计版块每日发帖之星
日期:2015-09-22 06:20:00程序设计版块每日发帖之星
日期:2015-09-24 06:20:00
6 [报告]
发表于 2016-05-17 17:38 |只看该作者
回复 5# opiopuiopoi
能说下思路吗? 谢谢...

   

论坛徽章:
28
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44
7 [报告]
发表于 2016-05-22 18:12 |只看该作者
本帖最后由 moperyblue 于 2016-05-22 18:15 编辑
  1. more my_fmt.txt
  2. '$remote_addr $remote_user [$time_local] "http://$host" "$request" '
  3.                           '$status $body_bytes_sent "$http_referer" "$http_user_agent" "$HTTP_X_UP_CALLING_LINE_ID" ';
  4.                           
  5. more file
  6. xx
  7. log_format     main  '$remote_addr,$remote_user,[$time_local],"$request",'
  8.                       '$status $body_bytes_sent,"$http_referer",
  9.                        "$request_time"';
  10. oo

  11. sed  '/log_format\s*main\s*/{s//&\n/;:a;N;/;/!{s/\n//2;ta};s/\n.*//;h;s/.*/cat my_fmt.txt/e;x;G;s/\n//}' file
  12. xx
  13. log_format     main  '$remote_addr $remote_user [$time_local] "http://$host" "$request" '
  14.                           '$status $body_bytes_sent "$http_referer" "$http_user_agent" "$HTTP_X_UP_CALLING_LINE_ID" ';
  15. oo
复制代码
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP