tail -f只读出数据却不输出的问题

shenyue_sam

我想做日志实时监控。
思路是，创建一个命名管道，
用tail -f监控应用程序日志，并重定向给命名管道，
在管道另一侧，用tail -f监视并发送给kafka（一种消息队列）。

第一步，启动管道读侧：

1. stdbuf -oL tail -f ${FIFO} | ${KAFKA_HOME}/bin/kafka-console-producer.sh

复制代码

第二步，启动管道写侧：

1. stdbuf -oL tail -F -n0 ${APPLOG} > ${FIFO}

复制代码

（使用stdbuf把tail设置成行缓冲模式，避免io缓冲导致延时输出。）

但是遇到的问题是，有时会发生应用日志在不断写入，但并没有发出kafka。

我使用strace -p连接到管道读侧的tail查看运行情况，
在另一个窗口执行 echo xxx > ${FIFO}，
可以观察到tail read 读出了 xxx，但没有执行write。
有怕是io缓冲问题，所以我 echo 了10KB的内容，发现tail调用了read，和brk，但仍然没有write。

这种问题并不总发生，似乎是运行了一段时间以后会发生，重新启动一次就好了。

求高手帮忙解决。