免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
楼主: send_linux
打印 上一主题 下一主题

[2012站庆技术讨论]:如何设计分布式异步事件处理系统?(获奖名单已公布-12-26) [复制链接]

论坛徽章:
0
21 [报告]
发表于 2012-11-27 22:25 |只看该作者
回复 18# crazyhadoop


    最近在写一套高效的通信系统,进程间通信和socket通信均可的那种。嘿嘿

论坛徽章:
0
22 [报告]
发表于 2012-11-28 09:42 |只看该作者
zeromq是消息队列吗? 可以持久化吗?

建议21楼可以关注下zeromq.

论坛徽章:
1
天蝎座
日期:2013-12-06 18:23:58
23 [报告]
发表于 2012-11-28 10:26 |只看该作者
回复 22# xujg


    是消息队列,不能持久化

论坛徽章:
29
技术图书徽章
日期:2013-09-02 19:59:502015元宵节徽章
日期:2015-03-06 15:51:332015小元宵徽章
日期:2015-03-06 15:57:20操作系统版块每日发帖之星
日期:2015-08-16 06:20:002015七夕节徽章
日期:2015-08-21 11:06:17操作系统版块每日发帖之星
日期:2015-09-21 06:20:002015亚冠之水原三星
日期:2015-10-30 00:06:07数据库技术版块每日发帖之星
日期:2015-12-24 06:20:0015-16赛季CBA联赛之上海
日期:2016-01-07 10:32:07操作系统版块每日发帖之星
日期:2016-01-08 06:20:00操作系统版块每日发帖之星
日期:2016-05-18 06:20:00IT运维版块每日发帖之星
日期:2016-07-23 06:20:00
24 [报告]
发表于 2012-11-30 00:43 来自手机 |只看该作者
提示: 作者被禁止或删除 内容自动屏蔽

论坛徽章:
0
25 [报告]
发表于 2012-11-30 20:49 |只看该作者
分布式不太懂,先学习一下

论坛徽章:
0
26 [报告]
发表于 2012-11-30 21:10 |只看该作者
说道消息队列确实可以实现消息异步,并且实现消息分发;像mq之类的产品可以实现消息的持久化且保证消息的可到达性;

论坛徽章:
27
CU大牛徽章
日期:2013-03-13 15:15:08CU大牛徽章
日期:2013-05-20 10:46:38CU大牛徽章
日期:2013-05-20 10:46:44CU大牛徽章
日期:2013-09-18 15:24:09CU大牛徽章
日期:2013-09-18 15:24:20CU大牛徽章
日期:2013-09-18 15:24:25CU大牛徽章
日期:2013-09-18 15:24:31CU大牛徽章
日期:2013-09-18 15:24:36CU大牛徽章
日期:2013-09-18 15:24:41CU大牛徽章
日期:2013-09-18 15:24:48CU大牛徽章
日期:2013-09-18 15:24:52处女座
日期:2013-09-27 17:45:43
27 [报告]
发表于 2012-12-02 11:11 |只看该作者

如下图所示
1.对于分布式异步系统,我觉得应该使用发布-订阅模式,当任务发布者得到任务后,立刻发布到任务栏中,已经订阅了任务栏的worker当有空时就会去领取任务,完成后汇报给任务结果收集者,这样任务就完成。对于worker内部若是也是一个集群的话也可以采取相同的方式进行任务分解
当任务已经完成了可以直接发消息通知程序已经完成了。


若是异步事件处理服务挂掉了,这个任务发布者是知道的,因为任务发布者里有订阅者的名单,只需要把这个订阅者未完成的任务再重新发布一下即可,自动会有worker过来领任务。

zeromq是一套非常好的消息通信工具,使用c语言编写,改造了tcp协议,消息通信非常快。有很多种模式可以选择。

论坛徽章:
1
天蝎座
日期:2013-12-06 18:23:58
28 [报告]
发表于 2012-12-02 19:50 |只看该作者
回复 27# yifangyou


    嗯,这个架构简介给力,侵入性小~ 主要是调度这可能是个小瓶颈~

论坛徽章:
0
29 [报告]
发表于 2012-12-03 17:22 |只看该作者
最顶层的任务发布者和结果收集者如何避免单点?

"zeromq改造了TCP协议", 这句如何理解?

yifangyou 发表于 2012-12-02 11:11
如下图所示
1.对于分布式异步系统,我觉得应该使用发布-订阅模式,当任务发布者得到任务后,立刻发布到任 ...

论坛徽章:
0
30 [报告]
发表于 2012-12-03 17:47 |只看该作者
很牛x啊,太复杂了
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP