详细讨论一个常见的网络工具如何设计

duanjigang

说明下：
   一：调度线程负责创建任务结构体，并且添加到任务队列中，然后给客户端的cmagent即时返回信息，表明任务已经启动，
     
    二：工作线程负责从任务队列中拿出来任务节点，锁定状态，并且进行执行，执行完时修改任务节点的状态为已执行完，并把执行结果存储到节点中。
   
   三反馈线程负责轮训任务队列，检查任务队列中每个节点的状态，如果为正在执行，并且执行到达超时，则连接statserver,反馈一次状态给statserver表明正在执行，然后把该节点计时复位。如果状态为已执行完，则同样把结果反馈给statserver,然后释放该任务节点。
不知道这种方法有啥问题没，欢迎大家提意见。

一介村夫

这样的话，命令发起者对于服务器端的执行状态就不是很清楚了，呵呵，我现在设计了一个反馈线程（ ...
duanjigang 发表于 2011-03-01 18:41

    多线程模型的关键是：连接数量受到限制。如果你真是需要访问大量的服务器，就必须使用多进程。

duanjigang

多线程模型的关键是：连接数量受到限制。如果你真是需要访问大量的服务器，就必须使用多进程。
一介村夫 发表于 2011-03-01 22:01

    喔，村村意思是说比如上万台服务器，我启动100个线程，每人100多个，但是对于整个进程来说，他的连接数已经上万了，超过系统上限了？
这种情况通过/proc/sys目录下的设置修改不知道能否解决？感觉应该可以的，会不会有什么问题？

duanjigang

多线程模型的关键是：连接数量受到限制。如果你真是需要访问大量的服务器，就必须使用多进程。
一介村夫 发表于 2011-03-01 22:01

    恩，受到启发了，cmagent创建多个进程来执行命令通知，而且这些通知也是独立的事情，而且用进程避开的连接数的限制。谢谢

xti9er

感觉太繁琐啦。

还不如搞个memcache，任务下发时往 memcache写。

各个服务器自己来读取自己的任务，同时把任务进行的状态和结果定期反馈到memcache的value中去。

并且在memcache这端，可以扩展性的作 任务审核、审计、全局视图等功能。

duanjigang

感觉太繁琐啦。

还不如搞个memcache，任务下发时往 memcache写。

各个服务器自己来读取自己的任务，同 ...
xti9er 发表于 2011-03-02 15:52

    这样的话，命令发送者和接受者没有进行实时的交互，用户不能及时得到执行者的状态，比如接受者不可达等

duanjigang

还有，接收者是不是要轮训memcached了？还是怎么通知？我对memcached不太熟悉:wink:

duanjigang

又改动了下，两个队列，一个是任务队列，一个是反馈队列，任务队列是调度线程和工作线程来用，反馈队列是工作线程和反馈线程来用。这样减小了互斥带来的延迟

xti9er

这样的话，命令发送者和接受者没有进行实时的交互，用户不能及时得到执行者的状态，比如接受者不 ...
duanjigang 发表于 2011-03-02 15:54

     客户端和服务器不直接通信 更安全. 同时memcache这边可以扩展出 任务审核、审计、全局视图等功能。 而且像你那样的需求 及时性要求多高？海量的服务器运维时，考虑的并不一定只是某个单独的任务状态。

    能及时获取批量任务的状况应该更有价值吧？

xti9er

客户端和服务器不直接通信 更安全. 同时memcache这边可以扩展出 任务审核、审计、全局视图等功能 ...
xti9er 发表于 2011-03-02 18:13

      说起安全方面的考虑，memcache还不能用来作为任务下发，他用来同步任务状态信息可以。任务下发还是mysql来吧，便于访问控制。

     而memcache的信息查询(轮训)效率不用担心，本来hash的性能就很高。