求高手帮我想想，集中处理的架构问题？

zhangsuozhu

1、系统由一个或多个数据处理中心及许多名为探针的设备构成。
2、探针设备负责采集数据，并对数据进行简单的处理。然后上传(或同步)数据到数据中心。（探针目前使用的是X86工控机，而且想关程序设计已经基本完成）
3、数据中心负责将探针设备上传来的数据存入数据库中。
4、数据中心负责向用户提供GUI接口。方便用户对数据的查询、统计、分类等操作。
5、探针设备每秒约处理数据2000~4000条。平均每条记录大小约512字节。
6、目前探针的数据保存使用mysql数据库。

7、数据中心所能管理的探针数未确定，因为经验不足，我无法得知，总之越多越好。
8、数据中心所用数据库未确定。肯定的是我们只能提供使用开源数据库，而且稳定性也很重要。



现求各路高手讨论出一个计设方案，或提供一些我考虑的重点：


现在我主要的问题是：

1、数据库中心使用什么数据库，如果处理大数据量（TB级, 百亿条记录）。mysql是否可以？
2、探针与数据中心同步问题。约多长时间同步一次。如果保正容错性及高性能？

duanjigang

每个探针每秒1-2M数据，2000-4000条记录，不管是mysql还是oracle都能处理的了的，这个你不光要看数据库瓶颈，还要看网络通讯瓶颈。
1个设备每秒输出2M字节数据，千兆的交换机接千兆网卡的话，撑死也就50个探针吧？
这样的话，每秒记录数到4000*50=20万条记录。不过我想，不同的探针的数据肯定要合并吧。
因此50台以下探针，一个数据库中心，千兆网络应该可以处理了。具体还要看测试效果了

duanjigang

探针与数据库中心的数据同步，我建议一分钟一合并，然后同步过去，因为对于数据库来说，希望批量的入库，这样效率高。
而且在数据中心上要搞个大内存做缓冲，合并各个探针的数据:wink: ，你这个应用跟我以前做的很像啊
不知道我说这两点有无不妥，希望高手点评:wink:

贺兰云天

支持！

zhangsuozhu

谢谢版主的回复。
1、项目中，经估算，一个数据中心能处理10台以下的探针，就可以了。
2、数据中心要做到保留90天的探针上传来的记录。那么数据量是非常庞大的。不知道是不是要用到集群技术？
3、是把所有探针的数据合并在一起，供用户查询及统计的。

同时我想问一下。mysql每秒20万条的入库，在单台上有可能实现吗？

duanjigang

每分钟20万条没问题，每秒就不知道了，呵呵。oracle我们测试到8万条。
数据量大，挂磁盘阵列就行了吧

duanjigang

每分钟，批量的话，pc上每分钟20万条应该没问题的:wink:

zhangsuozhu

打错字了。是秒。

duanjigang

单条记录512字节，两条1K，2000条1M，20万条100M速度，从磁盘IO速度考虑，应该没问题的。
下来就看数据库的接口了吧，批量入库的程序写好，或许能达到，我跟以前同事问下这个，再来告诉你

duanjigang

不好意思，我鲁莽了，刚打电话问了他，普通磁盘连续写的话也就20M-30M字节的速度。
而且又算了下，200M字节的数据，单个前兆网卡肯定是过不去的。
建议你还是搞成集群的方式，多节点入库吧，呵呵
一切以上的说法，建议你做实验测试下，呵呵