初步完成了gfs6.1on rhas4u2上实验，还有很多疑问，在此把安装文档贴出来，感谢linuxforum版主happyjoy 的帮忙 ，希望大家多交流
GFS6.1 ON RHAS4 U2
一、 所需安装包如下：
ccs-1.0.2-0.i686.rpm
ccs-devel-1.0.2-0.i686.rpm
cman-1.0.2-0.i686.rpm
cman-devel-1.0.2-0.i686.rpm
cman-kernel-smp-2.6.9-39.8.i686.rpm
cman-kernheaders-2.6.9-39.8.i686.rpm
dlm-1.0.0-5.i686.rpm
dlm-devel-1.0.0-5.i686.rpm
dlm-kernel-smp-2.6.9-37.9.i686.rpm
dlm-kernheaders-2.6.9-37.9.i686.rpm
fence-1.32.6-0.i686.rpm
GFS-6.1.2-0.i386.rpm
GFS-kernel-smp-2.6.9-42.2.i686.rpm
GFS-kernheaders-2.6.9-42.2.i686.rpm
gnbd-1.0.1-1.i686.rpm
gnbd-kernel-smp-2.6.9-9.14.i686.rpm
gnbd-kernheaders-2.6.9-9.14.i686.rpm
gnome-python2-2.6.0-3.i386.rpm
gnome-python2-bonobo-2.6.0-3.i386.rpm
gnome-python2-canvas-2.6.0-3.i386.rpm
gulm-1.0.4-0.i686.rpm
iddev-2.0.0-3.i686.rpm
iddev-devel-2.0.0-3.i686.rpm
kernel-smp-2.6.9-22.0.1.EL.i686.rpm
kernel-smp-devel-2.6.9-22.0.1.EL.i686.rpm
lvm2-cluster-2.01.14-1.0.RHEL4.i386.rpm
magma-1.0.1-4.i686.rpm
magma-devel-1.0.1-4.i686.rpm
magma-plugins-1.0.2-0.i386.rpm
perl-Net-Telnet-3.03-3.noarch.rpm
piranha-0.8.1-1.i386.rpm
pyorbit-2.0.1-1.i386.rpm
rgmanager-1.9.39-0.i386.rpm
system-config-cluster-1.0.16-1.0.noarch.rpm
二、 集群结构和环境
系统为rhas4 update2,要安装新内核kernel-smp-2.6.9-22.0.1.EL.i686.rpm，结构如下：
拓扑结构：
主机名 扮演角色
one Gfs Client1
tow Gfs client2
Gnbd GNBD server
拓扑图：
GFS client (one) GFS client(tow)
swith
GNBD SERVER(gnbd)
|
storge(sda1)
三、 配置
1、 在每个pc上都将各自的主机名都列在/etc/hosts中
2、 给gnbd server 划分出sda1分区作为gfs分区
3、 在每台pc上安装新内核，使用新内核进入系统，再将其他安装包安装
4、 在one的/etc/cluster/上建立集群配置文件cluster.conf，具体内容如下：
<?xml version="1.0"?>
<cluster name="cluster1" config_version="1">
<cman two_node="1" expected_votes="1">
</cman>
<clusternodes>
<clusternode name="one" votes="1">
<fence>
<method name="single">
<device name="human" ipaddr="192.168.1.1"/>
</method>
</fence>
</clusternode>
<clusternode name="tow" votes="1">
<fence>
<method name="single">
<device name="human" ipaddr="192.168.1.2"/>
</method>
</fence>
</clusternode>
</clusternodes>
<fence_devices>
<fence_device name="human" agent="fence_manual"/>
</fence_devices>
</cluster>
5、 在one和tow上启动dlm,ccsd,fence等服务
在两个节点上加载dlm模块
root@one # modprobe lock_dlm
root@tow # modprobe lock_dlm
启动ccsd服务
root@one # ccsd
root@tow # ccsd
测试ccsd服务
root@one # ccs_test connect 应该返回
Connect successful. Connection descriptor = 1 }}}
在两个节点上启动集群管理器（cman）
root@one # /sbin/cman_tool join
root@tow # /sbin/cman_tool join
查看状态，cat /proc/cluster/nodes,应该返回
Node Votes Exp Sts Name
1 1 1 M one
2 1 1 M tow
加入fence域：
root@one # /sbin/fence_tool join
root@tow # /sbin/fence_tool join
6、 启动集群LVM进程（CLVM）
root@one # /sbin/clvmd
root@tow # /sbin/clvmd
激活LVM卷
root@one # vgchange -aly
root@tow # vgchange -aly
7、 查看集群状态
Cat /proc/cluster/status
Version: 2.0.1
Config version: 1
Cluster name: cluster1
Cluster ID: 26777
Membership state: Cluster-Member
Nodes: 2
Expected_votes: 1
Total_votes: 2
Quorum: 1
Active subsystems: 3
Node addresses: 192.168.1.1
8、 在gnbd server export设备
启动gnbd_serv进程
root@gnbd # /sbin/gnbd_serv –v –n
导出设备
root@gnbd # gnbd_export -v -e gfs -d /dev/sda1 –c
查看export状态信息
root@gnbd # gnbd_export -v -l
Server[1] : gfs
--------------------------
file : /dev/sda1
sectors : 23789568
readonly : no
cached : no
timeout : 60
9、 在one、tow两个节点导入设备
在两个节点加入gnbd模块
root@one # modprobe gnbd
root@tow # modprobe gnbd
导入设备
root@one # gnbd_import -v -i gnbd
root@tow # gnbd_import -v -i gnbd
查看导入状态信息
root@tow # gnbd_import -v -l
Device name : gfs
----------------------
Minor # : 0
Proc name : /dev/gnbd0
Server : srv1
Port : 14567
State : Open Connected Clear
Readonly : No
Sectors : 23789568
10、 建立gfs文件系统并且挂载
在两个节点加载gfs模块
root@one # modprobe gfs
root@tow # modprobe gfs
在one上建立gfs文件系统
root@one # gfs_mkfs -p lock_dlm -t cluster1:gfs -j 2 /dev/gnbd/gfs
在两个节点挂载文件系统
root@one # mount -t gfs /dev/gnbd/gfs /gfs
root@tow # mount -t gfs /dev/gnbd/gfs /gfs
注：要在one挂载文件完全完成后，再在tow上进行mount
拓扑图如下：
[ 本帖最后由 suran007 于 2006-4-29 09:39 编辑 ]
nntp 回复于：2006-04-29 07:00:20
图片显示补充一下 OK?
thx
kaka_sun 回复于：2006-04-29 13:10:52
有哪些疑问，能不能贴出来
linuxunix1 回复于：2006-04-30 21:48:05
不错的帖.顶
junglegq 回复于：2006-05-04 23:04:30
请问楼主，能不能将上面所需要的包压缩后发给我啊，谢谢啦。
mail to :[email]jungle0099@163.com[/email]
suran007 回复于：2006-05-05 10:11:52
引用：原帖由 junglegq 于 2006-5-4 23:04 发表
请问楼主，能不能将上面所需要的包压缩后发给我啊，谢谢啦。
mail to :[email]jungle0099@163.com[/email]
你可以到centos的镜像网站去下载
merryfish 回复于：2006-05-20 14:48:14
thanks a lot
wwszadu 回复于：2006-05-20 21:01:16
好帖子 谢谢共享
caidao 回复于：2006-05-28 16:41:38
centos的yum怎么搜索不到这些软件？
GFS-6.1.2-0.i386.rpm
GFS-kernel-smp-2.6.9-42.2.i686.rpm
GFS-kernheaders-2.6.9-42.2.i686.rpm
Nanu 回复于：2006-05-29 13:37:33
有没有G(oogle)FS的文档呢？
suran007 回复于：2006-05-29 14:01:59
引用：原帖由 caidao 于 2006-5-28 16:41 发表
centos的yum怎么搜索不到这些软件？
GFS-6.1.2-0.i386.rpm
GFS-kernel-smp-2.6.9-42.2.i686.rpm
GFS-kernheaders-2.6.9-42.2.i686.rpm
可以去这里下载http://mirror.centos.org/centos-4/4.3/csgfs/i386/RPMS/
应该可以找到
gb8007 回复于：2006-05-31 18:50:49
我想问一下，这样的架构适合做流媒体服务吗？对硬盘的读写要求很大啊！
gzlittle 回复于：2006-06-01 08:28:41
顶哦，好贴，找了半天..
gb8007 回复于：2006-06-14 17:27:53
[root@one GFS 4.0]# rpm -Uhv magma-plugins-1.0.2-0.i386.rpm
warning: magma-plugins-1.0.2-0.i386.rpm: V3 DSA signature: NOKEY, key ID 443e1821
error: Failed dependencies:
libgulm.so.1 is needed by magma-plugins-1.0.2-0.i386
libgulm.so.1 这个好像真的找不到，有找到的说一声
MSN：[email]gb8007@hotmail.com[/email]
gb8007 回复于：2006-06-14 18:43:59
在打补丁的时候，发现需要很多其他补丁，楼主以上那些是远远不够的，建议楼主把下载内核的地址说明一下
在装内核的过程中，大家是否打过这几个内核？
apr-0.9.4-24.1.i386.rpm
apr-util-0.9.4-17.i386.rpm
httpd-suexec-2.0.52-9.ent.i386.rpm
suran007 回复于：2006-06-15 09:47:54
引用：原帖由 gb8007 于 2006-6-14 18:43 发表
在打补丁的时候，发现需要很多其他补丁，楼主以上那些是远远不够的，建议楼主把下载内核的地址说明一下
在装内核的过程中，大家是否打过这几个内核？
apr-0.9.4-24.1.i386.rpm
apr-util-0.9.4 ...
我没有打过任何补丁，新内核都是直接安装的rpm包，reboot进新内核，再装其余的包看看
gb8007 回复于：2006-06-20 20:09:42
我现在只有两台机子，其中一台有两块SCSI硬盘共36G，另一台为普通PC， 当然没有SAN，但我在http://www.redhat.com/docs/manuals/csgfs/browse/rh-gfs-en/s1-ov-perform.html的网站上看到的介绍都为以SAN做存储来进行配置的，我想问，我现在仅仅想要把一台做成GFS，另一台为GNBD，仅用两台机子能完成这个试验吗？
没有接触过GFS，才开始入手，所以还请各位帮忙了，有好的文档可以给我共享，那么将感激不尽。。。。。。
MSN：[email]gb8007@hotmail.com[/email]
QQ:37856253
nntp 回复于：2006-06-20 21:05:27
gfs 和GNBD配置都非常简单，最好的文档就是redhat document, 难道还不够? 从头到尾，连图带文.
真得很不理解你一行行往下看，怎么就还是很不明白的样子.
我给客户作了几个gfs/rhcs的培训，没有用任何特殊的教材，就是RH的doc, 客户也不是这行出身，听个半天然后自己动手做做也就掌握了.
刚才回头又看了你之前的几个帖子，觉得很奇怪你为什么提到补丁？ gfs什么时候安装需要补丁了？ 在gfs 的手册里面，还特别有一个章节，专门讲安装的时候，到底要装那些rpm包，因为GFS/RHCS的v4版本支持DLM和以前的GLUM所以还特地画了两张大大的表格，分别告诉你如果要选择DLM的时候应该还装什么包，如果要用GLUM应该安装哪些包， 甚至在表格之后，还有样本的命令的例子，如果你的环境和手册中的近似，你copy&paste就可以完成了。gfs的手册还细致到连安装rpm的命令都写给你了，还有当中需要创建的零时目录.
我觉得你在很困惑之前，先泡杯茶，静下心来，仔细的从头到尾把手册每行都看明白，手册看上去很多字，其实大多数内容扫一眼就ok乐，不要急着动手，然后碰到问题就像无头苍蝇一样到处问问题，别人也很难回答你，你之前问的rpm 包和后来的几个帖子中提到的问题，在redhat站点的gfs区，redhat的knowledge, redhat的doc, redhat的magzine都讲得一清二楚，真的有人热心过头来帮你，也只能帮你一行行翻译给你看了.
晕倒...
[ 本帖最后由 nntp 于 2006-6-20 21:14 编辑 ]
soway 回复于：2006-06-21 08:55:18
楼主的瓶颈可能存在于 GNBD Server处,并且我认为这个IO速度方面一直都是gfs需要解决的问题.
nntp 回复于：2006-06-21 11:47:05
性能是所有集群文件系统都要面对的问题.
目前的cluster FS, polyserv matrix 的性能是最好的. GFS性能一般. 我有一个性能的测试和比较文档，又非常详细的测试比较，可惜还没有过NDA时间，所以不能share大家，不过我会摘录一点给大家参考.
ucdos2003 回复于：2006-06-21 12:20:02
等老大什么时候空贴出来瞧瞧呢!
marmot1979 回复于：2006-07-12 22:13:50
期待老大的文章！
UFFO 回复于：2006-09-18 16:55:11
[root@RS7 kernel]# rpm -ivh ccs-1.0.2-0.i686.rpm
warning: ccs-1.0.2-0.i686.rpm: V3 DSA signature: NOKEY, key ID a7048f8d
error: Failed dependencies:
magma is needed by ccs-1.0.2-0.i686
suran007 回复于：2006-09-19 09:46:12
引用：原帖由 UFFO 于 2006-9-18 16:55 发表
[root@RS7 kernel]# rpm -ivh ccs-1.0.2-0.i686.rpm
warning: ccs-1.0.2-0.i686.rpm: V3 DSA signature: NOKEY, key ID a7048f8d
error: Failed dependencies:
magma is needed by ccs-1.0.2-0.i686
安装magma包
myprotein 回复于：2006-10-02 17:29:55
请教楼主，我看了一些其他文档，gfs部署的步骤，好像和你写的不太一样。对于实践方面，小弟很弱，希望各位指导一下，多谢了！
1、clvm。为什么这个例子中没有用到clvm?
3、fence。这个fence是独立的设备，还是可以集成在比如以太网交换机中，或者只是主机上的软件？
4、加入fence域，我看的文档上没有要求
我看得是RH的RAC with GFS的文档。
[ 本帖最后由 myprotein 于 2006-10-3 12:31 编辑 ]
UFFO 回复于：2006-10-09 13:32:03
[root@TEST home]# rpm -Uvh ccs-devel-1.0.2-0.i686.rpm
warning: ccs-devel-1.0.2-0.i686.rpm: V3 DSA signature: NOKEY, key ID 443e1821
error: Failed dependencies:
ccs = 1.0.2-0 is needed by ccs-devel-1.0.2-0.i686
这个问题如何解决啊》？？已经迷茫了很久！！
刘罗锅 回复于：2006-10-09 23:48:40
好贴，看了顶一下，正在努力的、系统的学习集群。看过redhat doc感觉不过瘾。
visualj 回复于：2006-11-07 16:32:46
centos站好像没有 ia64版本的gfs包，请问哪儿有呢？
lzj_0619 回复于：2006-12-04 15:27:49
谢谢啊
caicheng1015 回复于：2007-06-22 21:45:42
有没有人谈一下clvm的配置
kaixinbuhao 回复于：2008-10-27 17:13:40
我用的是linux4.0 当把上面的rpm包都装完后为什么执行[root@ora10g rpm]# modprobe lock_dlm
FATAL: Module lock_dlm not found.
报这种错误呢.
谢谢 帮忙解决一下.
|
