centos6下安装 moosefs分布式文件系统

  • A+
所属分类:linux服务器

centos6下安装 moosefs分布式文件系统

系统说明:

系统centos6
192.168.200.3 MyNode3
192.168.200.4 MyNode4

MyNode3 用途:主服务器,存储块服务器,客户端

MyNode4 用途: 日志服务器,备份主控服务器,存储块服务器

环境安装

1.创建目录【MyNode3、MyNode4操作相同】:

mkdir -p /data/software     #创建存放软件的目录
mkdir -p /data/apps         #创建软件安装的目录

useradd www

2.安装编译软件,和相关库【MyNode3、MyNode4操作相同】

# yum -y install gcc gcc-c++ autoconf libjpeg libjpeg-devel libpng libpng-devel freetype freetype-devel libxml2 libxml2-devel zlib zlib-devel glibc glibc-devel glib2 glib2-devel bzip2 bzip2-devel ncurses ncurses-devel curl curl-devel e2fsprogs e2fsprogs-devel krb5-devel libidn libidn-devel openssl openssl-devel nss_ldap openldap openldap-devel  openldap-clients libxslt-devel libevent-devel libtool-ltdl bison libtool vim-enhanced

3.安装环境【MyNode3、MyNode4操作相同】

mfs-1.6.24-1.tar.gz下载地址
https://pan.baidu.com/s/1KPKGZ6el_RmUCOF7PQaeQw

yum -y install fuse*
cd /data/software/ #上传mfs-1.6.24-1.tar.gz文件
tar -zxvf mfs-1.6.24-1.tar.gz
cd mfs-1.6.24/
./configure --prefix=/data/apps/mfs --with-default-user=www --with-default-group=www --enable-mfsmount
make && make install

服务配置

(由于两台服务器以后有可能主从要切换所以配置是相同的)

1.修改 /etc/hosts
手动指定主机名和相应的ip地址

echo '192.168.200.3 mfsmaster
192.168.200.4 mfsmetalogger' >> /etc/hosts

2.创建保存mfs挂载点、block块及相关信息的文件夹

mkdir -p /data/wwwroot/mfs_web_data
chown -R www:www /data/wwwroot/mfs_web_data

3.没有空闲的磁盘和分区使用创建空文件来解决

dd if=/dev/zero of=/data/wwwroot/mfs_web_data/mfs_chunk_block bs=1M count=4000

mkfs.ext4 /data/wwwroot/mfs_web_data/mfs_chunk_block 	# 格式化

mkdir -p /data/wwwroot/mfs_web_data/mfs_chunk_dir		# 创建挂载点挂载空文件
# 开启的时候自动挂载
echo '/bin/mount -o loop /data/wwwroot/mfs_web_data/mfs_chunk_block   /data/wwwroot/mfs_web_data/mfs_chunk_dir' >> /etc/rc.local

4.查看是否挂载成功

/bin/mount -o loop /data/wwwroot/mfs_web_data/mfs_chunk_block   /data/wwwroot/mfs_web_data/mfs_chunk_dir   # 手动挂载一次
 
# 查看是否挂载成功 如果出现下面这一行说明挂载成功
df -Th

5.创建客户端根目录挂载点

mkdir -p /data/wwwroot/mfs_web_data/mfs_client_root
chown www:www /data/wwwroot/mfs_web_data/mfs_client_root

6.创建回收站挂载点

mkdir -p /data/wwwroot/mfs_web_data/mfs_recover
chown -R www:www /data/wwwroot/mfs_web_data

元服务器配置[MyNode3上操作]

1.复制主配置文件

cd /data/apps/mfs/etc/
cp -a mfsmaster.cfg.dist mfsmaster.cfg

2.修改挂载点配置文件

cp -a /data/apps/mfs/etc/mfsexports.cfg.dist /data/apps/mfs/etc/mfsexports.cfg
vi /data/apps/mfs/etc/mfsexports.cfg
*                       .       rw	# 挂载回收站时要用到  
192.168.200.3          /       rw,alldirs,maproot=501,password=adminpass  # 500为www用户id值 #id www
192.168.200.4           /       rw,alldirs,maproot=501,password=adminpass

cp -a /data/apps/mfs/var/mfs/metadata.mfs.empty /data/apps/mfs/var/mfs/metadata.mfs

日志服务器配置[MyNode4上操作]

cp -a /data/apps/mfs/etc/mfsmetalogger.cfg.dist /data/apps/mfs/etc/mfsmetalogger.cfg
vi /data/apps/mfs/etc/mfsmetalogger.cfg  # 打开下面两行配置的注释,内容视情况而定
 META_DOWNLOAD_FREQ = 1  # 每隔一小时服务一次
 MASTER_HOST = mfsmaster
 MASTER_PORT = 9419

存储块服务器配置[MyNode3上操作]

# cp -a /data/apps/mfs/etc/mfschunkserver.cfg.dist /data/apps/mfs/etc/mfschunkserver.cfg
# vi /data/apps/mfs/etc/mfschunkserver.cfg	# 添加下面着两行
MASTER_HOST = mfsmaster
MASTER_PORT = 9420

# cp -a /data/apps/mfs/etc/mfshdd.cfg.dist /data/apps/mfs/etc/mfshdd.cfg
# vi /data/apps/mfs/etc/mfshdd.cfg  # 添加下面这一行
/data/wwwroot/mfs_web_data/mfs_chunk_dir

启动各服务

元服务器启动[MyNode3上操作]

# /data/apps/mfs/sbin/mfsmaster start

两台chunk服务器启动[MyNode3和4上操作]

# /data/apps/mfs/sbin/mfschunkserver start

日志服务器启动[MyNode4上操作]

# /data/apps/mfs/sbin/mfsmetalogger start

防火墙规则添加[MyNode3和4上操作]

iptables -I INPUT -p tcp --dport 9419 -j DROP
iptables -I INPUT -p tcp --dport 9420 -j DROP
iptables -I INPUT -p tcp --dport 9421 -j DROP
iptables -I INPUT -p tcp --dport 9422 -j DROP
iptables -I INPUT -s 192.168.200.0/24 -j ACCEPT
service iptables save
service iptables restart

客户端挂载

1.挂载文件系统和回收站
[MyNode3上操作]

/data/apps/mfs/bin/mfsmount  /data/wwwroot/mfs_web_data/mfs_client_root   -p -H mfsmaster
# 输入配置密码 adminpass
/data/apps/mfs/bin/mfsmount -m /data/wwwroot/mfs_web_data/mfs_recover/ -p  -H mfsmaster

[MyNode4上操作]

/data/apps/mfs/bin/mfsmount  /data/wwwroot/mfs_web_data/mfs_client_root   -p -H mfsmaster
/data/apps/mfs/bin/mfsmount -m  /data/wwwroot/mfs_web_data/mfs_recover/ -p  -H mfsmaster  
# 如果挂载不上就用ps aux | grep mfs  看是否已经有mfsmount -m 的进程如果有的话就用kill 进程号干掉

挂载点一些属性设置

[MyNode3上操作]

# 设置文件存储份数
/data/apps/mfs/bin/mfssetgoal -r 2 /data/wwwroot/mfs_web_data/mfs_client_root

# 设置在回收站保存的时间  10小时
/data/apps/mfs/bin/mfssettrashtime -r 36000 .

测试

在MyNode4上新建一个文件,再到MyNode3上修改看是否可以同步。

[root@MyNode4 ~]# cd /data/wwwroot/mfs_web_data/mfs_client_root
[root@MyNode4 mfs_client_root]# ls
[root@MyNode4 mfs_client_root]# ll
total 0
[root@MyNode4 mfs_client_root]# touch 1.txt
[root@MyNode4 mfs_client_root]# ls
1.txt
[root@MyNode4 mfs_client_root]# cat 1.txt 
aaaaaaaaaadsfasdfasdf

[root@MyNode3 mfs_client_root]# cat 1.txt 
aaaaaaaaaadsfasdfasdf

dd新建文件来测试

[root@MyNode3]# cd /data/wwwroot/mfs_web_data/mfs_client_root
[root@MyNode3 mfs_client_root]# dd if=/dev/zero of=file1G bs=1M count=1000
1000+0 records in
1000+0 records out
1048576000 bytes (1.0 GB) copied, 32.1929 s, 32.6 MB/s

[root@MyNode4 mfs_client_root]# ll -h
total 425M
-rw-r--r-- 1 www www   22 Aug 17 20:24 1.txt
-rw-r--r-- 1 www www 425M Aug 17 20:27 file1G
[root@MyNode4 mfs_client_root]# ll -h
total 1001M
-rw-r--r-- 1 www www    22 Aug 17 20:24 1.txt
-rw-r--r-- 1 www www 1000M Aug 17 20:28 file1G

自此测试成功。

  • 我的微信
  • 这是我的微信扫一扫
  • weinxin
  • 我的微信公众号
  • 我的微信公众号扫一扫
  • weinxin
avatar

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: