博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
文件服务器之fastDFS
阅读量:4560 次
发布时间:2019-06-08

本文共 2589 字,大约阅读时间需要 8 分钟。

    FastDFS是一个开源的轻量级分布式文件系统,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合中小文件(建议范围:4KB < file_size <500MB),对以文件为载体的在线服务,如相册网站、视频网站等。

 

fastDFS的组成:

  tracker:起核心调度的作用,用于保存下面各个存储文件的信息,包括文件上传记录,下载记录等。是各个storage文件同步的核心。

  storage:用于存储数据,定时向tracker发送自身信息。

  client:通过访问tracker去上传或下载文件。

tracker和storage的对应关系:

  

 

一个tracker对应多个storage,又将storage集群抽象为组的概念,同一个组内的storage数据彼此同步,通过client向tracker中上传数据,而数据最后是存储在storage中的。

group之内的storage是数据冗余的关系,group之间的数据是负载均衡的关系。

 

fastDFS的安装:

  

因为安装包中是集成了tracker,storage,client的,所有无论要使用哪种功能,安装过程都是一样的,只是需要修改不同的配置文件即可:

安装过程:

  

1、安装开发环境

 yum groupinstall "Development Tools" "Server platform Development" -y

2、安装libfastcommon

git clone https://github.com/happyfish100/libfastcommon.git

cd libfastcommon/

./make.sh

 ./make.sh install

3、安装fastdfs

 cd /root/

 git clone https://github.com/happyfish100/fastdfs.git

 cd fastdfs/

 ./make.sh

 ./make.sh install

经过以上过程fastdfs已经安装完成,然后只需要到/etc/fdfs/下修改相应的配置文件即可:

tracker配置:

  

 cd /etc/fdfs

 cp tracker.conf.sample tracker.conf

 vim /etc/fdfs/tracker.conf

  base_path=/fdfs/tracker/data   # 存储日志及tracker的状态信息的软件根目录

修改完配置文件之后可以创建数据存放的目录:mkdir -p /fdfs/tracker/data

之后可以直接启动服务:service fdfs_trackerd start

 

storage 配置:

cd /etc/fdfs/

cp storage.conf.sample storage.conf     copy一份storage的配置文件

vim /etc/fdfs/storage.conf   修改配置文件

  group_name=group1  #指定组名

  base_path=/data/fdfs/storage # storage根目录

  store_path_count=2 # 设置设备数量,即使用几个路径来存储数据,一般是应用到多块磁盘

  store_path0=/data/fdfs/storage/m0 #指定存储路径0

  store_path1=/data/fdfs/storage/m1 #指定存储路径1# 注意:同一组内存储路径不能冲突,例如:下一个节点的存储路径就是m2,m3....等

  tracker_server=192.168.0.107:22122 #指定tracker

 

mkdir -pv /data/fdfs/storage/{m0,m1} # 创建数据目录

service fdfs_storaged start  启动服务

 

client配置

cd /etc/fdfs/

cp client.conf.sample client.conf

修改客户端配置文件:vim client.conf

base_path=/fdfs/client/data

tracker_server=192.168.0.107:22122

 

从客户端上传文件:

fdfs_upload_file   /etc/fdfs/client.conf      root.gz.tar

程序           所使用的配置文件      上传的文件(接路径)

删除文件:

fdfs_delete_file /etc/fdfs/client.conf group1/M00/00/00/rBURalsOVh2AeqF6AAFaxahaL98208.jpg

查看fastdfs集群状态:fdfs_monitor /etc/fdfs/client.conf

 

关于集群:

fastDFS的集群配置不难,只要在storage中指明相应的group就能自动加入到集群中了。

集群模式的storage配置文件需要注意两个字段:

group_name和tracker_server 这是一个多对多的关系,一个group可以属于多个tracker,而一个tracker可以拥有多个group。

具体的架构设计,应根据实际业务需求设置tracker和storage的数量以及它们之间的关系。

 

附:

fastDFS批量上传脚本: 

  

#!/bin/bash

dir=/home/picture   #将所有要上传的文件放在此目录下

for file_name in `ls $dir`;do

file_id=`fdfs_upload_file /etc/fdfs/client.conf $dir/$file_name`

if [ $? -eq 0 ];then

printf "%-40s %10s\n" "$file_name" "$file_id"

else

echo "This time for upload file has failed."

fi

done

 

转载于:https://www.cnblogs.com/RottenLeaf/p/9656194.html

你可能感兴趣的文章
Mybatis步骤
查看>>
WPF自定义控件之扩展原生控件
查看>>
《区块链100问》笔记整理——42~49问
查看>>
使用Jquery+EasyUI 进行框架项目开发案例讲解之二---用户管理源码分享
查看>>
深入理解计算机系统(1.4)---并发与并行、浅谈抽象
查看>>
函数依赖的公理化系统
查看>>
rabbitmq学习(四):利用rabbitmq实现远程rpc调用
查看>>
侯捷C++学习(二)
查看>>
EasyPlayer RTSP Android安卓播放器修复播放画面卡在第一帧bug
查看>>
web项目中全局常量的添加
查看>>
搬运工程 启动!
查看>>
局部加权回归(LWR) Matlab模板
查看>>
Connect to the DSP on C6A8168/DM8168/DM8148 using CCS
查看>>
hibernate在使用getCurrentSession时提示no session found for current thread
查看>>
【Luogu1471】方差(线段树)
查看>>
【agc028E】High Elements(动态规划,线段树,贪心)
查看>>
DEV中svg图标的使用
查看>>
Codefroces Gym101572 I.Import Spaghetti-有向图跑最小环输出路径(Floyd)
查看>>
有关位运算的操作+二进制状态压缩
查看>>
Eclipse插件 -- 阿里巴巴扫描编码规插件
查看>>