关闭

关闭

关闭

封号提示

内容

首页 计算机分布式文件的操作设计

计算机分布式文件的操作设计.doc

计算机分布式文件的操作设计

立人数据
2019-07-11 0人阅读 举报 0 0 暂无简介

简介:本文档为《计算机分布式文件的操作设计doc》,可适用于高等教育领域

UU快三-大发UU快3拥有大量关于计算机分布式文件的操作设计.doc的实用类文档资料,所有文档由知名合作机构以及专业作者提供,线上总资料超过两个亿,保证满足您的需求。

计算机分布式文件的操作设计摘要:分布式文件系统在集群存储中起着重要的作用。本文详细介绍了一种分布式文件系统的设计和实现着重叙述了统一名字空间的设计和Linux下客户端文件系统的实现。该分布式文件系统的读写性能比网上邻居有明显的优势。关键词:集群存储统一名字空间超级块目录项索引节点引言为了满足文件存储的新的要求(大容量、高可靠性、高可用性、高性能、动态可扩展性、易维护性)设计一种好的分布式文件系统越来越成为需要。分布式文件系统使得分布在多个节点上的文件如同位于网络上的一个位置便于动态扩展和维护。由于分布式文件系统中的数据可能来自很多不同的节点它所管理的数据也可能存储在不同的节点上这使得分布式文件系统中有很多设计和实现与本地文件系统存在巨大的差别。下面主要讲述分布式文件系统设计和实现中所要面对和解决的主要问题。软件总体结构设计一个好的分布式文件系统是集群存储的关键。我们设计的分布式文件系统通过统一名字空间管理使得分布在多个服务器上的文件如同位于网络上的一个位置便于动态扩展和维护。我们把整个系统主要划分客户端与服务器端两部分。客户端包括MVFS文件系统CC模块(ClientCache)CNS模块(ClientNameSpace),CN模块(ClientNetwork)。服务器端包括SC模块(ServerCache)SNS模块(ServerNameSpace),SN模块(Server Network)。应用程序的IO请求首先送给MVFS文件系统MVFS文件系统根据文件句柄获得本文件系统的全局文件名并把对文件的访问转换为对CC的访问。CC收到请求之后如果在Cache中没有发现对应的数据则将请求发给CNS层CNS层根据全局文件名获得该文件所在的服务器。最终通过CN层将命令发给服务器。服务器端SN层通过网络接待命令后将命令传递给SNS层负责将全局文件名转化成本地的文件名然后到SC层去查找如果在Cache中找不到最终会通过本地的文件系统完成对应的IO请求。整个系统的总体结构如图所示。在服务器端还有一个全局管理程序(心跳协议程序)。通过该心跳协议程序所有的存储节点的所共享出来的文件构成了整个文件系统的单一的全局逻辑树从而可以让客户端见到唯一确定的全局逻辑树。图 总体结构图关键技术.统一名字空间的设计与实现统一名字空间是指服务器上的每一个目录和文件在我们的文件系统中都有一个统一的唯一的名字。要实现统一名字空间就必须将服务器上的本地局部路径与文件系统中的全局路径一一对应所以我们在每一个服务器上都存放了一个本地配置文件来记录这个映射关系每个服务器应该根据所有服务器的本地配置文件而形成一个全局配置文件。本地配置文件的第一行主要记录其版本号。后面的每一行是一条记录主要包括共享的全局路径(客户端看到的文件或目录名)及物理路径(服务器上存放的文件或目录名)。而全局配置文件的第一行主要记录其版本号服务器个数及每个服务器的IP后面的每一行是一条记录与本地配置文件的记录相识只是多了一个服务器IP的信息当服务器启动后首先根据自己的本地配置文件生成一个全局配置文件然后广播自己的本地配置文件。当服务器接收到其他服务器的本地配置文件后会根据这个本地配置文件修改全局配置文件。当全局配置文件中不包括该服务器的信息即第一行没有该服务器的IP我们将全局配置文件的版本号改为两个配置文件中版本号的稍大者并修改服务器个数添加服务器的IP及对应的记录。如果全局配置文件中已包括该服务器的信息且全局配置文件的版本号大则不用修改否则将全局配置文件的版本号修改成接收文件的版本号并修改服务器个数添加服务器的IP及对应的记录。当修改了某个服务器的信息后我们应该将本地配置文件的版本号修改为全局配置文件的版本号加一然后广播自己的本地配置文件。当获得一个全局配置文件后我们还应将其转化为一棵目录文件树使得在客户端对一个文件或目录的操作能够转换成对服务器上得操作。为了方便查找我们将全局配置文件转化为一棵二叉树以全局配置文件中记录的全局路径来建树。其中树的根节点代表者全局路径的根目录。树中节点的左儿子为其子目录右儿子与其在同一级目录上。.客户端文件系统的设计与实现文件系统应该提供一组服务使用户能够处理数据以执行所需要的操作包括创建文件、删除文件、组织文件、读写文件、控制文件的访问权限等。Linux通过VFS(虚拟文件系统)为各种文件系统提供统一的接口。VFS是内核中的一个软件层次负责处理所有与文件系统有关的系统调用。我们通过像VFS注册了一种文件系统MVFS使得用户的请求可以由我们提供的函数来处理。MVFS文件系统中主要包括超级块目录项和索引节点。MVFS文件系统的总体结构如图所示。图MVFS文件系统的总体结构文件系统的超级块主要记录文件系统的数据块大小存放文件系统设备的设备号以及该文件系统根目录的目录项的指针在MVFS文件系统中我们在超级块中还存放了要连接的服务器的IP和使用的用户名和密码。MVFS文件系统的目录项描述文件系统中与某个文件索引节点相链接的一个目录项(可以是文件,也可以是目录)同时通过链表记录了父目录与它下面的子目录和文件的关系。而索引节点记录了关于这个目录或文件的一些系统信息比如文件的所有者文件相关的一些权限记录关于文件的若干个时间戳。要想访问服务器上的目录和文件必须先挂载MVFS文件系统。当挂载MVFS文件系统时我们的处理流程如图所示。图MVFS挂载流程在初始化超级块索引节点时需要将它们的成员函数赋值。MVFS文件系统主要通过将一些函数如对目录的读取以及对文件的创建和读写与它的索引节点关联使得以后对该目录或文件的操作都由这些函数来实现。其中对目录的读取方法如图所示:图目录的读取流程首先根据文件句柄获得对应的目录项结构而目录项结构存放了对应的全局目录名因此可以得到对应的全局目录名。当我们获得了该目录下的目录名或文件名后可以调用VFS提供的回调函数filldir。VFS会为这些目录和文件分配目录项结构并将它们链接起来。对于文件的读写首先根据文件句柄获得对应的目录项结构从目录项结构可以得到对应的全局文件名。然后以全局文件名缓冲区要读的大小文件偏移为参数向CC层发出读或写文件命令。当CC层的函数返回时要读或写的数据已在缓冲区里。性能测试我们在相同环境下客户端和服务器均为PPC平台,配置MB的DDRRAM通过千兆网连接分布采用我们的分布式文件系统和网上邻居使用IOMETER对不同负载的读请求进行测试具体的测试结果如图所示。从图中可知我们的分布式文件系统的读性能要比网上邻居好的多。图网上邻居和分布式文件系统的读性能比较结束语

类似资料

该用户的其他资料

英文摘要编写应注意以下几点.doc

贷款公司生存状况调研.doc

住宅小区物业管理工作意见.doc

海底两万里读书笔记1500字.doc

通信工程技术传输管理问题及策略.doc

职业精品

精彩专题

免费小学教育课件下载

小学语文_数学_英语最新教学课件大汇总,近1000个优质教学课件,供教师备课教学使用。涵盖语文课件、数学课件、英语课件等各方面资源,VIP全免费,欢迎各位教师下载使用。

用户评论

0/200
上传我的资料

热门资料排行换一换

  • 学生课堂常规要求

  • ppt中超链接的使用导学案

  • 钢结构分项工程检验批质量验收记录

  • 项目经理工作手册

  • 马原读书笔记

  • 撼地神牛之简要分析

  • “小糊涂仙”酒市场营销策划方案

  • 液化天然气

  • 郭先生的宝宝名字释义

  • 资料评价:

    / 3
    所需积分:0 立即下载

    VIP

    在线
    客服

    免费
    邮箱

    UU快三-大发UU快3服务号

    扫描关注领取更多福利