一、模拟UNIX文件系统的设计及实现(论文文献综述)
陈朱叠[1](2021)在《异构计算系统中的资源虚拟化技术研究》文中认为随着目前数据体量的急剧增长,数据中心对于算力的需求也日益增大,诸如加密解密计算、深度学习在线推理、云VR、云游戏业务等各类应用的算力需求已远远超过了通用处理器的能力所及。此时采用异构计算技术来增加系统的算力的方案已经成为业界趋势。但是异构计算系统中的各类异构计算单元存在差异性,用户直接使用异构计算资源需要接触异构计算系统底层细节,最终导致异构计算系统产生客制化成程度高、难于开发及部署等问题。本文诣在针对各类异构计算节点的虚拟化技术进行研究。论文的的主要工作包括以下几个方面:第一,完成了异构计算平台的搭建,具体工作是完成了本异构计算平台中的各异构计算节点的运行基础环境搭建,包括X86板卡的系统移植以及FPGA板卡的底层固件开发以及嵌入式Linux系统移植。第二,本文分析了虚拟化技术的基本概念。对通用处理器类型计算节点上的各类虚拟化方案做了详细的原理分析。通过对比,本文采用了Docker作为本平台中应用于处理器节点的虚拟化技术,并设计了Docker技术在本平台中的实施方案。第三,提出了基于RDMA技术的虚拟计算资源的互联方案,框架为任务模块之间创建基于QP SEDN/RECV操作的虚通道,实现了低延迟、高吞吐量的数据交互方案。同时设计了RDMA于Docker容器的代理模块,测试了其相关性能。第四,分析了FPGA局部动态可重构技术,完成了FPGA动态而可重构的相关流程。同时以此技术为基础,完成了FPGA的资源虚拟化方案设计,包括FPGA虚拟化逻辑框架设计、FPGA虚拟化框架驱动层设计以及控制器程序设计等。第五,完成了系统资源管理框架的设计与实现,设计了一种基于图的任务描述方案,在屏蔽系统硬件底层细节的情况下提供用给户统一的任务部署及监控接口,从而简化用户开发及部署流程。本文完成了对各类异构计算资源的抽象虚拟化,并实现了一种异构计算资源管理框架,简化了各异构计算节点的应用开发、应用部署流程,同时提高了系统的资源利用率,具有一定的工程意义。
丁楠[2](2021)在《基于KVM的私有云应用平台的设计与实现》文中进行了进一步梳理随着云计算的发展,企业将业务移入云端已经成为一种趋势。云计算是一种按需付费的模式,企业不再需要按照传统方式在开发前购置大量物理设备,可将项目整体移入云端,这种方式降低了企业的开发成本和运维成本,同时高了资源的利用率。从整体看,云计算加快了企业信息化的速度,带动了其他行业的增长。目前云产品供商供了各类云相关服务,或借助于云计算带来的优势,开发了相关的轻型应用服务,以满足用户协同办公、云剪辑、云设计等需求。虚拟化和分布式技术都是云计算的基础,虚拟化技术以物理硬件为基础,可以划分出多个互相隔离的物理资源使用单位,分布式技术可利用多个物理资源共同完成高容量的存储工作和高复杂的计算工作。本文旨在利用KVM虚拟化技术和MooseFS分布式文件存储技术构建一个私有云应用平台,供通过浏览器使用各类原生、大型应用的服务,并供用户数据存储服务,解决了现有一些云应用服务与传统应用相比不能完成数据的联动、云应用功能缺失、云应用功能瑕疵等问题。本文研究了KVM技术与MooseFS存储技术,在此基础上完成了私有云应用平台的整体架构设计和相关模块设计,并且根据设计进行了实现。完成了从操作系统镜像上传到虚拟机运行的整个过程,将虚拟机进行池化管理,增加了云应用的可靠性,并利用分布式存储保证了用户数据的可靠性。本文将传统大型应用安装在虚拟机内,使得多个用户可以进入虚拟机使用特定的应用,并在虚拟机内对用户的存储空间进行映射,方便用户能够通过应用或云应用平台操作自身存储空间内的数据。同时,平台对用户的权限进行了管理,避免用户数据和权限的混乱,也对用户操作文件的过程和物理资源进行了监控,并根据资源使用率实现了虚拟机的调度模块,保证资源的均衡使用。最后,本文对构建的私有云应用平台进行了测试,包括基础功能的测试、某些功能的性能测试和可靠性测试。测试结果表明符合预期设计,能够供轻便的服务满足用户使用大型应用的需求。
黄艺[3](2021)在《基于NFS的Docker数据持久化与跨主机共享》文中研究表明基于Docker容器的云仿真平台将云计算与仿真技术相结合,可降低仿真平台成本提高工程质量提升仿真效率,但是由于容器技术的底层实现方式不同于传统虚拟机技术,使用Docker容器时产生的数据文件会在容器关闭时被清除。在实际仿真任务中希望实现仿真推演计算数据持久化存储以及多用户共享。本文在基于Docker容器云仿真平台基础上研究数据持久化和共享的实现,主要研究工作如下:(1)通过分析云服务器数据卷整体架构和调用流程及Volume Plugin实现原理,给出了数据持久化存储设计方案。(2)利用Docker标准卷管理接口Docker Volume Plugin设计并实现基于网络文件系统NFS的容器数据持久化存储和跨主机共享数据卷管理工具,该工具主要功能模块包括数据卷操作模块和数据卷备份模块。(3)构建基于NFS存储后端数据卷共享Docker云仿真实验平台,使得仿真用户搭建自己的持久化高性能仿真方案,运行仿真实例并跨主机共享仿真结果数据。结果表明在保持原系统的仿真资源共享性和重用性的同时,该云仿真平台实现仿真结果数据和仿真模型数据的持久化存储和共享,可以达成多个科研人员共同完成研发全流程的目的,保存并获取仿真实验所需大容量数据开展仿真实验加快研究进程,并且仿真效率较单主机系统有所提升。
曾建强[4](2017)在《基于持久性内存的高性能用户态文件系统研究与实现》文中提出进入信息时代,计算机面对的数据量持续增长,并且伴随着人类对信息的逐渐依赖,大数据处理成为当前信息处理系统的重要需求。大数据处理对存储系统提出了更高的要求,主要集中在带宽、延迟和可靠性等方面。长期以来,由于内存的价格、容量、可持久性等因素限制,大容量的持久化数据往往需要存储到磁盘等介质中,从而形成了从cache、主存到磁盘、磁带的层次化存储系统。由于磁盘等持久性存储的性能受限,各种基于局部性原理的优化技术试图填补外存和内存之间的鸿沟。但以非易失内存为代表的新型存储器件的快速发展,使得持久性存储的性能得到极大提升,有望融合内存和外存的优点,提高存储系统的整体性能。另一方面,新型存储器件也给存储系统的设计带来了新的挑战。为了适配持久性内存并充分发挥其大容量、低延迟、持久性等特性,传统的系统软件需要作出相应调整。本文面向大数据处理和数据密集型应用,对基于持久性内存的存储系统进行研究,主要通过对操作系统中的内存管理系统和文件系统进行设计和优化,提高数据处理的效率。本文主要关注系统软件层次,涉及存储管理、文件系统、进程管理和系统可靠性等方面。本文的主要工作和创新如下:(1)提出了一种面向持久性内存的的文件索引机制传统文件系统中大量文件的组织一般是通过目录文件,并在此基础上进行优化。传统的索引方式及其优化,如B树和缓存哈希表等,要么面临批量访问和随机访问的折衷,要么因为只面向磁盘优化而无法应用到持久性内存场景中。更重要的是,基于目录文件的层次化组织方式,需要文件系统进行层次化解析,这带来了不可小觑的软件开销。本文针对传统索引方式的不足,面向持久性内存,提出通过页表组织和索引文件,并通过全路径名字解析,利用MMU硬件加速文件定位,从而降低文件访问延迟的机制。实验表明,使用该机制改进的文件系统,在延迟方面有66%到6.7倍左右的性能提升。(2)提出了一种面向持久性内存的存储管理方案由于持久性内存在性能和寿命等方面的缺陷,它将会长期与传统内存并存。在这种存储结构中,如何标识和管理持久性内存将是系统软件设计者的一个问题。本文利用Linux系统中内存管理系统管理持久性内存,首先为持久性内存分配固定的虚拟地址空间,该空间是从64位系统的地址空间中的用户空间保留的,这样一来用户访问文件只需要读取内核页表并修改权限,而无需逐页映射,从而提高了访问性能,并便于文件共享和后续的用户态直接访问的设计。为了实现该方案,需要配套地调整进程初始化和缺页异常处理等机制。除此之外,本文设计了新的memory zone用于管理持久性内存,对持久性内存进行单独分配和统计。(3)设计并实现了一种将传统文件系统移植到持久性内存的方案基于新的文件索引机制,本文设计了将传统文件系统移植到持久性内存的方案,即使用新型索引机制替代传统文件系统中的目录机制,同时改进内核虚拟文件系统中的解析过程和缓存过程。本文基于该方案实现了一个内核库——libptree。实验表明,传统文件系统可以通过该库进行方便的移植,例如ext2系统的移植成本仅为约200行内核代码。
陆亿红,李波[5](2016)在《图示法在“模拟UNIX文件系统”大型实验中的应用》文中指出本文阐述了图示法在"模拟UNIX文件系统"大型实验的设计思路及具体操作中的应用,以期能够巩固和补充操作系统的原理教学,从而提高学生对操作系统的认识,使学生能将操作系统中文件系统部分的概念具体化。
王清[6](2006)在《软件老化现象的恢复方案的研究以及在UNIX上的应用》文中进行了进一步梳理随着现代信息社会的快速发展,计算机技术的应用已经触及社会的每一个角落,计算机系统的应用也愈加广泛,随之而来的问题——系统软件的老化(software aging)导致系统性能衰退甚至崩溃的现象越来越严重。软件恢复(software rejuvenation)是一种针对系统中的软件使用过程中出现的软件老化现象提出积极反应的技术。软件恢复策略(software rejuvenation policy)是研究软件恢复过程中的方法,越来越受到许多业内人事的重视。首先,本文分析了软件老化、软件恢复的基本概念以及软件恢复的三种恢复策略:基于时间的恢复策略、基于检测的恢复策略、嵌套的基于时间的恢复策略。然后,再对这三种恢复策略的成本进行了比较。其次,研究了UNIX的系统结构、系统性能指标的衡量以及系统性能的瓶颈问题,探讨了UNIX系统的性能检测和信息提取的方法,描述了将三种恢复策略应用于UNIX的实施过程和具体措施。最后,构建了一个简易的系统运行平台,模拟一个系统的运行,包括了系统的正常运行、系统级和应用级的软件老化现象,模拟了三种恢复策略的实施,通过实验结果分析,得到三种恢复策略的成本,从而能使恢复策略的成本最小化。
吕毅[7](2004)在《证明和测试分布式系统的功能正确性 ——机群文件系统共享语义和网格使用模式研究》文中指出由于分布式系统的固有复杂性,结合分布式系统的领域背景来证明和验证分布式系统的功能正确性一直是计算机科学领域的重要问题。机群系统和网格系统均是高度复杂的分布式系统,其中机群文件系统共享语义和网格使用模式的研究分别是涉及各自领域的功能正确性、性能和易用性的关键问题。本文首先从文件系统共享文件语义和计算机使用模式这两个方面系统地综述了机群文件系统语义和网格使用模式领域的主要研究成果。作为本文的研究重点之一,在机群文件系统共享语义研究方面,从文件缓存协议构造、语义正确性证明和共享语义测试等方面对机群文件系统共享语义的关键问题进行了深入探讨。在网格的用户使用模式研究方面,本文对用户和服务网格系统进行理论建模,提出并证明了用户3A使用服务网格必须满足的一些性质和条件。本文创造性的工作主要有三个方面:(1)提出了一种基于POSIX文件锁的缓存一致性协议LBCCP,该协议能够在文件粒度支持动态调整文件共享语义。本文给出了LBCCP协议的I/O自动机模型并证明了LBCCP协议的正确性,在证明过程中找到并改正了DCFS文件系统协议中的几处错误。(2)提出了文件系统共享语义测试概念并实现了一个文件语义测试系统FSbench。FSbench目前能够测试机群文件系统最常用的两种共享语义,分别是UNIX语义和NFS语义。FSbench可用于判断应用程序在不同文件系统无缝移植的可行性和验证新文件系统的语义正确性,我们利用FSbench进行语义测试时发现了DCFS和PVFS在共享语义支持方面的一些问题,改进后的DCFS版本已经能够通过目录的UNIX语义测试。(3)给出了用户3A (Anytime, Anyplace and on Anydevice)使用模式的定义,利用抽象状态机(ASM)理论对用户和服务网格系统进行形式化建模,并证明了服务网格3A使用模式定理。该定理给出了服务网格系统提供3A使用模式的一些充分条件和性质,这些性质可以用于指导实际网格系统的设计和实现。
吴志攀,杜华英[8](2003)在《模拟UNIX文件系统的设计及实现》文中研究说明根据高校的实际情况,提出模拟UNIX文件系统的设计及实现的必要性。用程序流图和程序实现两方面验证了该方案的可行性.
卢军[9](2002)在《高性能网络存储技术研究》文中研究说明随着Internet及宽带网络应用的飞速发展,网络上的信息资源呈现出爆炸性增长趋势。如何有效地存储这些不断膨胀的数据是网络存储技术面临的新挑战。同时,在许多应用环境中提高存储系统性能是提高整个网络服务性能的关键。因此,对高性能网络存储技术的研究,不仅可以提供有效的数据存储方案,也是提供高性能网络服务的基础。目前网络存储技术研究主要集中于:广域网存储技术、集群文件系统、新型磁盘文件系统三个方面。本文从如何提供高可用、高性能网络存储服务的角度出发,在对网络存储领域的最新研究成果进行了系统、全面的学习和总结基础上,在上述三个方面进行了深入细致的研究工作,取得了若干创新成果。本文的主要创新点包括:(1) 广域网存储技术研究本文提出了一种基于移动Agent的新型分布式文件系统—MADFS。MADFS使用分层体系结构,具有很好的伸缩性和扩展性;使用移动Agent来提高在广域网中的通信效率,可以有效降低服务器负荷。本文提出了基于移动Agent的分层汇聚Cache管理机制—HCCM。HCCM充分利用分层汇聚思想,能有效降低服务器负荷,减小网络通信量,适合在WAN中使用。本文建立了HCCM的性能理论分析模型,并进行了性能分析实验。实验表明HCCM具有更短的响应时间和更低的服务器负荷。(2) 协作写机制和集群文件系统研究本文提出了一种新型协作写机制—CWM。CWM可以在保证数据安全的基础上,消除同步写过程,提高存储系统整体性能。本文详细描述了CWM的工作原理和运行机制,并分析了CWM的运行效率和数据安全性。本文的实验表明CWM可以有效提高存储系统性能。本文设计了一种新型协作写NFS集群服务器—CWCNFS。CWCNFS兼具NFS的易用性和集群文件系统的高性能,同时创新性地将协作写机制(CWM)引入到集群文件系统中,有效提高了系统同步写性能。本文的性能对比实验表明,<WP=6>CWCNFS可以显着提高NFS系统的文件访问速度和系统吞度量。(3) 新型高性能磁盘文件系统研究本文提出了一种新型高性能磁盘布局机制—ABL。ABL依据磁盘文件的访问频度对频繁访问的文件进行复制,复制的文件放置在磁盘“降温区”中。这使文件系统中少数高频访问的文件在磁盘上进行了合理备份,从而提高这些文件的访问速度。本文的实验表明,ABL可以有效降低热文件的访问延迟,提高文件系统性能。本文提出了一种新型的针对小文件同步写优化的文件系统—STFS。STFS充分考虑了现代磁盘的非线性寻道特征,将文件系统的元数据和数据尽可能地放置于同一磁道,以减少在小文件同步写时带来的操作延迟。本文的实验表明,STFS可以有效地提高文件系统小文件同步写的性能。
贺劲[10](2002)在《机群文件系统性能与正确性研究》文中认为计算机存储系统,特别是相对慢速的外存储系统一直是影响计算机整体性能的“瓶颈”。目前,机群系统已经逐渐成为超级计算机与超级服务器的主流结构,但外存储系统仍然是它进一步提高性能与可靠性的主要障碍。近年来,随着网络技术的飞速发展,基于机群节点间高速互连网络的机群文件系统已成为解决机群外存储系统问题的有效策略之一。然而在机群系统中,不同类型应用在文件存取性能及语义需求等方面存在较大的差异,如何为具有不同需求的应用提供足够的文件I/O性能,并保证其文件存取操作的正确执行已成为机群文件系统设计的关键问题。本文结合曙光机群文件系统DCFS的设计与实现,对如何有效提高机群文件系统性能、保证应用的正确执行方面进行了较有成效的研究,主要内容包括:以COSMOS文件系统为原型系统,研究了机群文件系统中通信子系统对整体性能的影响;研究了机群文件系统结构优化对元数据操作的性能影响;以支持MPI-IO并行计算为目标,研究了在支持客户端缓存情况下,如何实现文件系统客户端缓存一致性语义的协议。具体研究成果如下:(1)首次提出并发带宽利用率的概念,以量化的方式来评价系统整体效率与服务器外存储子系统及节点间通信机制间的关系,有助于人们更加合理地设计与部署机群文件系统。(2)提出了改善并发带宽利用率的一些策略,在基于曙光3000的机群文件系统原型中,着重研究了通信子系统对并发带宽利用率的影响。在原型系统中应用了基于Myrinet高速交换网络的精简通信协议BCL-3,性能测试的结果表明,相对于使用Ethernet网络与TCP/IP协议的系统,机群文件系统客户节点文件I/O带宽得到了显着提高,系统并发带宽利用率从40%以下提高到了90%左右。(3)提出了FPLS及FPLS+路径解析优化协议,通过调整元数据分布结构以及改进客户节点核心路径解析操作算法,来提高信息服务类应用中大量元数据存取操作性能。模拟实验结果表明,在最佳情况下,新型路径解析协议可将路径查找时间减少到普通路径解析协议所用时间的20.2%。(4)提出了一种可直接操纵文件系统客户端缓存的扩展文件锁协议。这种协议可以使机群文件系统在支持客户端缓存的情况下,能满足并行计算应用接口MPI-IO对底层文件系统的并发共享文件I/O的语义需求。与一些现有系统中的相关实现策略相比,该协议具有简单可靠的优点。
二、模拟UNIX文件系统的设计及实现(论文开题报告)
(1)论文研究背景及目的
此处内容要求:
首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。
写法范例:
本文主要提出一款精简64位RISC处理器存储管理单元结构并详细分析其设计过程。在该MMU结构中,TLB采用叁个分离的TLB,TLB采用基于内容查找的相联存储器并行查找,支持粗粒度为64KB和细粒度为4KB两种页面大小,采用多级分层页表结构映射地址空间,并详细论述了四级页表转换过程,TLB结构组织等。该MMU结构将作为该处理器存储系统实现的一个重要组成部分。
(2)本文研究方法
调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。
实证研究法:依据现有的科学理论和实践的需要提出设计。
定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。
定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。
跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。
模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
三、模拟UNIX文件系统的设计及实现(论文提纲范文)
(1)异构计算系统中的资源虚拟化技术研究(论文提纲范文)
摘要 |
abstract |
第一章 绪论 |
1.1 研究背景与意义 |
1.2 国内外研究现状 |
1.3 研究内容 |
1.4 论文结构安排 |
第二章 异构计算系统整体架构 |
2.1 引言 |
2.2 系统硬件平台介绍 |
2.2.1 硬件平台顶层结构 |
2.2.2 X86 计算资源节点 |
2.2.3 FPGA计算资源节点 |
2.3 系统互联结构及技术基础 |
2.3.1 RDMA技术 |
2.3.2 系统硬件连接拓扑 |
2.3.2.1 FPGA内部互联 |
2.3.2.2 异构计算资源节点互联 |
2.3.3 基于QP的互联通道设计 |
2.4 资源管理框架设计 |
2.4.1 系统软件总体框架 |
2.4.2 系统资源管理软件框架 |
2.4.3 接入通道设计 |
2.4.3.1 基于gRPC数据交互方式 |
2.4.3.2 认证管理 |
2.4.4 用户任务调度部署 |
2.4.4.1 任务描述方法 |
2.4.4.2 任务描述及提交流程 |
2.4.4.3 任务映射调度及部署流程 |
2.5 本章小结 |
第三章 通用处理器资源虚拟化 |
3.1 引言 |
3.2 处理器虚拟化技术概览 |
3.2.1 虚拟化技术分析 |
3.2.2 KVM技术及原理 |
3.2.3 Docker技术及原理 |
3.3 虚拟化方案选择及实施 |
3.3.1 KVM与 Docker对比及选择 |
3.3.2 方案实施 |
3.4 网络虚拟化 |
3.4.1 RoCEv2 Proxy模块结构 |
3.4.2 代理模块与容器间数据交互 |
3.4.3 基于IBVerbs的数据交换 |
3.5 RoCEv2 代理模块测试 |
3.6 本章小结 |
第四章 FPGA资源虚拟化 |
4.1 引言 |
4.2 FPGA局部动态可重构技术 |
4.2.1 可重构设计流程 |
4.2.1.1 工程模式 |
4.2.1.2 非工程模式 |
4.2.2 局部动态可重构原理 |
4.2.3 可重构框架设计 |
4.2.4 可重构块部署流程 |
4.2.4.1 FPGA可重构接口 |
4.2.4.2 可重构部署软件流程 |
4.3 FPGA虚拟化方案设计及实施 |
4.3.1 FPGA虚拟化方案设计需求 |
4.3.2 FPGA虚拟化逻辑框架设计 |
4.3.3 Linux环境下设备驱动设计 |
4.3.4 FPGA节点控制器设计与实现 |
4.4 FPGA虚拟化框架问题分析 |
4.4.1 框架资源开销问题 |
4.4.2 不同规模的FPGA业务模块部署问题 |
4.5 FPGA虚拟化框架测试 |
4.6 本章小结 |
第五章 结束语 |
5.1 本文总结及主要贡献 |
5.2 下一步工作 |
致谢 |
参考文献 |
学位论文答辩后勘误修订说明表 |
(2)基于KVM的私有云应用平台的设计与实现(论文提纲范文)
摘要 |
abstract |
第一章 绪论 |
1.1 研究背景与意义 |
1.2 国内外研究现状 |
1.3 论文主要内容 |
1.4 论文结构安排 |
第二章 相关技术研究分析 |
2.1 虚拟化相关技术 |
2.1.1 虚拟化方案 |
2.1.2 QEMU与KVM虚拟化技术 |
2.2 MooseFS分布式存储 |
2.2.1 MooseFS体系结构 |
2.2.2 MooseFS读写过程 |
2.3 noVNC组件 |
2.4 本章小结 |
第三章 私有云应用平台的需求分析与设计 |
3.1 需求分析 |
3.2 系统整体架构分析与设计 |
3.2.1 系统整体架构 |
3.2.2 系统功能模块 |
3.3 系统模块设计 |
3.3.1 数据存储模块设计 |
3.3.2 虚拟机管理模块设计 |
3.3.3 权限控制模块设计 |
3.3.4 平台监控模块设计 |
3.3.5 虚拟机调度模块设计 |
3.3.6 虚拟机池模块设计 |
3.4 本章小结 |
第四章 私有云应用平台的实现 |
4.1 数据存储模块的实现 |
4.2 虚拟机管理模块的实现 |
4.2.1 系统镜像加速上传实现 |
4.2.2 虚拟机镜像管理实现 |
4.2.3 虚拟机底层控制实现 |
4.3 权限控制模块的实现 |
4.3.1 平台基础权限管理实现 |
4.3.2 LDAP权限管理实现 |
4.3.3 虚拟机内部权限管理实现 |
4.4 平台监控模块的实现 |
4.4.1 用户文件操作监控实现 |
4.4.2 资源监控实现 |
4.4.3 应用使用情况监控实现 |
4.5 虚拟机调度模块的实现 |
4.6 虚拟机池模块的实现 |
4.6.1 虚拟机池实现 |
4.6.2 平台消息通知实现 |
4.7 本章小结 |
第五章 系统测试与分析 |
5.1 测试环境 |
5.2 功能测试 |
5.3 非功能性测试 |
5.3.1 性能测试 |
5.3.2 可靠性测试 |
5.4 本章小结 |
第六章 总结与展望 |
6.1 工作总结 |
6.2 工作展望 |
致谢 |
参考文献 |
(3)基于NFS的Docker数据持久化与跨主机共享(论文提纲范文)
摘要 |
abstract |
第1章 绪论 |
1.1 研究背景和意义 |
1.2 国内外研究现状 |
1.3 研究内容和目标 |
1.4 论文组织结构 |
第2章 云计算技术及数据存储分析 |
2.1 云计算技术 |
2.2 Docker容器技术 |
2.2.1 Docker核心技术原理 |
2.2.2 Docker镜像和容器说明 |
2.2.3 Go语言和HTTP协议 |
2.3 基于Docker的云仿真平台 |
2.3.1 云仿真平台整体架构 |
2.3.2 软件架构及环境配置 |
2.4 网络文件技术NFS |
2.4.1 网络文件系统简介 |
2.4.2 NFS底层存储实现原理 |
2.5 本章小结 |
第3章 Docker容器数据存储与共享 |
3.1 Docker数据存储 |
3.1.1 容器分层文件系统 |
3.1.2 Docker容器存储架构 |
3.1.3 容器数据持久化 |
3.2 容器数据卷存储架构 |
3.2.1 容器数据卷整体架构和调用原理 |
3.2.3 基于主机文件系统的数据卷 |
3.2.4 基于数据卷插件的数据持久化 |
3.3 本章小结 |
第4章 基于NFS的 Docker数据持久化与共享 |
4.1 数据卷插件整体架构设计 |
4.1.1 数据卷插件整体架构 |
4.1.2 数据卷插件各模块功能 |
4.2 客户端模块实现 |
4.3 主功能模块实现 |
4.3.1 插件后台守护进程实现 |
4.3.2 数据卷驱动模块Driver实现 |
4.4 数据卷备份模块和后端存储实现 |
4.4.1 数据卷备份模块实现 |
4.4.2 后端存储模块核心函数实现 |
4.5 挂载NFS仿真计算应用实现 |
4.5.1 NFS文件数据共享系统搭建 |
4.5.2 挂载NFS仿真计算服务镜像设计 |
4.6 本章小结 |
第5章 Docker数据持久化及跨主机传输测试 |
5.1 数据卷插件功能测试 |
5.1.1 主程序源码编译与启动 |
5.1.2 数据卷操作功能测试 |
5.1.3 数据卷备份功能测试 |
5.2 数据持久化和共享测试 |
5.3 跨主机数据传输性能测试 |
5.4 本章小结 |
第6章 总结与展望 |
6.1 工作总结 |
6.2 未来展望 |
参考文献 |
攻读硕士学位期间取得的研究成果 |
致谢 |
(4)基于持久性内存的高性能用户态文件系统研究与实现(论文提纲范文)
摘要 |
Abstract |
第一章 绪论 |
1.1 研究背景 |
1.2 研究现状 |
1.2.1 新型非易失存储 |
1.2.2 基于NVM的系统设计 |
1.3 本文工作 |
1.4 本文组织架构 |
第二章 基于持久性内存的文件系统 |
2.1 相关背景 |
2.1.1 虚拟文件系统 |
2.1.2 内存文件系统 |
2.1.3 内存管理系统 |
2.2 典型新型文件系统 |
2.2.1 BPFS |
2.2.2 PMFS |
2.2.3 NOVA |
2.3 用户态文件系统 |
2.4 本章小结 |
第三章 面向持久性内存的新型文件索引机制 |
3.1 相关背景 |
3.1.1 Linux namei |
3.1.2 页表和地址空间 |
3.2 PTree:基于页表的新型文件索引机制 |
3.2.1 总体设计 |
3.2.2 内核VFS的修改 |
3.2.3 页表索引机制 |
3.2.4 哈希函数设计 |
3.2.5 哈希函数性能测试 |
3.3 本章小结 |
第四章 面向持久性内存的新型文件系统设计 |
4.1 相关背景 |
4.1.1 Linux内核模块与文件系统 |
4.1.2 页高速缓存 |
4.1.3 内存映射 |
4.2 chunkzone:面向持久性内存的存储管理方案 |
4.2.1 非易失内存的地址划分 |
4.2.2 实现新的内存域 |
4.2.3 进程地址空间适配 |
4.3 libptree:传统文件系统向持久性内存平台移植 |
4.3.1 libptree的结构设计 |
4.3.2 使用libptree移植经典文件系统 |
4.4 性能测试与分析 |
4.4.1 实验配置 |
4.4.2 Microbenchmarks |
4.4.3 Macrobenchmarks |
4.5 本章小结 |
第五章 总结和展望 |
5.1 工作总结 |
5.2 研究展望 |
致谢 |
参考文献 |
作者在学期间取得的学术成果 |
(5)图示法在“模拟UNIX文件系统”大型实验中的应用(论文提纲范文)
1.基本原理 |
2.文件卷的组织 |
3.超级块 |
4.空闲盘块 |
5.索引节点 |
6.目录 |
(6)软件老化现象的恢复方案的研究以及在UNIX上的应用(论文提纲范文)
摘要 |
Abstract |
1 绪论 |
1.1 研究背景 |
1.2 软件恢复策略的重要性 |
1.3 国内外研究现状 |
1.4 本文工作 |
1.5 论文组织结构 |
2 软件恢复 |
2.1 基本概念 |
2.1.1 软件老化 |
2.1.2 软件恢复 |
2.2 三种恢复策略 |
2.2.1 策略一:基于时间的恢复策略 |
2.2.2 策略二:基于检测的恢复策略 |
2.2.3 策略三:嵌套的基于时间的恢复策略 |
2.3 恢复策略成本的比较 |
2.4 小结 |
3 软件恢复在 UNIX上的应用 |
3.1 引言 |
3.2 UNIX系统结构 |
3.3 UNIX的两个重要工具 |
3.3.1 SATAN的使用 |
3.3.2 TCP_Wrapper |
3.4 UNIX系统性能 |
3.4.1 性能的衡量指标 |
3.4.2 性能的瓶颈问题 |
3.5 系统性能的检测 |
3.5.1 信息来源 |
3.5.2 信息检测 |
3.6 系统性能的调优 |
3.6.1 系统硬件的调优 |
3.6.2 文件系统的调优 |
3.6.3 核心参数的调优 |
3.7 软件恢复的应用 |
3.7.1 考虑的因素 |
3.7.2 策略一的应用 |
3.7.3 策略二的应用 |
3.7.4 策略三的应用 |
3.8 小结 |
4 模拟实验 |
4.1 引言 |
4.2 认识Y.huang模型 |
4.3 随机数模拟 |
4.4 系统运行模拟 |
4.4.1 正常工作模拟 |
4.4.2 软件老化模拟 |
4.5 恢复策略模拟 |
4.6 试验结果分析 |
4.7 小结 |
5 总结与展望 |
5.1 本文工作总结 |
5.2 进一步工作 |
参考文献 |
(7)证明和测试分布式系统的功能正确性 ——机群文件系统共享语义和网格使用模式研究(论文提纲范文)
声明 |
关于论文使用授权的说明 |
摘要 |
ABSTRACT |
第1章 引言 |
1.1 机群文件系统 |
1.1.1 机群文件系统定义 |
1.1.2 典型机群文件系统介绍 |
1.2 机群文件系统共享语义 |
1.2.1 UNIX语义 |
1.2.2 会话(Session)语义 |
1.2.3 不可改变的共享文件语义 |
1.2.4 事务处理型语义 |
1.2.5 NFS语义 |
1.2.6 发布一致性(Publish Consistency)语义 |
1.3 网格技术 |
1.3.1 网格技术的发展 |
1.3.2 Globus |
1.3.3 Vega Grid |
1.4 网格使用模式 |
1.4.1 网格使用模式的关键技术 |
1.4.2 计算模式的演化 |
1.5 本文的内容组织 |
第2章 相关工作的理论和方法 |
2.1 形式化方法介绍 |
2.1.1 基本概念 |
2.1.2 I/O自动机的基本理论 |
2.1.3 抽象状态机的基本理论 |
2.2 软件测试方法介绍 |
2.2.1 软件测试的基本概念 |
2.2.2 功能测试——黑盒测试 |
2.2.3 结构测试——白盒测试 |
2.2.4 面向对象的软件测试 |
2.2.5 协议测试 |
2.3 本章小结 |
第3章 动态可调整共享文件语义研究 |
3.1 文件系统缓存 |
3.1.1 机群文件系统缓存 |
3.1.2 文件缓存实现 |
3.1.3 文件缓存实现的一些关键技术 |
3.2 应用程序的语义需求 |
3.2.1 基于消息传递的文件接口MPI-IO |
3.2.2 Web应用 |
3.3 LBCCP协议描述 |
3.3.1 DCFS结构 |
3.3.2 动态调整语义 |
3.3.3 基本协议 |
3.4 DCFS形式描述 |
3.5 POSIX文件锁特性和UNIX语义 |
3.5.1 POSIX文件锁特性 |
3.5.2 满足UNIX语义的充分条件 |
3.6 LBCCP协议和DCFS自动机模型正确性证明 |
3.7 LBCCP协议实现 |
3.8 相关研究 |
3.9 本章小结 |
第4章 机群文件系统共享语义测试研究 |
4.1 共享语义测试概念和测试方法 |
4.1.1 共享语义测试概念 |
4.1.2 共享语义测试方法 |
4.2 FSbench结构 |
4.2.1 FSbench总体结构 |
4.2.2 FSbench各模块介绍 |
4.3 共享语义测试关键技术 |
4.3.1 语义测试功能分解 |
4.3.2 测试序列生成 |
4.3.3 语义验证结果生成 |
4.3.4 精确时间同步机制 |
4.4 系统实现和测试结果 |
4.4.1 系统实现 |
4.4.2 测试结果 |
4.5 相关研究 |
4.6 本章小结 |
第5章 服务网格的用户3A使用模式研究 |
5.1 用户3A使用模式定义 |
5.2 用户和服务网格系统的抽象状态机(ASM)模型 |
5.2.1 用户和服务网格系统的Universes和Signatures |
5.2.2 USG中模块的形式定义 |
5.3 用户和服务网格ASM模型的初始状态和约束条件 |
5.4 用户和服务网格系统的一些基本性质和服务网格3A使用模式定理 |
5.5 讨论 |
5.5.1 网格认证和授权 |
5.5.2 会话Session |
5.5.3 网格服务连续性 |
5.5.4 组合服务 |
5.5.5 B/G模式和K/G模式分析 |
5.6 本章小结 |
第6章 结论 |
6.1 本文工作与结论 |
6.1.1 机群文件系统共享语义 |
6.1.2 服务网格使用模式 |
6.2 进一步的工作 |
附录 |
参考文献 |
致谢 |
作者简介 |
(9)高性能网络存储技术研究(论文提纲范文)
第一章 绪论 |
1.1 网络存储技术现况 |
1.1.1 网络存储技术简介 |
1.1.2 网络存储技术发展趋势和研究热点 |
1.2 本论文的相关研究工作 |
1.2.1 广域网存储技术 |
1.2.2 高性能集群文件系统 |
1.2.3 新型高性能磁盘文件系统 |
1.3 论文主要内容和贡献 |
1.4 本文结构 |
第二章 基于移动Agent的新型分布式文件系统研究 |
2.1 引言 |
2.2 MADFS体系结构 |
2.2.1 MADFS的分层体系结构 |
2.2.2 MADFS中MobileAgent的分工 |
2.2.3 MADFS体系结构的优点 |
2.3 MADFS的Agent代码加载机制 |
2.4 MADFS的Cache管理机制 |
2.4.1 MADFS的分层汇聚Cache管理机制 |
2.4.2 分层汇聚管理机制的运行过程 |
2.5 MADFS的安全性 |
2.6 未来的工作 |
2.7 本章小结 |
第三章 一种适应WAN的新型分层Cache管理机制 |
3.1 引言 |
3.2 Lease(租约) |
3.2.1 租约的基本概念 |
3.2.2 租约期的确定 |
3.3 HCCM性能分析 |
3.3.1 HCCM分析模型 |
3.3.2 单层Cache管理机制分析模型 |
3.3.3 租约时间的选择 |
3.4 性能对比分析和实验 |
3.4.1 理论分析模型的验证 |
3.4.2 HCCM和单层模型的性能对比 |
3.5 本章小节 |
第四章 协作写缓存机制-CWM |
4.1 引言 |
4.2 消除同步写机制—CWM |
4.2.1 CWM同步写消除机制 |
4.2.2 CWM的数据安全 |
4.3 NAS(Network Attached Storage)简介 |
4.4 NAS的自组合机制—ACM |
4.4.1 NAS加入和离开机制 |
4.4.2 NAS的负荷折算 |
4.5 性能对比实验 |
4.6 本章小结 |
第五章 一种协作写NFS集群服务器—CWCNFS |
5.1 引言 |
5.2 CWCNFS系统结构 |
5.2.1 CWCNFS的总体设计 |
5.2.2 不同NFS请求的处理过程 |
5.3 CWCNFS的详细设计 |
5.3.1 NSN(NFS Server Node) |
5.3.2 ION(IONode) |
5.3.3 MDS(Meta-Data Server) |
5.3.4 CWCNFS的两级负载平衡 |
5.4 CWCNFS体系结构的优缺点 |
5.5 性能对比实验 |
5.6 本章小节 |
第六章 Active Block Layout:一种高性能磁盘布局机制 |
6.1 引言 |
6.2 磁盘调度概述 |
6.3 磁盘的潜在带宽 |
6.4 ABL磁盘散热机制 |
6.4.1 文件温度监控 |
6.4.2 文件的降温操作 |
6.4.3 文件的写同步 |
6.4.4 ABL的优点 |
6.5 性能分析实验 |
6.6 本章小结 |
第七章 STFS:一种小写优化的新型文件系统 |
7.1 引言 |
7.2 磁盘的基础特性 |
7.2.1 磁盘扇区读取速度 |
7.2.2 磁盘驱动器发展趋势 |
7.3 现代磁盘的寻道延迟特性 |
7.4 Unix文件系统分析 |
7.4.1 UNIX文件系统基本构成 |
7.4.2 Unix文件系统性能分析 |
7.4.3 FFS文件系统分析 |
7.5 STFS的设计 |
7.5.1 文件系统总体布局 |
7.5.2 磁道布局 |
7.5.3 空间分配策略 |
7.5.4 STFS运行 |
7.5.5 STFS的优点 |
7.6 性能对比实验 |
7.7 本章小结 |
第八章 全文总结 |
参考文献 |
致谢 |
缩略语列表 |
个人简历 |
作者攻博期间发表的论文和参加的科研工作 |
(10)机群文件系统性能与正确性研究(论文提纲范文)
独创性声明 |
关于论文使用授权的说明 |
摘 要 |
ABSTRACT |
第一章 引言 |
1.1 外存储系统面临的挑战 |
1.1.1 日益增长的数据量 |
1.1.2 数据安全面临的威胁 |
1.2 外存储系统技术进展 |
1.2.1 磁盘技术 |
1.2.2 磁盘阵列技术 |
1.2.3 外部设备接口技术 |
1.3 网络技术进展 |
1.3.1 Gigabit 以太网 |
1.3.2 VIA |
1.3.3 Infiniband |
1.4 网络存储技术 |
1.4.1 网络存储分类 |
1.4.2 NAS 网络连接存储系统 |
1.4.3 SAN 存储区域网 |
1.4.4 基于IP 的块设备存储 |
1.4.5 混合结构的网络文件系统 |
1.5 网络文件系统 |
1.5.1 网络文件系统分类 |
1.5.2 典型网络文件系统 |
1.5.3 几种新出现的网络文件系统结构 |
1.6 本文内容组织 |
第二章 文件系统节点间通信机制研究 |
2.1 系统设计与实现 |
2.1.1 COSMOS 系统 |
2.1.2 BCL-3 高速通信协议 |
2.1.3 基于BCL-3 的COSMOS 实现 |
2.2 性能模型 |
2.2.1 并发带宽利用率 |
2.2.2 网络磁盘分组方式 |
2.2.3 非网络磁盘分组方式 |
2.3 性能测试 |
2.3.1 实验平台及方法 |
2.3.2 性能分析 |
2.4 本章小结 |
第三章 文件系统元数据服务研究 |
3.1 分布文件系统结构 |
3.2 分布文件系统的元数据存取 |
3.2.1 元数据定义 |
3.2.2 优化元数据处理性能意义 |
3.3 元数据存取关键路径分析 |
3.3.1 VFS 层与Lookup 原理 |
3.3.2 VFS 层Lookup 策略缺陷 |
3.4 普通LOOKUP 操作优化策略 |
3.4.1 名字解析缓存 |
3.4.2 独立的元数据服务器 |
3.4.3 绕开VFS 层限制 |
3.4.4 通信网络性能优化 |
3.5 FPLS——基于目录子树的路径解析优化 |
3.5.1 基本策略 |
3.5.2 Lookup 缓存策略 |
3.6 元数据缓存服务器结构 |
3.6.1 FPLS 策略中的负载平衡 |
3.6.2 FPLS+ : 改进的FPLS 结构 |
3.7 性能模型 |
3.7.1 FPLS .vs. NFS |
3.7.2 FPLS+ .vs. FPLS |
3.8 仿真性能比较 |
3.9 本章小结 |
第四章 文件系统一致性语义研究 |
4.1 文件系统缓存 |
4.1.1 计算机存储层次结构 |
4.1.2 网络文件系统缓存 |
4.1.3 文件共享语义 |
4.1.4 文件缓存实现 |
4.1.5 文件写策略 |
4.1.6 文件缓存有效性验证 |
4.1.7 文件缓存粒度 |
4.2 严格UNIX 语义的FILELOCK-BASED 实现 |
4.2.1 基于消息传递的文件接口MPI-IO |
4.2.2 MPI-IO 的底层文件系统语义需求 |
4.2.3 基于显式文件锁接口的顺序一致语义实现 |
4.3 面向应用的一致性语义 |
4.3.1 局部系统中的网络文件系统一致性 |
4.3.2 广域系统中的网络文件系统一致性 |
4.3.3 一致性语义参数组 |
4.3.4 一致性协议的参量化表示 |
4.3.5 动态可调整一致性 |
4.3.6 相关研究 |
4.4 本章小结 |
第五章 DCFS 设计与实现 |
5.1 曙光超级服务器 |
5.1.1 曙光超级服务器体系结构 |
5.2 NCIC 的分布文件系统研究 |
5.2.1 D2K-COSMOS 分布文件系统 |
5.2.2 D3K-COSMOS 分布文件系统 |
5.3 DCFS 设计目标与总体结构 |
5.3.1 DCFS 设计目标 |
5.3.2 系统组成 |
5.3.3 使用方式 |
5.4 DCFS 功能模块 |
5.5 DCFS 协议层 |
5.5.1 DCFS 文件协议层 |
5.5.2 DCFS 配置管理协议层 |
5.5.3 DCFS 高可用协议层 |
5.5.4 DCFS 通信协议层 |
5.6 DCFS 性能测试数据 |
5.7 本章小结 |
第六章 结论 |
6.1 本文工作与结论 |
6.1.1 性能优化技术 |
6.1.2 正确性保证 |
6.2 进一步的工作 |
6.2.1 可定制的网络文件系统 |
6.2.2 基于策略的存储管理 |
参考文献 |
致 谢 |
作者简历 |
四、模拟UNIX文件系统的设计及实现(论文参考文献)
- [1]异构计算系统中的资源虚拟化技术研究[D]. 陈朱叠. 电子科技大学, 2021(01)
- [2]基于KVM的私有云应用平台的设计与实现[D]. 丁楠. 电子科技大学, 2021(01)
- [3]基于NFS的Docker数据持久化与跨主机共享[D]. 黄艺. 中北大学, 2021(09)
- [4]基于持久性内存的高性能用户态文件系统研究与实现[D]. 曾建强. 国防科技大学, 2017(02)
- [5]图示法在“模拟UNIX文件系统”大型实验中的应用[J]. 陆亿红,李波. 中国信息技术教育, 2016(08)
- [6]软件老化现象的恢复方案的研究以及在UNIX上的应用[D]. 王清. 南京理工大学, 2006(01)
- [7]证明和测试分布式系统的功能正确性 ——机群文件系统共享语义和网格使用模式研究[D]. 吕毅. 中国科学院研究生院(计算技术研究所), 2004(02)
- [8]模拟UNIX文件系统的设计及实现[J]. 吴志攀,杜华英. 惠州学院学报(自然科学版), 2003(06)
- [9]高性能网络存储技术研究[D]. 卢军. 电子科技大学, 2002(02)
- [10]机群文件系统性能与正确性研究[D]. 贺劲. 中国科学院研究生院(计算技术研究所), 2002(02)