Academic literature on the topic 'Sistemas de arquivos paralelo'

Nos últimos anos, a evolução dos processadores e redes para computadores de baixo custo foi muito maior se comparada com o aumento do desempenho dos discos de armazenamento de dados. Com isso, muitas aplicações estão encontrando dificuldades em atingir o pleno uso dos processadores, pois estes têm de esperar até que os dados cheguem para serem utilizados. Uma forma popular para resolver esse tipo de empecílio é a adoção de sistemas de arquivos paralelos, que utilizam a velocidade da rede local, além dos recursos de cada máquina, para suprir a deficiência de desempenho no uso isolado de cada disco. Neste estudo, analisamos alguns sistemas de arquivos paralelos e distribuídos, detalhando aqueles mais interessantes e importantes. Por fim, mostramos que o uso de um sistema de arquivos paralelo pode ser mais eficiente e vantajoso que o uso de um sistema de arquivos usual, para apenas um cliente.<br>In the last years, the evolution of the data processing power and network transmission for low cost computers was much bigger if compared to the increase of the speed of getting the data stored in disks. Therefore, many applications are finding difficulties in reaching the full use of the processors, because they have to wait until the data arrive before using. A popular way to solve this problem is to use a parallel file system, which uses the local network speed to avoid the performance bottleneck found in an isolated disk. In this study, we analyze some parallel and distributed file systems, detailing the most interesting and important ones. Finally, we show the use of a parallel file system can be more efficient than the use of a usual local file system, for just one client.

Orientador: Marco Aurelio Amaral Henriques<br>Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Eletrica e de Computação<br>Made available in DSpace on 2018-08-02T22:49:27Z (GMT). No. of bitstreams: 1 HidalgoCosta_JuanCarlos_M.pdf: 13769528 bytes, checksum: 1d199df760b41c0662ce500698f0b90d (MD5) Previous issue date: 2002<br>Resumo: Os computadores conectados pela Internet oferecem em conjunto um grande poder de cômputo, o qual deve continuar crescendo nos próximos anos. Eles podem ser vistos como um Computador Maciçamente Paralelo Virtual com memória distribuída que pode ser usado na resolução de problemas de grande porte. Existem várias propostas que visam tirar proveito da Internet como um computador virtual, utilizando Java como linguagem independente de plataforma. Entretanto, a maior parte destes projetos não trata, ou trata de forma superficial, a necessidade de se ter um sistema de arquivos que garanta a viabilidade e eficiência do processamento paralelo. Este trabalho propõe um sistema de arquivos distribuído baseado em grupos de servidores e voltado a plataformas para o processamento maciçamente paralelo na Internet. São propostos mecanismos para atender os requisitos fundamentais de sistemas deste tipo, eliminando as principais deficiências dos sistemas de arquivos convencionais. São apresentados e discutidos os resultados obtidos nos testes de uma implementação de referência do sistema de arquivos sobre JOIN, uma plataforma de processamento maciçamente paralelo virtual baseada na Internet. Esta implementação se mostrou confiável, robusta e aumentou a versatilidade da plataforma JOIN<br>Abstract: The total computing power offered by all computers connected to Internet is huge and increasing. Since the birth of the World Wide Web, new proposals have been made on how to take advantage of the enormous computing power represented by these computers. The proposals are based on the availability of WWW browsers to access resources distributed in the network and on the proliferation of Java as a platform independent language. The computers are grouped in a kind of massively parallel virtual computer, aimed at solving large problems. File systems are a necessary - and often forgotten - feature of these virtual machines. File systems for worldwide virtual machines should be efficient, highly available and fault tolerant. The virtual machines proposed so far either have no File System or provide very simple and inefficient solutions. This work proposes a distributed file system based on Groups of Servers, which was implemented and tested on top of JOIN, a platform for massively parallel processing on Internet. The test results showed that the file system is reliable, robust and makes the parallel platform more versatile<br>Mestrado<br>Mestre em Engenharia Elétrica

Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Ciência da Computação, Florianópolis, 2015.<br>Made available in DSpace on 2015-04-29T21:10:29Z (GMT). No. of bitstreams: 1 332968.pdf: 1630035 bytes, checksum: ab750b282530f4ce742e30736aa9d74d (MD5) Previous issue date: 2015<br>A quantidade de dados digitais gerados diariamente vem aumentando de forma significativa. Por consequência, as aplicações precisam manipular volumes de dados cada vez maiores, dos mais variados formatos e origens, em alta velocidade, sendo essa problemática denominada como Big Data. Uma vez que os dispositivos de armazenamento não acompanharam a evolução de desempenho observada em processadores e memórias principais, esses acabam se tornando os gargalos dessas aplicações. Sistemas de arquivos paralelos são soluções de software que vêm sendo amplamente adotados para mitigar as limitações de entrada e saída (E/S) encontradas nas plataformas computacionais atuais. Contudo, a utilização eficiente dessas soluções de armazenamento depende da compreensão do seu comportamento diante de diferentes condições de uso. Essa é uma tarefa particularmente desafiadora, em função do caráter multivariado do problema, ou seja, do fato de o desempenho geral do sistema depender do relacionamento e da influência de um grande conjunto de variáveis. Nesta dissertação se propõe um modelo analítico multivariado para representar o comportamento do desempenho do armazenamento em sistemas de arquivos paralelos para diferentes configurações e cargas de trabalho. Um extenso conjunto de experimentos, executados em quatro ambientes computacionais reais, foi realizado com o intuito de identificar um número significativo de variáveis relevantes, caracterizar a influência dessas variáveis no desempenho geral do sistema e construir e avaliar o modelo proposto.Como resultado do esforço de caracterização, o efeito de três fatores, não explorados em trabalhos anteriores, é apresentado. Os resultados da avaliação realizada, comparando o comportamento e valores estimados pelo modelo com o comportamento e valores medidos nos ambientes reais para diferentes cenários de uso, demonstraram que o modelo proposto obteve sucesso na representação do desempenho do sistema. Apesar de alguns desvios terem sido encontrados nos valores estimados pelo modelo, considerando o número significativamente maior de cenários de uso avaliados nessa pesquisa em comparação com propostas anteriores encontradas na literatura, a acurácia das predições foi considerada aceitável.<br><br>Abstract : The amount of digital data generated dialy has increased significantly.Consequently, applications need to handle increasing volumes of data, in a variety of formats and sources, with high velocity, namely Big Data problem. Since storage devices did not follow the performance evolution observed in processors and main memories, they become the bottleneck of these applications. Parallel file systems are software solutions that have been widely adopted to mitigate input and output (I/O) limitations found in current computing platforms. However, the efficient utilization of these storage solutions depends on the understanding of their behavior in different conditions of use. This is a particularly challenging task, because of the multivariate nature of the problem, namely the fact that the overall performance of the system depends on the relationship and the influence of a large set of variables. This dissertation proposes an analytical multivariate model to represent storage performance behavior in parallel file systems for different configurations and workloads. An extensive set of experiments, executed in four real computing environments, was conducted in order to identify a significant number of relevant variables, to determine the influence of these variables on overall system performance, and to build and evaluate the proposed model. As a result of the characterization effort, the effect of three factors, not explored in previous works, is presented. Results of the model evaluation, comparing the behavior and values estimated by the model with behavior and values measured in real environments for different usage scenarios, showed that the proposed model was successful in system performance representation. Although some deviations were found in the values estimated by the model, considering the significantly higher number of usage scenarios evaluated in this research work compared to previous proposals found in the literature, the accuracy of prediction was considered acceptable.

Made available in DSpace on 2016-06-02T19:05:14Z (GMT). No. of bitstreams: 1 DissCRFL.pdf: 648230 bytes, checksum: a343ed1fae316081651385f830f464fb (MD5) Previous issue date: 2003-05-30<br>Financiadora de Estudos e Projetos<br>This work presents an architecture for the development of a Video on Demand (Vod) Server using a Parallel Distributed File System. In the development of this work several aspects related to the project of VoD Servers are considered, including: optimized storing and retrieval of videos using appropriate striping unit and request sizes, and the monitoring of disk and network operation for the performance evaluation of the proposed system. The characteristics of the MPEG standard used for video compression are also studied and considered in the video transfers. We also discuss aspects related to the implementation of prefetching mechanisms in the VoD Server. The concept of cluster computing is also considered for efficient data distribution aiming at appropriate response time for satisfying the Quality of Service (QoS) require by the VoD users.<br>Este trabalho apresenta uma arquitetura para o desenvolvimento de um Servidor de Vídeo Sob Demanda (VoD) utilizando um Sistema de Arquivos Paralelos Distribuídos. No desenvolvimento deste trabalho vários tópicos relacionados à construção de servidores de VoD são considerados, entre eles: armazenamento e recuperação otimizados dos vídeos através da determinação de tamanhos apropriados para a unidade de distribuição e requisições de leitura e a coleta de informações dos discos e da rede para avaliação de desempenho do sistema proposto. As características do padrão utilizado para compressão dos vídeos, o MPEG, são estudadas e consideradas. Também são apresentadas discussões de como devem ser implementados mecanismos de prefetching em servidores de VoD. O conceito de paralelismo em aglomerados de computadores é explorado para que a distribuição eficiente dos dados forneça um tempo de resposta adequado e condizente com as exigências de QoS impostas pelos usuários da aplicação de VoD.

Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico. Programa de Pós-Graduação em Ciência da Computação.<br>Made available in DSpace on 2013-06-25T19:01:36Z (GMT). No. of bitstreams: 1 311578.pdf: 2043029 bytes, checksum: f4fa868d82195a370a6dff6db5b207fe (MD5)<br>Com a implantação da Rede Catarinense de Telemedicina tem-se verificado um aumento significativo no volume de imagens médicas, do padrão DICOM, geradas pelos dispositivos médicos interconectados nesta rede. Visando a manipulação dessas imagens médicas, foi desenvolvido em um projeto prévio, um servidor conhecido como CyclopsDCMServer, para a manipulação das imagens DICOM considerando a abordagem usando o Hierarchical Data Format (HDF5). Todavia, é esperado que a abordagem venha a encontrar gargalos devido ao crescimento no volume de dados e operações simultâneas que são submetidas ao servidor. Com o objetivo de dar continuidade ao esforço para prover uma melhor escalabilidade ao servidor CyclopsDCMServer, nesta dissertação apresenta-se uma pesquisa no sentido de potencializar a implementação de um paradigma paralelo no servidor para o armazenamento e recuperação das imagens DICOM. Desta forma, desenvolveu-se um módulo considerando bibliotecas E/S paralelas de alto desempenho. Este módulo efetua uma comunicação com o servidor que é responsável pela realização do acesso paralelo no formato de dados hierárquico. Visando a avaliação de desempenho da abordagem paralela, foram executados experimentos em diferentes sistemas de arquivos distribuídos. Os experimentos foram focados principalmente nas operações de armazenamento e recuperação das imagens médicas. Comparou-se o tempo médio de execução de cada operação em serial e paralelo. Foi coletado também o tempo de E/S em cada operação, para averiguar somente o desempenho do processo de escrita e leitura dos dados, descartando qualquer atraso que pudesse interferir nos resultados. Os resultados empíricos demonstraram que, independente do sistema de arquivos, a abordagem paralela ainda não apresenta uma eficiência considerável, quando comparada com a arquitetura serial. A média do declínio de desempenho pode ser considerada em torno de 45% na operação de recuperação e 71% na operação de armazenamento. Verificou-se também que o aumento do número de processos paralelos pode causar uma perda maior de desempenho nesta abordagem.<br>With the deployment of Catarinense Network of Telemedicine has verified a meaningful increase in volume of medical images, DICOM standard, generated by medical devices interconnected on this network. In order to manipulate this medical images was develop in one previous project, a server known as CyclopsDCMServer, to manipulate DICOM images considering the approach Hierarchical Data Format (HDF5). However, it is expected that this approach will find bottlenecks due the spread of data size and simultaneously operations submitted to the server. With focus to continue the effort to supply better scalability to the server CyclopsDCMServer, this dissertation presents a research in the sense to empowerment the implementation of a parallel paradigm in the server to storage and retrieve DICOM images. Thus, it was developed a module considering high performance parallel I/O libraries. This module performs a communication with the server that is responsible for the creation of parallel access in hierarchical data format Aiming at the performance evaluation of the parallel approach, experiments were performed in different distributed file systems. The experiments were mainly focused on the operations of storage and retrieval of medical images. It was compared the average execution time of each operation in serial and parallel. It was also collected the I/O time in each operation, only to ascertain the performance of the process of writing and reading data, discarding any delay that could meddle the results. The empirical results show that, regardless of file system, the parallel approach does not present a considerable eficiency when compared to the serial architecture. The average decline in performance can be seen at around 45 % in the recovery operation and 71 % in the storage operation. It was also observed that increasing the number of parallel processes can cause a larger loss of performance in this approach.

O constante aumento da velocidade de processamento, devido principalmente à utilização de um número cada vez maior de processadores, tem propiciado grandes avanços no projeto e na construção de sistemas computacionais paralelos. Entretanto o desempenho de muitas aplicações é afetado pela latência das operações de Entrada e Saída de dados. Para solucionar esse problema, sistemas de arquivos paralelos, que oferecem acesso paralelo aos dados armazenados em diversos discos, vêm sendo desenvolvidos. O desenvolvimento desses sistemas complexos pode ser beneficiado pela adoção de Técnicas de Descrição Formal (TDFs), durante as fases de projeto e especificação dos mesmos, as quais podem ser aliadas a técnicas de implementação durante as demais fases. Neste sentido, este projeto propõe uma abordagem baseada em frameworks e na TDF Extended State Transition Language (Estelle), para a especificação formal, validação, implementação e teste de sistemas dessa categoria. Um framework conceitual que descreve um sistema funcional é apresentado, e dois estudos de caso são desenvolvidos dando origem a dois sistemas de arquivos derivados do framework. Uma metodologia para a validação, que usa ferramentas de simulação, é apresentada. Um dos estudos de caso é implementado semi-automaticamente, a partir de sua especificação formal Estelle, e comparações de desempenho com o mesmo sistema implementado manualmente são realizadas.<br>The constant increase of processing speed, mainly due to the use of a large number of processors, has allowed an improvement in the design and building of parallel computation systems. However, the performance of several types of applications is affected by the latency originated from Input/Output operations on data. In order to solve this problem parallel file systems, which allow parallel access to the data stored on a set of discs, have been developed. The design of such complex systems can benefit from the adoption of implementation techniques allied with Formal Description Techniques (FDTs). Aimed to introduce the use of FDTs in the development cycle of distributed parallel file systems, this work proposes an approach, based on framework and the FDT Extended State Transition Language (Estelle), for the formal specification, validation, implementation and testing of systems belonging to this domain. A conceptual framework that describes a basic functional system is presented, and two case studies are developed from it. A methodology for Estelle specification validation that makes use of simulation tools is also proposed in this work. One of the systems, developed as a case study, is semi-automatically implemented from its Estelle formal specification, and performance comparisons with a hand-coded implementation of the same system are done.

Diversas aplicações executadas em ambientes de cluster necessitam de uma área de armazenamento permanente com alta capacidade e que forneça uma visão homogênea dos dados entre todos os nós. Esta área compartilhada é comumente implementada através de um sistema de arquivos distribuído, permitindo o acesso através da abstração mais comum para gerenciamento de dados. A disparidade entre poder de processamento e desempenho de dispositivos de armazenamento atuais, no entanto, torna tais sistemas um ponto crítico ao desempenho de aplicações paralelas que lidam com grandes volumes de dados. Ambientes de cluster podem apresentar execução concorrente de aplicações em conjuntos independentes de máquinas. Desta forma, uma grande quantidade de clientes com características distintas farão acessos ao sistema de arquivos compartilhado. Em tais casos, o dimensionamento do sistema de armazenamento distribuído nem sempre poderá prover o desempenho necessário à execução das aplicações com os recursos inicialmente a ele destinados. O presente trabalho propõe uma estratégia de reconfiguração dinâmica para o sistema de arquivos dNFSp. Esta estratégia leva em consideração o comportamento temporal presente em aplicações paralelas para inserir servidores de dados exclusivos a aplicações com alta demanda de I/O. Com a utilização de servidores exclusivos, torna-se possível isolar aplicações com comportamentos que causam grande perda de desempenho no sistema como um todo. Foi desenvolvida uma ferramenta de monitoramento do desempenho junto aos servidores do dNFSp, de forma a solicitar novos servidores apenas quando a interação das fases de I/O das aplicações em execução interferirem no desempenho do sistema. Esses novos servidores são solicitados para um sistema escalonador de recursos para cluster, de forma a utilizar nós livres para o armazenamento de dados. Os resultados mostram que a estratégia proposta é capaz de detectar a saturação do sistema de armazenamento e iniciar os servidores exclusivos, levando a um ganho de desempenho para as aplicações em execução. A reconfiguração dinâmica também mostrou-se capaz de evitar baixos desempenhos causados pela interação dos períodos de inatividade de aplicações temporais e pela utilização de diversos processos de I/O em um único nó.<br>Several applications executed in cluster environments need a shared storage area with high capacity and a homogeneous view of the stored data to all processing nodes. This area is commonly implemented as a distributed file system, allowing the access to data through the well-known file abstraction. The great gap in performance of processors and storage devices, on the other hand, makes such system a critical point to the performance of parallel applications. A common trait of large cluster environments is the concurrent execution of applications. In this scenario, many clients with distinct behaviors will compete to access the shared storage system. The number of I/O resources originally dedicated to this shared storage may provide unsatisfactory performance to the applications in this case. This work proposes a dynamic reconfiguration strategy for the dNFSp file system. This strategy takes into consideration the temporal behavior of distributed applications to launch dedicated I/O resources to the more I/O-demanding applications. The exclusiveness of data servers allows for the isolation of access patterns that cause contention on the system, resulting in improved performance for all executing applications. We developed a tool to monitor the performance of the storage servers in order to launch new servers only when the interaction of I/O phases from running applications cause each other’s performance to drop. These resources are required to a batch scheduler system present on the cluster, allowing the use of computing nodes for temporary data storage. The results show that the proposed metrics lead to the detection of performance saturation on the file system and the start of the dedicated resources, resulting in increased I/O performance. The reconfiguration has also been able to avoid some low performance situations caused by interactions of inactivity periods from temporal applications and by utilization of several I/O processes on the same cluster node.

Made available in DSpace on 2013-08-07T18:42:58Z (GMT). No. of bitstreams: 1 000424004-Texto+Completo-0.pdf: 1341745 bytes, checksum: 512c3632850f9466f0d8d4864c026768 (MD5) Previous issue date: 2010<br>The growing advance in computers processing power provides the means to design and run high performance applications. But depending on the application, there is also the need to efficiently store and access large amounts of data. Applications focused on science, engineering, data mining and simulation of natural events are some examples that require high I/O throughput. Linux clusters and distributed file systems are generally used in these scenarios. However, traditional distributed file systems, like NFS, are not suitable for data-intensive applications. The centralized architecture of such systems limits the performance and scalability of the application. Based on this, several parallel file systems were designed with the purpose of alleviating the bottleneck created in data access. Among these systems is Lustre, a parallel file system widely used by the high performance community. In this work, an evaluation of Lustre on a small scale Linux cluster is carried out. The evaluation aims to identify which factors affect the performance of the parallel file system, and how it behaves under typical parallel applications workloads. The results showed that Lustre is a file system suitable for all the evaluated application classes. However, to achieve good performance processes should try to maximize contiguous access to files. In that way, is possible to take advantage of the optimizations provided by Lustre, like the client cache and read-ahead mechanism.<br>O crescente avanço na capacidade de processamento dos computadores fornece meios para projetar e executar aplicações com demandas cada vez maiores. Contudo, dependendo da aplicação, há também a necessidade de acessar e armazenar grandes porções de dados de forma eficiente. Aplicações voltadas à ciência, engenharia, mineração de dados e simulações de eventos naturais são alguns exemplos de aplicações que requerem alta vazão de dados. Clusters Linux e sistemas de arquivos distribuídos, geralmente são utilizados nestes cenários. Entretanto, sistemas de arquivos distribuídos ditos tradicionais, como NFS, não são adequados para aplicações intensivas em dados. A arquitetura centralizada limita o desempenho e escala da aplicação. Com base nisso, vários sistemas de arquivos paralelos foram concebidos com o objetivo de amenizar o gargalo criado no acesso aos dados. Dentre esses sistemas, destaca-se o Lustre, sistema de arquivos paralelos amplamente utilizado pela comunidade de alto desempenho. Neste trabalho, realiza-se uma avaliação do Lustre sobre um cluster Linux de pequena escala. A avaliação tem por objetivo identificar quais fatores afetam o desempenho do sistema de arquivos, e como o mesmo se comporta sob cargas de trabalho típicas de aplicações paralelas. Os resultados obtidos mostraram que o Lustre é um sistema de arquivos adequado para todas as classes de aplicações avaliadas. Entretanto, para se obter bom desempenho é importante tornar os acessos, realizados pelos processos, contíguos dentro do arquivo. Dessa forma, é possível aproveitar os recursos fornecidos pelo Lustre, como cache cliente e read-ahead.

Made available in DSpace on 2016-06-02T19:05:31Z (GMT). No. of bitstreams: 1 DissED.pdf: 797835 bytes, checksum: 2cb1cf03ad0e87b75038c325d0b2f91c (MD5) Previous issue date: 2004-02-26<br>Universidade Federal de Sao Carlos<br>An integrated caching and prefetching mechanism for a parallel network file system has the potential to improve both the speed and performance of I/O operations. Different cache policies and algorithms can be used in the system. Different prefetching mechanisms can also be used in the system. The performance of the I/O operations can also be influenced by other techniques, such as the assynchronous write, cache consistency and cache space organization and distribution. This work presents the implementation of an integrated caching and prefetching architecture, intended to be used in distributed file systems. Also, this work elaborates an adaptive access pattern discovery algorithm to be used in prefetching mechanisms, denominated CPS, and two prefetching strategies, called prefetch-on-empty and limited aggressive. As the case studies, this work presents two multimedia servers a on-demand multimedia server, and a streaming media server. The influence of the proposed cache and prefetching mechanisms on tested applications is discussed. This work presents and discusses the functionality of integrated caching and prefetching mechanisms, benchmarking the implemented algorithms and overviewing the influence of chosen policies on the applications behavior.<br>Um mecanismo integrado de cache e prefetching para um sistema de arquivos paralelos em rede tem o potencial para aumentar a velocidade e o desempenho das operações de entrada e saída de dados. Vários tipos de cache, com políticas e algoritmos variados, podem ser empregados. Além disto, mecanismos distintos de prefetching de dados podem ser utilizados. Outras técnicas, como a escrita assíncrona, a manutenção da consistência do cache e a organização e distribuição do espaço no cache também podem influenciar no desempenho destas operações. Este trabalho apresenta a implementação de uma arquitetura integrada de mecanismos de cache e prefetching para sistemas de arquivos distribuídos. Além disto, este trabalho elabora um algoritmo adaptativo de determinação do padrão de acesso para ser utilizado em mecanismos de prefetching, CPS, e duas estratégias de prefetching, denominadas prefetch-on-empty e limited aggressive. Como estudos de caso, o trabalho apresenta dois servidores multimídia um servidor de arquivos multimídia on-demand, e um servidor de mídia contínua (streaming). A in- fluência dos mecanismos propostos nos aplicativos estudados é discutida. O trabalho apresenta e discute a funcionalidade dos mecanismos integrados de cache e prefetching, avaliando os algoritmos implementados e a influência da escolha das políticas adequadas no funcionamento de aplicações do usuário.