Dissertations / Theses on the topic 'Gestion des données réparties'

La cooperation de prolog avec des bases de donnees est une strategie possible pour construire une base de connaissances. Elle permet d'utiliser l'acquis dans les domaines de l'inference par prolog et de la gestion des donnees avec les sgbds. Dans l'approche presentee, le dialogue entre prolog et les sgbds est realise par un processeur de communication. Son role est triple: 1) vehiculer l'information d'une maniere bidirectionnelle entre les deux systemes; 2) traduire les besoins en information, issus de prolog et exprimes en algebre relationnelle etendue, en requetes dans les langages de manipulation de donnees des sgbds; 3) gerer la repartition des donnees par un jeu d'operateurs algebriques et resoudre des requetes recursives

Nous décrivons les choix qui ont été faits dans le prototype SABRE. Nous analysons par la suite l'implantation de vues concrètes qui correspondent à la matérialisation des vues relationnelles. Nous montrons que ces vues concrètes permettent de définir un nouveau type de SGBD réparti où la définition et le stockage des données sont faits en fonction des interrogations sur les sites distants, de manière à maximiser les interrogations locales. Nous décrivons et analysons les mécanismes nécessaires à l'implantation d'un tel type de SGBD réparti par vues concrètes, notamment du point de vue des mises à jour.

Les deux dernières décennies ont été marquées par l’apparition de nouveaux concepts architecturaux entraînant une évolution vers les systèmes distribués. C’est une conséquence de l’augmentation de la capacité de stockage des mémoires et de calcul et de l’arrivée de réseaux à haut débit, notamment locaux à 1Gb/s. La tendance dominante est le développement de nouveaux systèmes, dits d’abord: multi-ordinateur, Réseau de Stations de Travail et plus récemment, « Peer-to-Peer Computing » ou « Grid Computing ». Afin de tirer le meilleur profit des potentialités offertes, de nouvelles structures de données spécifiques aux données réparties sont nécessaires. Dans ce contexte, Les Structures de Données Distribuées et Scalables (SDDS) sont une nouvelle classe de structures introduites spécifiquement pour la gestion de fichiers sur un multi¬ ordinateur. Un fichier SDDS peut s'étendre dynamiquement, au fur et à mesure des insertions, d'un seul site de stockage à tout nombre de sites interconnectés disponibles en pratique. Les algorithmes d'adressages d'une SDDS sont conçus spécifiquement pour être scalables, notamment par absence d'un répertoire ou index central. La répartition de données est transparente pour l'application. Les données manipulées peuvent être entièrement en RAM distribuée afin d’être accessibles bien plus vite qu’à partir des disques. Plusieurs SDDS ont été proposées. Les plus connues sont celles basées sur le hachage, celui linéaire (LH*) notamment, et celles utilisant le partitionnement par intervalle (RP*). Un prototype appelé SDDS-2000a été construit vers l’année 2000 au CERIA pour expérimenter avec les SDDS sur les réseaux locaux des PC sous Windows. Dans ce système, on retrouve les fonctions de base de gestion de données telles que la création de fichiers, l’insertion d’enregistrements ou encore la possibilité de requêtes parallèles. En se basant sur SDDS-2000, notre Thèse a pour objectif la conception et l’implantation de nouvelles fonctions pour celui ci. Ces fonctions sont destinées à la sauvegarde de données sur le disque, un traitement plus efficace de mises à jour, le traitement de concurrence ainsi que celui de la recherche par le contenu (scans). Enfin, pour mieux répondre au contexte P2P, il nous fallait introduire une certaine protection de données stockées, au moins contre une découverte accidentelle de leurs valeurs. Ceci nous a conduit au problème intéressant de recherche de données par l’exploration directe de leur contenu encodé, sans décodage local. Nous avons basé l’ensemble de nos fonctions sur une technique nouvelle dite de signatures algébriques. Nous détaillons la théorie et notre pratique de signatures algébriques tout au long de cette Thèse. Ainsi, une sauvegarde sur disque n’écrit que les parties de la RAM modifiées depuis la dernière sauvegarde. Le contrôle de concurrence est optimiste, sans verrouillage, pour de meilleures performances d’accès. L’enregistrement mis à jour n’est envoyé au serveur que si la donnée est réellement modifiée. Puis, les données stockées sont suffisamment encodées pour rendre impossible toute découverte accidentelle de leurs valeurs réelles sur les serveurs. Nous les encodons à l’aide d’une variante de signatures algébriques, les signatures cumulatives. Notre encodage possède notamment des propriétés accélérant diverses recherches de chaînes de caractères, par rapport à celles explorant les mêmes données sans encodage. D’une manière un peu surprenante, certaines recherches se révèlent expérimentalement plus rapides que par des algorithmes fondamentaux bien connus, tels que celui de Karp-Rabin. Nous présentons des mesures de performance prouvant l’efficacité de notre approche. Notre système, appelé SDS-2005, a été dès lors annoncé sur DbWorld. Il est disponible sur le site du CERIA pour les téléchargements non commerciaux. Les détails de nos travaux ont fait l’objet de cinq publications dans des conférences internationales [LMS03, LMS05a, LMS05b, M06, LMRS06]. Notre prototype a également été montré à de nombreux visiteurs chercheurs. Il a fait l’objet d’une démonstration vidéo, diffusée notamment à Microsoft Research (Montain View, USA) et d’une présentation lors des journées académiques Microsoft. Dans notre mémoire, nous présentons d’abord l'état de l'art sur les SDDSs, en se basant sur celui de systèmes de fichiers distribués. Puis nous discutons l'architecture système de SDDS-2005. Celle-ci emploie notamment des structures de données spécifiques pour RAM, ainsi que des processus légers qui gèrent les traitements répartis à travers des files d'attente asynchrones. On présente ensuite le concept de signatures algébriques. Puis on détaille l’usage pour la sauvegarde d’un fichier SDDS et la mise à jour d’enregistrements. Nous discutons ensuite les signatures cumulatives. On décrit l’encodage de nos enregistrements. On présente les différents types de recherche par contenu non-clé (scans) dans notre système notamment la recherche par le préfixe et celle partielle d’une chaîne de caractère (ang pattern matching ou string search…) à travers plusieurs algorithmes alternatifs. Nous présentons un nouvel algorithme dit par n-Gramme semblant particulièrement simple d’usage et rapide On décrit aussi la recherche du plus grand préfixe et de la plus grande chaîne commune. Nous montrons que les signatures cumulatives sont particulièrement efficaces pour la recherche de longues chaînes telles que les images, les empreintes, les codes DNA…En réflexion sur les perspectives, on discute l’utilisation de ces signatures pour la compression différentielles lors des mises à jour distribuées des données ainsi que la protection contre la corruption silencieuse de données stockées. Puis nous discutons l’analyse expérimentale de notre système. Les mesures montrent la scalabilité de notre système ainsi que les temps d’exécution de nos différentes fonctions. On finit par des conclusions, perspectives et les références bibliographiques. Les annexes montrent nos principales publications (pour la convenance des membres anglophones de notre jury tout particulièrement). On y montre aussi la description de l’interface offerte aux applications par SDDS-2005, annoncée sur DbWorld
Recent years saw emergence of new architectures, involving multiple computers. New concepts were proposed. Among most popular are those of a multicomputer or of a Network of Worksattion and more recently, of Peer to Peer and Grid Computing. This thesis consists on the design, implementation and performance measurements of a prototype SDDS manager, called SDDS-2005. It manages key based ordered files in distributed RAM of Windows machines forming a grid or P2P network. Our scheme can backup the RAM on each storage node onto the local disk. Our goal is to write only the data that has changed since the last backup. We interest also to update records and non key search (scans). Their common denominator was some application of the properties of new signature scheme based that we call algebraic signatures, which are useful in this context. Ones needs then to find only the areas that changed in the bucket since the last buckup. Our signature based scheme for updating records at the SDDS client should prove its advantages in client-server based database systems in general. It holds the promise of interesting possibilities for transactional concurrency control, beyond the mere avoidance of lost updates. We also update only data have been changed because of the using the algebraic signatures. Also, partly pre-computed algebraic signature of a string encodes each symbol by its cumulative signatures. They protect the SDDS data against incidental viewing by an unauthorized server’s administrator. The method appears attractive, it does not amply any storage overhead. It is also completly transparent for servers and occurs in client. Next, our cheme provide fast string search (match) directly on encoded data at the SDDS servers. They appear an alternative to known Karp-Rabin type schemes. Scans can explore the storage nodes in parallel. They match the records by entire non-key content or by its substring, prefix, longest common prefix or longest common string. The search complexity is almost O (1) for prefix search. One may use them also to detect and localize the silent corruption. These features should be of interest to P2P and grid computing. Then, we propose novel string search algorithm called n-Gramme search. It also appears then among the fastest known, e. G, probably often the faster one we know. It cost only a small fraction of existing records match, especially for larger strings search. The experiments prove high efficiency of our implementation. Our buckup scheme is substantially more efficient with the algebraic signatures. The signature calculus is itself substantially faster, the gain being about 30 %. Also, experiments prove that our cumulative pre-computing notably accelerates the string searchs which are faster than the partial one, at the expense of higher encoding/decoding overhead. They are new alternatives to known Karp-Rabin type schemes, and likely to be usually faster. The speed of string matches opens interesting perspectives for the popular join, group-by, rollup, and cube database operations. Our work has been subject of five publications in international conferences [LMS03, LMS05a, LMS05b, ML06, l&al06]. For convenience, we have included the latest publications. Also, the package termed SDDS-2005 is available for non-commercial use at http://ceria. Dauphine. Fr/. It builds up on earlier versions of the prototype, a cumulative effort of several folks and n-Gramme algorithm implementation. We have also presented our proposed prototype, SDDS-2005, at the Microsoft Research Academic Days 2006

Cette these se situe dans le cadre de la gestion d'une base de donnees dupliquees et etudie les problemes qu'entrainent les pannes du reseau de communication. Dans un premier temps, nous exposons les concepts de base du controle de concurrence et de la repartition d'une base de donnees. Nous degageons ensuite un modele de gestion du reseau supportant la duplication des objets de la base, dont la nouveaute repose sur la notion de vue. Une vue est un groupe de sites cooperant pour l'execution d'une transaction initiee par l'un d'eux. Finalement nous proposons un algorithme original de construction des vues. Contrairement aux algorithmes existants reposant sur la connaissance a priori de la topologie du reseau, l'algorithme propose ici exploite une connaissance dynamique acquise par chacun des sites. Il permet a chaque site, de maniere independante, de determiner les sites qu'il doit inclure dans sa vue; ainsi un site peut appartenir a une ou plusieurs vues. La detection de partitionnement decoule d'une gestion souple et efficace des parties vivantes du reseau, chaque site connaissant l'identificateur de la partie ou il se trouve

Cette these a pour objet d'etudier les partitionnements du reseau de communication dans les bases de donnees reparties et dupliquees. Apres avoir propose un modele de base de donnees et des transactions y accedant, on definit la coherence d'une execution concurrente partitionnee grace au critere de 1-serialisabilite. Puis, un panorama expose certaines methodes publiees de gestion de la duplication. Le chapitre iv enonce un protocole de gestion des parties virtuelles permettant aux sites d'une meme partie d'avoir la meme vue. Enfin les deux derniers chapitres exhibent deux methodes originales de gestion de la duplication: la methode optimiste permet de resoudre les incoherences grace a un graphe de precedence etabli apres la fusion de la base. D'autre part, le modele d'objet fragmentaire ameliore notablement la disponibilite de la base en adaptant le comportement des objets fragmentaires a la configuration de communication

Le thème de recherche de cette thèse concerne la conception et l’implantation d’un système de gestion de bases de données distribuées et scalables (ang. Scalable Distributed Database System, SD-DBS) que nous avons appelé SD-SQL Server. SD-SQL Server implémente une nouvelle architecture de SGBD relationnel. Une base de SD-SQL Server, dite base scalable, grandit par la partition dynamique, scalable et distribuée de ses tables, dites scalables aussi. La partition et son évolution sont invisibles de l’usager/application. A l’heure actuelle, SD-SQL Server est le seul SGBD à offrir cette possibilité à notre connaissance. Les autres SGBDs connus, n’offrent au mieux que le partitionnement statique, nécessitant des réorganisations périodiques globales. Leur maniement est en général complexe et peu apprecié des usagers. Nos tables scalables sont organisées en segments d’une structure de données distribuée et scalable (SDDS). Chaque segment est placé sur un nœud lié de SQL Server. A l’heure actuelle, SQL Server supporte 250 nœuds liés, permettant à une table scalable de croître autant. L'expansion dynamique résulte des éclatements de segments débordant leur capacité de stockage. Chaque éclatement est déclenché par une insertion, à l’origine du débordement. Tout éclatement crée un ou plusieurs nouveaux segments. Les segments sont cachés des usagers/applications derrière les vues supportant les mises à jour, dites images. Les images sont des vues partitionnées et distribuées de SQL Server dynamiquement ajustées. Les usagers/applications de tables scalables n’interfacent que les images ou les vues des images
Our thesis elaborates on the design of a scalable distributed database system (SD-DBS). A novel feature of an SD-DBS is the concept of a scalable distributed relational table, a scalable table in short. Such a table accommodates dynamic splits of its segments at SD-DBS storage nodes. A split occurs when an insert makes a segment to overflow, like in, e. G. , B-tree file. Current DBMSs provide the static partitioning only, requiring a cumbersome global reorganization from time to time. The transparency of the distribution of a scalable table is in this light an important step beyond the current technology. Our thesis explores the design issues of an SD-DBS, by constructing a prototype termed SD-SQL Server. As its name indicates, it uses the services of SQL-Server. SD-SQL Server repartitions a table when an insert overflows existing segments. With the comfort of a single node SQL Server user, the SD-SQL Server user has larger tables or a faster response time through the dynamic parallelism. We present the architecture of our system, its implementation and the performance analysis

La société de l'information demande un accès efficace à un ensemble d'informations qui sont souvent hétérogènes et distribuées. Dans le but d'un partage efficace de cette information, plusieurs solutions techniques ont été proposées. L'infrastructure Pair-à-Pair (P2P) est un paradigme émergent et offrant de nouvelles opportunités pour la mise en place de systèmes distribués à grande échelle. D'autre part, le concept de base de données distribuée a été introduit dans le but d'organiser une collection multiple de bases de données logiquement liées et distribuées sur un réseau d'ordinateurs. Récemment, les systèmes P2P de gestion de données communément appelés PDMS (Peer Data Management System) ont vu le jour. Ils combinent les avantages des systèmes P2P avec ceux des bases de données distribuées. Dans le but de contribuer à la recherche sur la gestion de données dans un contexte P2P, nous proposons le PDMS SenPeer. SenPeer suit une topologie super-pair basée sur l'organisation des pairs en communautés sémantiques en fonction de leur thème d'intérêt. Pour faciliter l'échange de données entre pairs nous établissons des processus de découverte de correspondances sémantiques et de reformulation de requêtes en présence de plusieurs modèles de données. Ces correspondances sémantiques, en combinaison avec les schémas des pairs sont à la base d'une topologie sémantique au dessus du réseau physique et utilisée pour un routage efficace des requêtes. Les requêtes sont échangées à travers un format commun d'échange de requête et un processus d'optimisation distribué permet de choisir le meilleur plan d'exécution de la requête en fonction des caractéristiques du PDMS. Une validation expérimentale par la mise en place d'un simulateur permet d'affirmer l'utilité et la performance des techniques proposées.

Les choix de configuration d'un systeme reparti et cooperatif influencent directement le comportement du systeme, et a fortiori la qualite de ses performances. Par systeme reparti et cooperatif nous entendons un ensemble de services offerts aux developpeurs d'applications. Ces services sont localises sur differentes machines hotes (repartition), et peuvent interagir (cooperation). Observer les services afin d'agir sur leur repartition et leurs facultes cooperatives, contribue au bon fonctionnement de l'ensemble du systeme. Nous considerons un service comme une entite constituee d'interface(s), de porte(s) d'acces, et d'un comportement. Les interfaces fournissent les moyens d'acceder au service, les portes d'acces collectent les requetes des clients, et le comportement traduit les traitements specifiques realises par le service. Notre problematique est celle de la gestion dynamique de configuration ; elle concerne en particulier la migration de service et de l'ajustement (ou tuning) de portes d'acces. Migrer un service signifie modifier sa localisation dans l'environnement ; ajuster ses portes d'acces traduit le fait d'augmenter ou de reduire le nombre de ses portes. Le caractere dynamique des solutions proposees, apporte la transparence necessaire au maintien des liens de cooperation existant, et a la minimisation des risques de dysfonctionnement dans le systeme. Une troisieme dimension complete celles de migration et d'ajustement: la mesure d'activite. Son objectif est de recuperer periodiquement sur les services geres, des metriques de charge (en nombre de clients) et de temps de reponse, afin de doter le niveau decisionnel d'informations dont l'interpretation concourt a la prise de decisions d'operations de migration ou d'ajustement. Les mecanismes de gestion definis s'integrent au sein d'une entite federatrice appelee micro-manager ; cette integration favorise a la fois la mise en uvre des mecanismes, et leur utilisation par des applications de gestion

Depuis quelques decennies, la quantite d'information numerique produite ne cesse de croitre exponentiellement, ce qui souleve des difficultes de plus en plus critiques en terme de stockage, d'accessibilite et de disponibilite de cette information. Les architectures logicielles et materielles construites autour du modele pair-a-pair (p2p) semblent repondre globalement aux exigences liees au stockage de l'information mais montrent leurs limites en ce qui concerne les exigences d'accessibilite et de disponibilite de l'information. Nous presentons dans cette these differents apports concernant les architectures p2p pour la gestion de grands volumes d'information. Les strategies algorithmiques que nous proposons exploitent des topologies virtuelles dediees sur lesquelles, nous developpons des protocoles de maintenance et de gestion du reseau efficaces. En particulier, pour assurer le passage à€ grande echelle, nous proposons des solutions pour lesquelles les couts des operations de maintenance et de gestion des topologies virtuelles sont constants en moyenne pour chaque noeud du reseau, et ceci, quelle que soit la taille du reseau. Nous analysons les principaux paradigmes,de la repartition d'information sur un rà~seau p2p, en considerant successivement, le probleme de l'acces à€ de l'information typee (semi-structuree) et le cas general qui dissocie entierement la nature des requetes du placement de l'information. Nous proposons une methode d'aiguillage de requetes portant sur la structure et le contenu de documents semi-structures ainsi qu'une technique plus generale dans le cas le plus défavorable ou aucune connaissance n'est disponible a priori sur la nature des informations st
In the last few years, the amount of digital information produced has exponentially increased. This raises problems regarding the storage, the access and the availability of this data. Software and hardware architectures based on the peer-to-peer (p2p) paradigm seem to satisfy the needs of data storage but cannot handle efficiently both data accessibility and availability. We present ,in this thesis various contributions on p2p architectures for managing large volumes of information. We propose various strategies that operate on dedicated virtual topologies that can be maintained at low cost. More precisely, these topologies scale well because the cost for node arrival and node departure is on average constant, whatever the size of the network. We analyze the main paradigms of information sharing on a p2p network, considering successively the problem of access to typed information (semi-structured) and the general case that completely separates the nature of the queries and data location. We propose a routing strategy using structure and content of semi-structured information. We also propose strategies that efficiently explore the network when there is no assumption on the nature of data or queries. In order to manage a quality of service (which is expressed ln terms of speed and reliability), we, also investigate the problem of information availability, more precisely we replicate data stored ln the network. We propose a novel approach exploiting an estimation of local density of data

Dans le cadre de la gestion d'une base de donnees, nous etudions les problemes relatifs a la specification, aux performances des operations d'acces et au partage des donnees. Dans la premiere partie de l'etude nous introduisons les notions de base pour la specification de donnees et nous etudions les methodes classiques d'acces aux donnees; cette etude montre que les arbres balances (les b-arbres et leurs variations) sont une solution interessante pour la gestion de donnees stockees sur disque. Nous etudions ensuite la specification algebrique des arbres balances, afin de degager leurs caracteristiques intrinseques. Nous definissons les classes b(k, m) des b-arbres, dans lesquelles les parametres k et m permettent de controler de facon simple le rapport espace-temps de leur complexite. Cette proposition generalise, a l'aide du parametre k, les variations les plus classiques de ces arbres, telles que les arbres b*. Dans la seconde partie de l'etude, nous exposons les concepts de base du controle de concurrence. Nous etudions par la suite le modele d'execution concurrente sur les arbres de recherche de shasha et goodman, puis les methodes de controle de concurrence pour ces arbres. Finalement, nous degageons les principes d'une methode originale dans laquelle le controle s'exerce au meilleur moment de l'execution des operations

La coopération entre les systèmes d’information médicaux constitue l’un des principaux challenges de la Télémédecine et de son principal corollaire : l’amélioration de la qualité des soins. Cependant, aucune solution d'ordre général n'a encore été proposée pour faciliter l’interopérabilité entre des systèmes de gestion de données hétérogène, et ce malgré l'intérêt que suscite ce problème. Après avoir présenté une synthèse des architectures et. Standards existants, nous proposons dans ce mémoire une solution générale qui consiste en la définition de protocoles de communications entre les systèmes coopérants et en la conception de modules générique et réutilisables assurant la gestion de la communication, l’extraction et la mise çà jour automatique des bases de données cibles. Ces modules applicatifs s’appuient sur un dictionnaire de données modélisant la structure des messages de donnée véhiculés par les protocoles de communication, la structure des bases de données cibles, et les interrelations entre les deux. Des procédures de rétro conception et de génération automatique de commandes SQL ont été implémentées afin de répondre aux contraintes d'évolutivité des schémas des bases de données. Nous décrivons à titre d’exemple l'architecture applicative implémentée dans le cadre du projet OEDIPE pour interfacer des protocoles d’échange de données et de signaux en Cardiologie avec des bases de données électrocardiographiques de référence. Enfin, nous traitons de la modélisation et de l’intégration de systèmes de gestion de dossiers médicaux répartis par le biais de protocoles de communications préétablis. Nous présentons d'abord une approche multidimensionnelle de la structuration des informations contenues dans les dossiers médicaux et en proposons un modèle d'information générique. Puis nous explicitons l'architecture d'un système développé pour l’échange de données hétérogènes multi sources à des fins de Télé expertise dans le domaine de la Réhabilitation (projet BRITER). Nous démontrons ainsi que l'utilisation de protocoles de communication standard permet la réutilisation d'applications portables et interopérables, d’un grand intérêt pour les professionnels de santé
Interchange and Integration of medical data is a fundamental task in modern medicine. However, a significant obstacle to the development of efficient interoperable information systems is the lack of software tools that provide transparent access to heterogeneous distributed databases. Currently most of the solutions are stand-alone ones fitting only one configuration. To solve this problems of integration and interoperability, we propose in this thesis an original approach which is based on the definition of communication protocols and the design of generic interface between the specific implementations of the protocols and the target databases associated to the Hospital Information Systems. The proposed solution is based on the development of a data dictionary modelling the communications protocols and the databases structures and generic module for the data storage and extraction. The design involves issues related to reverse engineering procedures and to automatic generation of SQL statements. To illustrate this approach, we present the demonstration prototype we have developed in the framework of the OEDIPE AIM project to experiment and to test open interchange of ECGs and associated clinical data. The second part is devoted to the modelling and integration of distributed electronic patient records using communications protocols. We first present a multidimensional approach for the structuring of patient records and propose a generic object oriented information model which integrates bio signals, images and accompanying clinical information. We then, describe a prototype system which has been developed in the framework of the BRITER AIM project for accessing and handling heterogeneous patient data stored in distributed electronic patient records in order to support Rehabilitation healthcare professional in making decisions. We thus demonstrate that the use of standard communications protocols allows and facilitate the development of portable and interoperable medical applications for the benefit of the health care field

Du fait qu'il constitue un passage obligé du flux d'information, un serveur de données joue un rôle central dans l'architecture d'un système d'information (SI). Il doit en conséquence implanter des mécanismes de gestion de ressources efficaces et des politiques de gestion adaptées aux caractéristiques comportementales du SI.
Il n'est malheureusement pas possible d'offrir un serveur de données universel capable de répondre aux exigences de tous les SI. Ceux-ci diffèrent en effet significativement par le type des informations qu'ils traitent, la nature des traitements effectués, les propriétés de traitement qu'ils garantissent, les caractéristiques du matériel sous-jacent, etc. De ce fait, chaque système d'information intègre son ou ses propres serveurs de données implantant des politiques de gestion figées.
Les inconvénients d'une telle approche sont loin d'être négligeables. Tout d'abord, la ré-implantation de mécanismes élémentaires de gestion de ressources augmente le coût de conception. Ensuite, la rigidité comportementale réduit considérablement la réactivité à l'évolution tant en qualité qu'en quantité des informations, traitements et ressources matérielles. Enfin, l'opacité des tels systèmes rend difficile leur coexistence sur une même plate-forme.
Cette thèse montre qu'il n'existe pas de politique de gestion de la mémoire idéale. Plutôt que d'essayer d'offrir un serveur idéal, elle tente de définir une infrastructure permettant de concevoir des serveurs de données adaptés et évolutifs. Elle adresse plus particulièrement le problème de la gestion de la mémoire physique et se place dans le contexte des grappes de machines. Elle propose le support mémoire adaptable ADAMS basé sur un modèle de gestion hiérarchique et un modèle de communication par événements. Ce support facilite l'intégration de différents types de politiques tout en séparant bien leurs rôles respectifs sans faire d'hypothèse sur leur inter-dépendances.
Une intégration d'ADAMS à la mémoire virtuelle répartie permanente et adaptable du système Arias est ensuite exposée. ADAMS étend les caractéristiques de ce système afin de prendre en compte les besoins particulier de gestion des serveurs de données tout en réduisant le grain d'adaptabilité. Nous illustrons à travers un exemple comment le support résultant permet d'implanter un serveur de données dont les politiques de gestion peuvent être adaptées dynamiquement.

Les environnements virtuels distribués (EVDs) sont destinés à fournir à leurs utilisateurs une expérience immersive au sein d'un environnement virtuel partagé. Pour cette raison, les EVDs essaient d'apporter aux différents participants des vues cohérentes du monde partagé. Ceci nécessite un échange intense de messages en particulier pour les EVDs fortement peuplés. Cet important échange de messages consomme beaucoup de ressources de calcul et réseau, ce qui ralentit le système et limite l'interactivité. Ainsi, la cohérence, l'interactivité et le passage à l'échelle sont trois besoins primordiales pour les EVDs. Par contre, ces besoins sont contradictoires : le besoin de cohérence requiert un échange plus important de messages alors que ceux d'interactivité et de passage à l'échelle demandent de diminuer au minimum ces échanges. Pour gérer l'échange de messages d'une manière intelligente, les systèmes d'EVDs utilisent des méthodes de filtrage différentes. Parmi ces méthodes, les méthodes de gestion d'intérêt filtrent les messages en se basant sur les intérêts des utilisateurs dans le monde. Dans ce document, nous présentons notre méthode de gestion d'intérêt, la gestion d'effet. Cette méthode exprime les intérêts et les manifestations des participants dans les différents média à travers les zones de conscience et d'effet. Lorsque la zone de conscience d'un participant chevauche la zone d'effet d'un autre dans un média, le premier devient conscient du second dans ce média. De plus, pour un passage à l'échelle continu, la gestion d'effet a été développée au sein d'une architecture client/multi-serveurs qui gère les intérêts des participants à travers les serveurs. .
Distributed virtual environments (DVEs) are intended to provide an immersive experience to their users within a shared virtual environment. For this purpose, DVEs try to supply participants with coherent views of the shared world. This requires a heavy message exchange between participants especially with the increasing popularity of massively multiplayer DVEs. This heavy message exchange consumes a lot of processing power and bandwidth, slowing down the system and limiting interactivity. Indeed, coherence, interactivity and scalability are basic requirements of DVEs. However, these requirements are conflicting because coherence requires the more important exchange of messages that we can have while interactivity and scalability demand to decrease this exchange to minimum. For this reason, the management of message exchange is essential for distributed virtual environments. To manage message exchange in an intelligent way, DVE systems use various filtering techniques. Among them, interest management techniques filter messages according to users' interests in the world. In this document, we present our interest management technique, the effect management. This technique expresses the interests and manifestations of participants in various media through conscience and effect zones. When the conscience zone of a participant collides the effect zone of another participant in a given medium, the first one becomes conscious of the second. ). .

La vision que nous défendons est celle de grilles biomédicales partenaires des systèmes médicaux (hôpitaux), à la fois fournisseuses de puissance de calcul et plates-formes de partage d'informations. Nous proposons une architecture logicielle de partage d'images médicales réparties à grande échelle. S'appuyant sur l'existence a priori d'une infrastructure de grille, nous proposons une architecture multi-couche d'entités logicielles communicantes (DSE : Distributed Systems Engines). Fondée sur une modélisation hiérarchique sémantique, cette architecture permet de concevoir et de déployer des applications réparties performantes, fortement extensibles et ouvertes, capables d'assurer l'interface entre grille, systèmes de stockage de données et plates-formes logicielles locales (propres aux entités de santé) et dispositifs d'acquisition d'images, tout en garantissant à chaque entité une maîtrise complète de ses données dont elle reste propriétaire
Our vision, in this thesis, is the one of a bio-medical grip as a partner of hospital's information systems, sharing computing resources as well as a platform for sharing information. Therefore, we aim at (i) providing transparent access to huge distributed medical data sets, (ii) querying these data by their content, and (iii), sharing computing resources within the grip. Assuming the existence of a grip infrastructure, we suggest a multi-layered architecture (Distributed Systems Engines – DSE). This architecture allows us to design High Performance Distributed Systems which are highly extensible, scalable and open. It ensures the connection between the grip, data storing systems, and medical platforms. The conceptual design of the architecture assumes a horizontal definition for each one of the layers, and is based on a multi-process structure. This structure enables the exchange of messages between processes by using the Message Passing Paradigm. These processes and messages allow one to define entities of a higher level of semantic significance, which we call Drivers and, which instead of single messages, deal with different kinds of transactions: queries, tasks and requests. Thus, we define different kinds of drivers for dealing with each kind of transaction, and in a higher level, we define services as an aggregation of drivers. The architectural framework of drivers and services eases the design of components of a Distributed System (DS), which we call engines, and also eases the extensibility and scalability of DS

Les applications scientifiques d'aujourd'hui, telles les simulations de grands phénomènes naturels, requièrent une grande puissance de calcul ainsi qu'une importante capacité de stockage. Les grilles de calcul apparaissent comme une solution permettant d'atteindre cette puissance par la mise en commun de ressources de différentes organisations. Ces architectures présentent en revanche des caractéristiques rendant leur programmation complexe: elles sont dynamiques, hétérogènes, réparties à grande échelle. Cette thèse s'intéresse aux problématiques liées à la conception d'un service de partage de données pour les grilles de calcul. L'objectif est de permettre un accès transparent aux données, en automatisant la localisation, le transfert, la gestion de la persistance et de la cohérence des données partagées. Nous nous sommes plus particulièrement concentrés sur la gestion de la cohérence et de la persistance des données en environnement dynamique. Dans un tel contexte, assurer la persistance nécessite la mise en place de mécanismes de tolérance aux fautes. Nous proposons une approche pour gérer conjointement ces deux aspects via une architecture logicielle multiprotocole permettant de coupler différents protocoles de cohérence avec différents mécanismes de tolérance aux fautes. Nous proposons une conception hiérarchique de cette architecture, adaptée à la topologie réseau des grilles de calcul. Ces contributions ont été mises en oeuvre au sein du service de partage de données pour grilles JUXMEM. Les expérimentations menées sur la grille expérimentale Grid'5000 montrent que notre conception hiérarchique permet d'améliorer les performances des accès aux données partagées.

Les travaux présentés dans cette thèse visent à concevoir une architecture performante et efficace pour la gestion de la cohérence des données dans les mémoires caches des systèmes sur puce multiprocesseurs (MPSoC). Dans cette thèse nous nous intéressons tout particulièrement aux architectures à mémoire partagée et aux applications de traitement de signal intensif. Plusieurs solutions ont été proposées dans le passé pour résoudre ce problème. Néanmoins, la majorité de ces solutions existantes ont été pensé pour les systèmes multiprocesseurs haute-performances. Dans ce type de systèmes les contraintes liées aux ressources matérielles et à la consommation d’énergie sont rarement prises en compte. A l’opposé, dans les systèmes embarqués qui nous intéressent ici, ces contraintes jouent un rôle de premier plan. De plus, les solutions existantes ne prennent pas en compte les modèles d’accès aux données partagées réalisés par les processeurs. Nous proposons dans cette thèse un nouveau protocole de gestion de la cohérence de cache basé sur deux protocoles simples, nommément les protocoles par invalidation et par mise à jour. De plus le protocole proposé s’adapte automatiquement aux modèles d’accès aux données. Une architecture matérielle qui facilite son implémentation et qui optimise ses performances est également proposée. Les résultats expérimentaux montrent que le protocole proposé
The work presented in this thesis aims to provide an efficient hardware solution for managing cache coherency of shared data in shared memory multiprocessor systems-on-chip (MPSoC) dedicated for intensive signal processing applications. Several solutions are proposed in the literature to solve this problem. However, most of these solutions are efficient only for high-performance multiprocessor systems. These systems take rarely into account hardware resources and energy consumption limitations. In MPSoCs architectures these constraints are very important. In addition, these solutions do not take into account access patterns from the different processors to shared data. In this thesis, we propose a new approach for treating cache coherency problem. It consists on a new hybrid (invalidation/update) adaptive cache coherence protocol. A hardware architecture that facilitates its implementation and optimizes its performance is also proposed. The experimental results show that the proposed protocol in conjunction with this architecture provides an interesting level of performances and energy consumption

Le travail coopératif est un domaine qui étudie le travail de groupes d'utilisateurs de façon générale. Sa finalité est la conception de collecticiels, ensembles logiciels qui contiennent les outils, les applications, et les plate-formes qui supportent les activités de groupes d'utilisateurs. La gestion de ces groupes et les échanges d'information entre leurs membres nécessitent la définition de nouveaux services de communication adaptés aux besoins des agents en coopération. Les travaux menés dans ce mémoire ont consisté à définir, à concevoir et à gérer la structuration des groupes coopératifs. Un modèle à base de graphes a été proposé à partir du partage de données, pour représenter les relations entre les divers membres d'un groupe coopératif. A partir de ce modèle, un service pour l'entrée et la sortie en coopération des agents coopérants a été défini. Un protocole de communication sous-jacent a été spécifié en utilisant le langage de description formelle Estelle. Le protocole proposé a été vérifié en utilisant l'environnement à base de réseaux de Petri VAL, puis a été implanté en langage C sous UNIX à partir du code Estelle généré. Une extension de ce travail permet la formation d'apartés qui sont des sous-groupes très dynamiques créés à l'intérieur de la coopération. Un autre protocole spécifié en Estelle a été proposé pour gérer la formation de ces apartés et leur évolution au sein de la coopération. En plus de la structuration des groupes, une étude des données qui peuvent être échangées entre des agents coopérants a mené à la définition d'un service de gestion des dépendances de données. Ce service, spécifié également en Estelle, permet de créer, supprimer ou modifier des dépendances entre données, et répercute les modifications de valeurs vers l'ensemble des données dépendantes.

L'intégration de données a gagné la nouvelle importance depuis le succès du WWW. Le but de l'intégration de données est de fournir une interface uniforme à une multitude des données hétérogènes. Ce travail est consacré à la conception et à la réalisation d'outils pour faciliter le développement du web. Le système réparti de gestion de données (DIMS) est un système XML-basé d'intégration de données. Il utilise quelques des outils d'efficacités adapte les sources dans des données standard de XML et produit de différents adaptateur. Notre solution repose sur l'architecture médiateur-adaptateurs. Dans ces architectures, le médiateur accepte une requête de l'utilisateur, la traite en accédant aux sources via les adaptateurs concernés et renvoie la réponse à l'utilisateur. Notre système emploie UML pour concevoir notre logiciel et fournit un prototype peut employer la plateforme de l'indépendance sur la langue de Java. Le prototype de DIMS et une étude de cas sont employés pour valider
Data integration has gained new importance since the widespread success of the WWW. The goal of data integration is to provide an uniform interface to a multitude of distributed, autonomics and heterogeneous information sources available online. We design novel techniques and tools to simplify the exploitation of heterogeneous web data sources. Distributed Information Management System (DIMS) is an XML-based data integration system for accessing these web sources. It utilizes some efficiencies tools to wrapper heterogeneous web sources into standard XML data and generates different wrappers. Our approach is based on mediator - wrapper architectures. In these architectures, mediators accept queries from users, and then process them with respect to wrappers and return answers. Our system uses UML to design our software, and provide a prototype can be using independence platform implementing on Java language. The prototype of DIMS and a case study are used to validate our approach

Ce manuscrit décrit les travaux de recherche que nous avons mené pendant les six dernières années sur le thème du partage transparent des données réparties à grande échelle. L'infrastructure visée a été celle des grilles de calcul. Notre objectif a été de répondre à la question: comment serait-il possible de construire un système fournissant un modèle transparent d'accès aux données, tout en tenant compte des contraintes spécifiques aux infrastructures physiques utilisées (architecture hiérarchique, distribution à grande échelle, volatilité, tolérance aux défaillances, etc.)? En réponse à ce défi, nous avons proposé le concept de service de partage de données pour grilles, pour lequel nous avons défini une spécification, une architecture et une mise en oeuvre. Ce travail se situe à la frontière de plusieurs domaines: systèmes à mémoire virtuellement partagée, systèmes pair-à-pair, systèmes tolérants aux fautes. En nous appuyant sur des résultats déjà existants qui proposaient des solutions partielles à notre problème, notre approche a consisté à étendre, adapter et coupler ces solutions partielles et à rajouter les "briques" manquantes, afin de construire une solution globale, plus complexe, mais qui satisfasse l'ensemble des propriétés recherchées. Un résultat issu de cette approche est la notion de groupe hiérarchique auto-organisant, qui combine des protocoles de cohérence issus des systèmes à mémoire virtuellement partagée avec des protocoles de gestion de groupe tolérants aux fautes. Sur cette notion repose notre approche pour la définition de protocoles de cohérence tolérants aux fautes, adaptés aux grilles. Nous avons attaché une importance particulière à la validation expérimentale} de notre proposition par une mise en oeuvre et par une évaluation sur des plates-formes réelles à travers des prototypes expérimentaux. Ceci nous a permis de réaliser des expériences multisites en grandeur nature sur la plate-forme Grid'5000, avec l'objectif d'évaluer les bénéfices apportés par notre service de partage de données aux environnements de calcul réparti sur grille. A cet effet, nous avons évalué la capacité de JuxMem à s'intégrer avec plusieurs modèles de programmation pour grille d'une part (GridRPC, modèles à base de composants) et avec d'autres technologies de stockage d'autre part (Gfarm, ASSIST). Cette intégration a été réalisée en collaboration avec des équipes françaises, telles que les équipes-projets REGAL et GRAAL de l'INRIA, mais aussi avec des équipes étrangères des universités de Pise et de Calabre en Italie, d'Illinois/Urbana-Champaign aux Etats-Unis et de Tsukuba au Japon. Enfin, nous avons travaillé en étroite concertation avec l'équipe JXTA de Sun Microsystems (Santa Clara, Etats-Unis), qui a soutenu nos efforts à travers un contrat de collaboration industrielle.

La progression des applications coopératives est confrontée, de façon inhérente, à la latence des moyens de communication. Lorsque celle-ci devient importante, les modèles de cohérence traditionnels entraînent un manque de réactivité rédhibitoire. Nous attaquons ce problème, en réduisant une application coopérative à une collection de réplicats coopérants, puis en se focalisant sur la gestion de cohérence d'un tel groupe de réplicats.

Ce problème est important par deux aspects : par son application dans tous les domaines impliquant la coopération d'individus et par son caractère fondamental dans la structuration et la compréhension des mécanismes de coopération.

Notre étude critique, des critères de cohérence associés aux cohérences dites «faibles», embrasse quatre domaines : les systèmes transactionnels, les mémoires partagées réparties, les objets concurrents et les plate-formes de communication. Notre thèse contribue sur trois points :

Notre modèle d'exécution est libre de tout a priori concernant la causalité des opérations. Ce modèle est basé sur des histoires répliquées.
Notre modèle de partage, la réplication coopérante, dérivée de la réplication active, n'impose pas un ordre commun unique sur l'exécution des opérations. Les réplicats sont autonomes et ne coopèrent que lorsque leur vue de l'histoire globale ne suffit plus à garantir la correction de l'application.
Nos principes systèmes permettent de construire un nouveau type de composant, le gestionnaire de cohérence . Ce composant :
prend en charge la coopération des réplicats. Il implante la partie complexe de la gestion de cohérence : le contrôle de la distribution, de la réplication et de la concurrence ;
maintient, sur l'ordre réparti des opérations, des propriétés déterministes. Ces propriétés définissent un contrat de cohérence ; elles peuvent être utilisées comme critère de correction ;
est choisi à l'exécution par l'application ;
est réutilisable.
Nous avons réalisé Core, une plate-forme de développement complète, partiellement documentée et accessible sur FTP, développée au-dessus d'Unix. Core offre, outre les services usuels nécessaires à la mise en oeuvre de groupes de processus répartis, une bibliothèque extensible de gestionnaires de cohérence. Core offre aussi de nombreuses classes, utilisées tant pour la réalisation de nouveaux gestionnaires que pour l'expression de nouveaux types et modèles d'exécution, par les concepteurs d'applications. Nous avons réalisé, avec Core, deux applications : une application d'édition coopérative basée sur Emacs et une simulation de ressource partagée.

Definition de regles generales qui etendent la regle de thomas par la prise en compte des operations de lectures concurrentes. Ces regles permettent d'eviter le rejet de transactions dont les operations d'ecriture s'opposent a l'ordre de serialisation. L'application systematique de ces regles dans les principales methodes de controle de coherence (estampillage, verrouillage deux phases, certification) est etudiee et les avantages qui en decoulent sont mis en evidence

Notre projet porte sur la notion nouvelle de " réseau virtuel ". Cette notion peut être comparée à la notion de " réseau classique " ou de " réseau traditionnel ". Elle est utile surtout pour les gros réseaux et elle constitue l'une des meilleures solutions pour envisager le remplacement des réseaux classiques. D'un point de vue économique, le réseau classique oblige souvent à un important investissement. Plus la taille du réseau est grande, plus il nécessite de grosses dépenses liées au nombre des ordinateurs, des stations de travail, des serveurs et des personnes qui administrent et surveillent son fonctionnement. Le " réseau virtuel " fonctionne en utilisant le réseau déjà existant de l'Internet. A la place de nombreux serveurs et logiciels, le " réseau virtuel " se construit avec un serveur d'applications unique et plusieurs serveurs de bases de données qui ensemble effectuent les tâches que le réseau classique prend en charge. Le premier des avantages du " réseau virtuel " est qu'il est beaucoup moins coûteux que le réseau classique. Il utilise l'environnement d'Internet comme moyen de liaison entre les ordinateurs. Aucun autre matériel n'est exigé. Le second avantage est qu'il est plus facile de préserver la compatibilité et la cohérence des données. Le " réseau virtuel " utilise les mêmes applications pour toutes les machines connectées et les données. Le but de notre projet est de concevoir pour le " réseau virtuel ", la structure la plus efficace liant ses serveurs, de développer des applications souples, capables de traiter des bases de données de toutes tailles, et de mettre au point une stratégie de séparation des serveurs de bases de données permettant d'atteindre la capacité de stockage souhaitée
Notre projet porte sur la notion nouvelle de " réseau virtuel ". Cette notion peut être comparée à la notion de " réseau classique " ou de " réseau traditionnel ". Elle est utile surtout pour les gros réseaux et elle constitue l'une des meilleures solutions pour envisager le remplacement des réseaux classiques. D'un point de vue économique, le réseau classique oblige souvent à un important investissement. Plus la taille du réseau est grande, plus il nécessite de grosses dépenses liées au nombre des ordinateurs, des stations de travail, des serveurs et des personnes qui administrent et surveillent son fonctionnement. Le " réseau virtuel " fonctionne en utilisant le réseau déjà existant de l'Internet. A la place de nombreux serveurs et logiciels, le " réseau virtuel " se construit avec un serveur d'applications unique et plusieurs serveurs de bases de données qui ensemble effectuent les tâches que le réseau classique prend en charge. Le premier des avantages du " réseau virtuel " est qu'il est beaucoup moins coûteux que le réseau classique. Il utilise l'environnement d'Internet comme moyen de liaison entre les ordinateurs. Aucun autre matériel n'est exigé. Le second avantage est qu'il est plus facile de préserver la compatibilité et la cohérence des données. Le " réseau virtuel " utilise les mêmes applications pour toutes les machines connectées et les données. Le but de notre projet est de concevoir pour le " réseau virtuel ", la structure la plus efficace liant ses serveurs, de développer des applications souples, capables de traiter des bases de données de toutes tailles, et de mettre au point une stratégie de séparation des serveurs de bases de données permettant d'atteindre la capacité de stockage souhaitée

Les masses de données scientifiques générées par les moyens d'observation modernes, dont l’observation spatiale, soulèvent des problèmes de performances récurrents, et ce malgré les avancées des systèmes distribués de gestion de données. Ceci est souvent lié à la complexité des systèmes et des paramètres qui impactent les performances et la difficulté d’adapter les méthodes d’accès au flot de données et de traitement.Cette thèse propose de nouvelles techniques d'optimisations logiques et physiques pour optimiser les plans d'exécution des requêtes astronomiques en utilisant des règles d'optimisation. Ces méthodes sont intégrées dans ASTROIDE, un système distribué pour le traitement de données astronomiques à grande échelle.ASTROIDE allie la scalabilité et l’efficacité en combinant les avantages du traitement distribué en utilisant Spark avec la pertinence d’un optimiseur de requêtes astronomiques.Il permet l'accès aux données à l'aide du langage de requêtes ADQL, couramment utilisé.Il implémente des algorithmes de requêtes astronomiques (cone search, kNN search, cross-match, et kNN join) en exploitant l'organisation physique des données proposée.En effet, ASTROIDE propose une méthode de partitionnement des données permettant un traitement efficace de ces requêtes grâce à l'équilibrage de la répartition des données et à l'élimination des partitions non pertinentes. Ce partitionnement utilise une technique d’indexation adaptée aux données astronomiques, afin de réduire le temps de traitement des requêtes
The big scientific data generated by modern observation telescopes, raises recurring problems of performances, in spite of the advances in distributed data management systems. The main reasons are the complexity of the systems and the difficulty to adapt the access methods to the data. This thesis proposes new physical and logical optimizations to optimize execution plans of astronomical queries using transformation rules. These methods are integrated in ASTROIDE, a distributed system for large-scale astronomical data processing.ASTROIDE achieves scalability and efficiency by combining the benefits of distributed processing using Spark with the relevance of an astronomical query optimizer.It supports the data access using the query language ADQL that is commonly used.It implements astronomical query algorithms (cone search, kNN search, cross-match, and kNN join) tailored to the proposed physical data organization.Indeed, ASTROIDE offers a data partitioning technique that allows efficient processing of these queries by ensuring load balancing and eliminating irrelevant partitions. This partitioning uses an indexing technique adapted to astronomical data, in order to reduce query processing time

Cette thèse s’intéresse à la gestion décentralisée des données récoltées par les réseaux de capteurs dans le contexte des réseaux électriques intelligents (smart grids). Nous proposons une architecture décentralisée basée sur les systèmes multi-agents pour la gestion des données et de l’énergie dans un smart grid. En particulier, nos travaux traitent de la gestion des données des réseaux de capteurs dans le réseau de distribution d’un smart grid et ont pour objectif de lever deux verrous essentiels : (1) l'identification et la détection de défaillances et de changements nécessitant une prise de décision et la mise en œuvre des actions correspondantes ; (2) la gestion des grandes quantités de données qui seront récoltées suite à la prolifération des capteurs et des compteurs communicants. La gestion de ces informations peut faire appel à plusieurs méthodes, dont l'agrégation des paquets de données sur laquelle nous nous focalisons dans cette thèse. Nous proposons d’agréger (PriBaCC) et/ou de corréler (CoDA) le contenu de ces paquets de données de manière décentralisée. Ainsi, le traitement de ces données s'effectuera plus rapidement, ce qui aboutira à une prise de décision rapide et efficace concernant la gestion de l'énergie. La validation par simulation de nos contributions a montré que celles-ci répondent aux enjeux identifiés, notamment en réduisant le volume des données à gérer et le délai de communication des données prioritaires
This thesis focuses on the decentralized management of data collected by wireless sensor networks which are deployed in a smart grid, i.e. the evolved new generation electricity network. It proposes a decentralized architecture based on multi-agent systems for both data and energy management in the smart grid. In particular, our works deal with data management of sensor networks which are deployed in the distribution electric subsystem of a smart grid. They aim at answering two key challenges: (1) detection and identification of failure and disturbances requiring swift reporting and appropriate reactions; (2) efficient management of the growing volume of data caused by the proliferation of sensors and other sensing entities such as smart meters. The management of this data can call upon several methods, including the aggregation of data packets on which we focus in this thesis. To this end, we propose to aggregate (PriBaCC) and/or to correlate (CoDA) the contents of these data packets in a decentralized manner. Data processing will thus be done faster, consequently leading to rapid and efficient decision-making concerning energy management. The validation of our contributions by means of simulation has shown that they meet the identified challenges. It has also put forward their enhancements with respect to other existing approaches, particularly in terms of reducing data volume as well as transmission delay of high priority data

L'objectif est de creer une base unique qui represente toutes les bases qui cooperent. Cette base est decrite dans un modele relationnel. Dans un premier temps, toutes les bases de donnees non relationnelles sont traduites en bases de donnees virtuelles relationnelles ou bdvl. Ensuite, toutes les bdvl et les bases de donnees relationnelles sont integrees pour creer la base unique appelee base de donnees virtuelle globale ou bdvg

Au sein des entreprises, un composant vital dans la prise de décision, qu'elle soit globale ou locale, est le système d'information. Celui-ci contient, en effet, les informations nécessaires pour décider, agir, apprendre, comprendre, prévoir et contrôler. Sa structure est généralement liée à l'histoire de l'entreprise dans le sens où cet ensemble s'est constitué d'éléments qui se sont juxtaposés au fil du temps au gré des choix stratégiques formant in fine un ensemble complexe et hétérogène. L'existence de plusieurs systèmes d'information, au sein de grande sociétés, pouvant rendre la recherche d'information difficile pour les utilisateurs métiers. 'objectif de nos travaux consiste à permettre aux utilisateurs d'explorer les connaissances, formulées en terme métier, contenues dans plusieurs systèmes d'informations et de récupérer les données qui leur sont associées. Il s'agit donc de mettre à disposition des utilisateurs une vue globale des connaissances disponibles liées à leurs domaines métiers, tout en dissimulant la diversité des sources d'informations et en garantissant que les données associées sont récupérables malgré les changements qui peuvent se produire au sein des différents systèmes. ans cette thèse nous proposons KRISMAS, une solution d'intégration de données basée une représentation des connaissances métiers et une architecture Multi-Agents. La représentation des connaissances prend la forme d'une ou plusieurs ontologies de domaine permettant aux utilisateurs d'explorer les connaissances des sources de données et de formuler des requêtes pour la récupération des données. Les agents sont utilisés pour l'exploitation de la représentation des connaissances métiers ainsi que pour la gestion des changements au sein d'un système d'intégration

Dans les SGBD actifs la notion de réaction automatique à des événements est offerte au travers de règles actives de la forme Événement-Condition-Action. Ces règles sont gérées par des mécanismes spécifiques, dits actifs, intégrés dans les SGBD. Nous nous intéressons à l'introduction de ces mécanismes dans les fédérations de données. Les fédérations sont caractérisées par la distribution et l'autonomie de leurs composants et les mécanismes actifs doivent donc s'adapter à de telles caractéristiques. Notre approche propose de mettre en œuvre ces mécanismes sous forme d'un service de règles et un service d'événements qui coopèrent. Dans cette thèse nous nous intéressons plus précisément à la définition et à la structuration d'un service de règles. Nous proposons un service adaptable nommé ADRUS (pour ADaptable RUle Service) qui permet la construction et le contrôle de gestionnaires de règles spécialisés selon les besoins des applications de la fédération bases de données. Les modèles implantés par ces gestionnaires sont spécifiés à partir des trois métamodèles offerts par le service : le métamodèle de définition et de manipulation de règles, le métamodèle d'exécution de règles et le métamodèle de coopération entre gestionnaires. Notre travail se concentre sur la définition de la structure et des caractéristiques des métamodèles. Nous modélisons la coopération entre gestionnaires de règles, d'événements et de transactions car celle-ci est fondamentale pour l'exécution des règles dans une fédération. Nous présentons une expérience d'utilisation de notre service dans le cadre de la mise en œuvre de systèmes ODAS. Ces systèmes sont basés sur des services d'événements et de règles ouverts et répartis (Open and Distributed Active Services) utilisés au niveau d'une fédération de bases de données dans le contexte d'une application de type commerce électronique

Cette thèse porte sur l'étude des techniques de fusion de données réparties et incertaines au sein d'un réseau de véhicules pour gérer la confiance dans les autres véhicules ou dans les données reçues. L'algorithme de fusion distribuée proposé est basé sur les fonctions de croyance et est appliqué par chaque nœud à la réception des messages. In se base sur la gestion d'une connaissance directe, locale à chaque nœud et d'une connaissance distribuée diffusée dans le réseau. Cette dernière résulte de la fusion des messages par un opérateur adapté prenant en compte les cycles éventuels et limitant l'effet de "data incest". Chaque nœud peut être autonome pour estimer la confiance mais la coopération entre les véhicules permet d'améliorer et de rendre plus robuste cette estimation. L'algorithme peut être adapté au cas d'étude en considérant un ou plusieurs éléments d'observation et en prenant en compte l'obsolescence des données. Lorsqu'il y a plusieurs éléments d'observation, se pose le problème de l'association de données nécessaire avant l'étape de combinaison. Un nouvel algorithme d'association a été formalisé dans le cadre des fonctions de croyance. Il a été démontré que ce problème est équivalent à un problème d'affectation linéaire, qui peut être résolu en temps polynomial. Cette solution est à la fois optimale et beaucoup plus efficace que d'autres approches développées dans ce formalisme. La gestion de la confiance dans les nœuds et dans les données échangées ont été illustrées par la mise en œuvre de deux applications : la détection de faux nœuds dans une attaque Sybil et la gestion de la confiance dans les cartes dynamiques pour la perception augmentée.

Dans cette thèse nous étudions le comportement en environnement numérique d'une nouvelle stratégie d'analyse d'un graphe des dépendances de données appelée "Partitionnement dynamique Data-Flow" (DPDF). Cette stratégie donne la priorité à la poursuite de chemins en s'appuyant sur une fonction de "prédiction" permettant l'évaluation sans défauts de séquencement de noeuds appartenant à un même chemin de dépendance. Nous rappelons tout d'abord les grands principes des modèles dits à flots de données, puis présentons plus en détails la stratégie DPDF. Nous évaluons ensuite cette stratégie dans deux contextes.

Un intranet permet de déployer les applications client-serveur sur l'ensemble des postes de l'entreprise. Il concerne cependant des centaines de personnes, peu familières des technologies et de l'approche hypertexte. Les problèmes de cohérence et de persistance des liens, des modèles de documents, des feuilles de style, d'administration et d'exploitation de l'ensemble, s'avèrent alors d'une acuité inconnue sur l'internet. Nous présentons ici une architecture de base, réflexive, orientée-documents et commune a un intranet qui associe dans sa phase actuelle le web, les bases de données, un métalangage de manipulation de description et des techniques issues de l'intelligence artificielle, pour proposer aux utilisateurs connectes au réseau d'entreprise un accès fiable et uniforme a un ensemble facilement extensible de données locales ou transversales. Ricercar met en place un ensemble de bases de métadonnées fédérées qui décrivent et référencent les objets disponibles. Les serveurs web associes à ces bases composent ainsi dynamiquement les documents correspondants, indépendamment du serveur interroge ou de la localisation effective de ces données. Cette architecture garantit la qualité de service en assurant notamment la permanence des url publiées et la génération dynamique de la structure (l'arborescence) d'un serveur. Elle propose un modèle de navigation uniforme, géré l'authentification et les accès des utilisateurs et, enfin, autorise une surveillance d'ensemble ainsi que des statistiques de fréquentation modulaires et significatives. Suite a ses différents amorçages, Ricercar enregistre, dans cette même base repartie, la description et les références de ses propres données ainsi que celle des méta-scripts utilises pour générer dynamiquement les documents de l'intranet. Cette réflexivité, qui lui permet de manipuler et d'enrichir ses structures, en fait ainsi un système ouvert et adaptatif. Nous analysons donc les spécificités techniques et organisationnelles qui singularisent à notre sens l'intranet par rapport à l'internet ainsi que leur implémentation dans Ricercar, compare à un orb, dont nous présenterons les applications concrètes ainsi que les différentes perspectives d'évolution.

Cette thèse contient deux parties. La première est orientée vers l'étude de l'état de l'art sur la personnalisation et la définition d'un modèle de profil utilisateur. La seconde partie est un focus sur un problème particulier qui est la reformulation de requêtes guidée par le profil utilisateur. La personnalisation se définit, entre autres, par un ensemble d'informations décrivant l'utilisateur. Ces informations sont souvent appelées profil. Le premier travail de cette thèse est de proposer un modèle ouvert de profil capable d'acquérir toutes les informations décrivant l'utilisateur. La personnalisation de l'information intervient à toutes les étapes du cycle de vie d'une requête. La seconde contribution de cette thèse est l'étude de deux approches de reformulation de requêtes basées sur des techniques de réécriture et d'enrichissement existants et la proposition d'une approche de reformulation avancée qui alterne des étapes d'enrichissement et de réécriture
This thesis contains two parts. The first one is a study of the state of the art on data personalization and a proposition of a user profile model. The second one is a focus on a specific problem which is the query reformulation using profile knowledge. The relevance of the information is defined by a set of criteria and preferences describing the user. The data describing the users is often gathered in the form of profiles. In this thesis we propose a generic and extensible model of profile, which enables the classification of the profile's contents. Personalization may occur in each step of the query life cycle. The second contribution of this thesis is the study of two query reformulation approaches based on algorithms of query enrichment and query rewriting and the proposition of an advanced query reformulation approach

Dans le cadre des recherches en intelligence artificielle, la distribution d'une tâche doit concourir à l'efficacité de la réalisation de la tâche. Parmi tous les facteurs qui peuvent nuire aux bénéfices attendus de la distribution d'une tâche, le coût de la gestion de conflits joue un rôle primordial. Afin de faciliter la mise en oeuvre de méthodes de détection et de gestion de conflits dans la conception concourante, il nous a paru intéressant de nous placer dans le cadre de systèmes distribués ouverts. Dans notre approche, le concepteur est libre de mettre en oeuvre l'ensemble des méthodes de gestion de conflits disponibles, tout en étant guidé dans ses choix d'une part par une vision multi-perspectives des données et d'autre part en fonction du contexte de la réalisation de sa tâche. De plus, nous utilisons la notion de points de vue afin de permettre une indexation intelligente des données de conception. Ainsi un concepteur décrit, via un point de vue, la façon dont les autres concepteurs doivent interpréter les données qu'il propose. Suite à notre étude théorique, nous avons mis en oeuvre un système multi-agents, CREoPS² (Communication Representation and Evaluation of Proposition Support System), reposant sur des techniques et outils compatibles avec l'Internet
Within Artificial Intelligence research works, task distribution must concur to the effectiveness of task realization. Among all the factors which can impede the benefits expected by distribution, the cost of conflict management cost plays an utmost role. In order to facilitate the use of methods for conflict detection and management, we consider it favorable to set our work in the context of open distributed system. In our approach, the designer is allowed to use all the available methods for conflict management, and is guided in his/her choices, on the one hand, by a multi-perspective view on the data and, on the other hand, by the realization context of his/her task. Furthermore, we use the viewpoint notion to allow for an intelligent indexing of data. Thus, a designer describes, bye means of a viewpoint, the way in which the other designers must interpret the data that he/she proposes. Following our theoretical study, we propose a multi-agents system, CREoPS², based on technics and tools which are Internet-compatible

Les in silico expérimentations scientifiques à grande échelle contiennent généralement plusieurs activités de calcule pour traiter big data. Workflows scientifiques (SWfs) permettent aux scientifiques de modéliser les activités de traitement de données. Puisque les SWfs moulinent grandes quantités de données, les SWfs orientés données deviennent un problème important. Dans un SWf orienté donnée, les activités sont liées par des dépendances de données ou de contrôle et une activité correspond à plusieurs tâches pour traiter les différentes parties de données. Afin d’exécuter automatiquement les SWfs orientés données, Système de management pour workflows scientifiques (SWfMSs) peut être utilisé en exploitant High Perfmance Comuting (HPC) fournisse par un cluster, grille ou cloud. En outre, SWfMSs génèrent des données de provenance pour tracer l’exécution des SWfs.Puisque le cloud fournit des services stables, diverses ressources, la capacité de calcul et de stockage virtuellement infinie, il devient une infrastructure intéressante pour l’exécution de SWf. Le cloud données essentiellement trois types de services, i.e. Infrastructure en tant que Service (IaaS), Plateforme en tant que Service (PaaS) et Logiciel en tant que Service (SaaS). SWfMSs peuvent être déployés dans le cloud en utilisant des Machines Virtuelles (VMs) pour exécuter les SWfs orientés données. Avec la méthode de pay-as-you-go, les utilisateurs de cloud n’ont pas besoin d’acheter des machines physiques et la maintenance des machines sont assurée par les fournisseurs de cloud. Actuellement, le cloud généralement se compose de plusieurs sites (ou centres de données), chacun avec ses propres ressources et données. Du fait qu’un SWf orienté donnée peut-être traite les données distribuées dans différents sites, l’exécution de SWf orienté donnée doit être adaptée aux multisite cloud en utilisant des ressources de calcul et de stockage distribuées.Dans cette thèse, nous étudions les méthodes pour exécuter SWfs orientés données dans un environnement de multisite cloud. Certains SWfMSs existent déjà alors que la plupart d’entre eux sont conçus pour des grappes d’ordinateurs, grille ou cloud d’un site. En outre, les approches existantes sont limitées aux ressources de calcul statique ou à l’exécution d’un seul site. Nous vous proposons des algorithmes pour partitionner SWfs et d’un algorithme d’ordonnancement des tâches pour l’exécution des SWfs dans un multisite cloud. Nos algorithmes proposés peuvent réduire considérablement le temps global d’exécution d’un SWf dans un multisite cloud.En particulier, nous proposons une solution générale basée sur l’ordonnancement multi-objectif afin d’exécuter SWfs dans un multisite cloud. La solution se compose d’un modèle de coût, un algorithme de provisionnement de VMs et un algorithme d’ordonnancement des activités. L’algorithme de provisionnement de VMs est basé sur notre modèle de coût pour générer les plans à provisionner VMs pour exécuter SWfs dans un cloud d’un site. L’algorithme d’ordonnancement des activités permet l’exécution de SWf avec le coût minimum, composé de temps d’exécution et le coût monétaire, dans un multisite cloud. Nous avons effectué beaucoup d’expérimentations et les résultats montrent que nos algorithmes peuvent réduire considérablement le coût global pour l’exécution de SWf dans un multisite cloud
Large-scale in silico scientific experiments generally contain multiple computational activities to process big data. Scientific Workflows (SWfs) enable scientists to model the data processing activities. Since SWfs deal with large amounts of data, data-intensive SWfs is an important issue. In a data-intensive SWf, the activities are related by data or control dependencies and one activity may consist of multiple tasks to process different parts of experimental data. In order to automatically execute data-intensive SWfs, Scientific Work- flow Management Systems (SWfMSs) can be used to exploit High Performance Computing (HPC) environments provided by a cluster, grid or cloud. In addition, SWfMSs generate provenance data for tracing the execution of SWfs.Since a cloud offers stable services, diverse resources, virtually infinite computing and storage capacity, it becomes an interesting infrastructure for SWf execution. Clouds basically provide three types of services, i.e. Infrastructure-as-a-Service (IaaS), Platform- as-a-Service (PaaS) and Software-as-a-Service (SaaS). SWfMSs can be deployed in the cloud using Virtual Machines (VMs) to execute data-intensive SWfs. With a pay-as-you- go method, the users of clouds do not need to buy physical machines and the maintenance of the machines are ensured by the cloud providers. Nowadays, a cloud is typically made of several sites (or data centers), each with its own resources and data. Since a data- intensive SWf may process distributed data at different sites, the SWf execution should be adapted to multisite clouds while using distributed computing or storage resources.In this thesis, we study the methods to execute data-intensive SWfs in a multisite cloud environment. Some SWfMSs already exist while most of them are designed for computer clusters, grid or single cloud site. In addition, the existing approaches are limited to static computing resources or single site execution. We propose SWf partitioning algorithms and a task scheduling algorithm for SWf execution in a multisite cloud. Our proposed algorithms can significantly reduce the overall SWf execution time in a multisite cloud.In particular, we propose a general solution based on multi-objective scheduling in order to execute SWfs in a multisite cloud. The general solution is composed of a cost model, a VM provisioning algorithm, and an activity scheduling algorithm. The VM provisioning algorithm is based on our proposed cost model to generate VM provisioning plans to execute SWfs at a single cloud site. The activity scheduling algorithm enables SWf execution with the minimum cost, composed of execution time and monetary cost, in a multisite cloud. We made extensive experiments and the results show that our algorithms can reduce considerably the overall cost of the SWf execution in a multisite cloud

La numérisation de nos espaces de vie et de mobilités s’est largement accentuée durant la dernière décennie. La multiplication des capteurs de toute nature permettant de percevoir et de mesurer notre espace physique en est le levier principal. L’ensemble de ces systèmes produit aujourd’hui de grands volumes de données hétérogènes sans cesse croissants, ce qui soulève de nombreux enjeux scientifiques et d'ingénierie en termes de stockage et de traitement pour la gestion et l’analyse de mobilités. Les travaux dans le domaine d’analyse des données spatio-temporelles ont largement été orientés soit vers la fouille de données historiques archivées, soit vers le traitement continu. Afin d’éviter les écueils de plus en plus prégnants dus à l’augmentation de ces volumes de données et de leur vélocité (temps de traitement trop long, modèles conceptuellement plus adaptés, analyse approximative des données), nous proposons la conception d’une approche hybride distribuée permettant le traitement combiné de flux temps-réel et de données archivées. L’objectif de cette thèse est donc de développer un nouveau système de gestion et de traitement distribué pour l’analyse des mobilités en particulier maritimes. La solution proposée répond principalement à des contraintes de temps-réel, les données archivées et les informations qui en sont extraites permettant d'améliorer la qualité de réponse. Une proposition de paradigme d'événements est également développée pour permettre ce traitement hybride mais aussi pour caractériser et identifier plus facilement des comportements types d'objets mobiles. Enfin, une requête appliquée sur des zones de couverture de signal pour des objets mobiles a été étudiée et testée sur des données maritimes mettant en exergue le besoin d'une approche hybride pour le traitement de trajectoires
Over the past few years, the rapid prolifération of sensors and devices recording positioning information regularly produces very large volumes of heterogeneous data. This leads to many research challenges as the storage, distribution, management,Processing and analysis of the large mobility data generated still needs to be solved. Current works related to the manipulation of mobility data have been directed towards either mining archived historical data or continuous processing of incoming data streams.The aim of this research is to design a holistic System whose objective is to provide a combined processing of real time data streams and archived data positions. The proposed solution is real-time oriented, historical data and informations extracted from them allowing to enhance quality of the answers to queries. A event paradigm is discussed to facilitate the hybrid approach and to identify typical moving objects behaviors. Finally, a query concerning signal coverage of moving objects has been studied and applied to maritime data showing the relevance of a hybrid approach to deal with moving object data processing

Ces travaux sont lies à l'étude du trafic du réseau téléphonique français. Pour réaliser le diagnostic du réseau, nous utilisons des méthodes de reconnaissance des formes floue. En reconnaissance des formes floue, un état du système est représenté par un ensemble flou. Ainsi, pour apprendre une classe, il est nécessaire d'utiliser une méthode permettant d'apprendre un ensemble flou. La méthode sur laquelle nous nous basons a été proposée par Mandal en 1992. Cette méthode encadre les données par un hypercube qui est ensuite fuzzyfié. Lorsque les états sont dépendants du temps, il est alors possible de les représenter par des ensembles flous dépendants du temps. Notons que cette notion permet aussi d'étudier les changements d'état, le temps représentant alors la proportion de chemin parcourue entre l'état de départ et l'état d'arrivée. L'ensemble de ces deux notions peut être appelé état non stationnaire. L'apprentissage de ce type d'état nous amène à une problématique de type régression floue. La méthode que nous proposons est une régression floue qui généralise la méthode de Mandal dans le cas non stationnaire. A partir de cet apprentissage, il suffit d'utiliser une méthode de décision classique pour réaliser un diagnostic et prendre une décision. Le chapitre suivant s'intéresse à la fusion ou l'agrégation pondérée de degrés d'appartenance, la pondération devant pouvoir être appliquée a tout operateur d'agrégation, car il est parfois imposé par le contexte. A partir de conditions limites connues, nous avons obtenu une solution unique pour ce problème. Cette solution vérifie des conditions qui ont été définies par d'autres auteurs. Le seconde partie de ce manuscrit est dédiée à l'application des méthodes précédemment décrites dans l'optique de réaliser un diagnostic en temps réel du réseau téléphonique français. Ainsi, la méthode de régression floue est appliquée au diagnostic local du réseau, aussi bien dans le cas d'état dépendants du temps que dans le cas du changement d'état. La méthode de fusion pondérée est appliquée au diagnostic global du réseau téléphonique français.

Big Data can be characterized by 3 V's. * Big Volume refers to the unprecedented growth in the amount of data. * Big Velocity refers to the growth in the speed of moving data in and out management systems. * Big Variety refers to the growth in the number of different data formats. Managing Big Data requires fundamental changes in the architecture of data management systems. Data storage should continue being innovated in order to adapt to the growth of data. They need to be scalable while maintaining high performance regarding data accesses. This thesis focuses on building scalable data management systems for Big Data. Our first and second contributions address the challenge of providing efficient support for Big Volume of data in data-intensive high performance computing (HPC) environments. Particularly, we address the shortcoming of existing approaches to handle atomic, non-contiguous I/O operations in a scalable fashion. We propose and implement a versioning-based mechanism that can be leveraged to offer isolation for non-contiguous I/O without the need to perform expensive synchronizations. In the context of parallel array processing in HPC, we introduce Pyramid, a large-scale, array-oriented storage system. It revisits the physical organization of data in distributed storage systems for scalable performance. Pyramid favors multidimensional-aware data chunking, that closely matches the access patterns generated by applications. Pyramid also favors a distributed metadata management and a versioning concurrency control to eliminate synchronizations in concurrency. Our third contribution addresses Big Volume at the scale of the geographically distributed environments. We consider BlobSeer, a distributed versioning-oriented data management service, and we propose BlobSeer-WAN, an extension of BlobSeer optimized for such geographically distributed environments. BlobSeer-WAN takes into account the latency hierarchy by favoring locally metadata accesses. BlobSeer-WAN features asynchronous metadata replication and a vector-clock implementation for collision resolution. To cope with the Big Velocity characteristic of Big Data, our last contribution feautures DStore, an in-memory document-oriented store that scale vertically by leveraging large memory capability in multicore machines. DStore demonstrates fast and atomic complex transaction processing in data writing, while maintaining high throughput read access. DStore follows a single-threaded execution model to execute update transactions sequentially, while relying on a versioning concurrency control to enable a large number of simultaneous readers.

L'Internet des objets (ou IdO) se traduit à l'heure actuelle par l'accroissement du nombre d'objets connectés, c'est-à-dire d'appareils possédant une identité propre et des capacités de calcul et de communication de plus en plus sophistiquées : téléphones, montres, appareils ménagers, etc. Ces objets embarquent un nombre grandissant de capteurs et d'actionneurs leur permettant de mesurer l'environnement et d'agir sur celui-ci, faisant ainsi le lien entre le monde physique et le monde virtuel. Spécifiquement, l'Internet des objets pose plusieurs problèmes, notamment du fait de sa très grande échelle, de sa nature dynamique et de l'hétérogénéité des données et des systèmes qui le composent (appareils puissants/peu puissants, fixes/mobiles, batteries/alimentations continues, etc.). Ces caractéristiques nécessitent des outils et des méthodes idoines pour la réalisation d'applications capables (i) d'extraire des informations utiles depuis les nombreuses sources de données disponibles et (ii) d'interagir aussi bien avec l'environnement, au moyen des actionneurs, qu'avec les utilisateurs, au moyen d'interfaces dédiées. Dans cette optique, nous défendons la thèse suivante : en raison de la nature continue des données (mesures physiques, évènements, etc.) et leur volume, il est important de considérer (i) les flux comme modèle de données de référence de l'Internet des objets et (ii) le traitement continu comme modèle de calcul privilégié pour transformer ces flux. En outre, étant donné les préoccupations croissantes relatives à la consommation énergétique et au respect de la vie privée, il est préférable de laisser les objets agir au plus près des utilisateurs, si possible de manière autonome, au lieu de déléguer systématiquement l'ensemble des tâches à de grandes entités extérieures telles que le cloud. À cette fin, notre principale contribution porte sur la réalisation d'un système distribué de gestion de flux de données pour l'Internet des objets. Nous réexaminons notamment deux aspects clés du génie logiciel et des systèmes distribués : les architectures de services et le déploiement. Ainsi, nous apportons des solutions (i) pour l'accès aux flux de données sous la forme de services et (ii) pour le déploiement automatique des traitements continus en fonction des caractéristiques des appareils. Ces travaux sont concrétisés sous la forme d'un intergiciel, Dioptase, spécifiquement conçu pour être exécuté directement sur les objets et les transformer en fournisseurs génériques de services de calcul et de stockage.Pour valider nos travaux et montrer la faisabilité de notre approche, nous introduisons un prototype de Dioptase dont nous évaluons les performances en pratique. De plus, nous montrons que Dioptase est une solution viable, capable de s'interfacer avec les systèmes antérieurs de capteurs et d'actionneurs déjà déployés dans l'environnement
The Internet of Things (IoT) is currently characterized by an ever-growing number of networked Things, i.e., devices which have their own identity together with advanced computation and networking capabilities: smartphones, smart watches, smart home appliances, etc. In addition, these Things are being equipped with more and more sensors and actuators that enable them to sense and act on their environment, enabling the physical world to be linked with the virtual world. Specifically, the IoT raises many challenges related to its very large scale and high dynamicity, as well as the great heterogeneity of the data and systems involved (e.g., powerful versus resource-constrained devices, mobile versus fixed devices, continuously-powered versus battery-powered devices, etc.). These challenges require new systems and techniques for developing applications that are able to (i) collect data from the numerous data sources of the IoT and (ii) interact both with the environment using the actuators, and with the users using dedicated GUIs. To this end, we defend the following thesis: given the huge volume of data continuously being produced by sensors (measurements and events), we must consider (i) data streams as the reference data model for the IoT and (ii) continuous processing as the reference computation model for processing these data streams. Moreover, knowing that privacy preservation and energy consumption are increasingly critical concerns, we claim that all the Things should be autonomous and work together in restricted areas as close as possible to the users rather than systematically shifting the computation logic into powerful servers or into the cloud. For this purpose, our main contribution can be summarized as designing and developing a distributed data stream management system for the IoT. In this context, we revisit two fundamental aspects of software engineering and distributed systems: service-oriented architecture and task deployment. We address the problems of (i) accessing data streams through services and (ii) deploying continuous processing tasks automatically, according to the characteristics of both tasks and devices. This research work lead to the development of a middleware layer called Dioptase, designed to run on the Things and abstract them as generic devices that can be dynamically assigned communication, storage and computation tasks according to their available resources. In order to validate the feasability and the relevance of our work, we implemented a prototype of Dioptase and evaluated its performance. In addition, we show that Dioptase is a realistic solution which can work in cooperation with legacy sensor and actuator networks currently deployed in the environment

XML was recommended by W3C in 1998 as a markup language to be used by device- and system-independent methods of representing information. XML is nowadays used as a data model for storing and querying large volumes of data in database systems. In spite of significant research and systems development, many performance problems are raised by processing very large amounts of XML data. Materialized views have long been used in databases to speed up queries. Materialized views can be seen as precomputed query results that can be re-used to evaluate (part of) another query, and have been a topic of intensive research, in particular in the context of relational data warehousing. This thesis investigates the applicability of materialized views techniques to optimize the performance of Web data management tools, in particular in distributed settings, considering XML data and queries. We make three contributions.We first consider the problem of choosing the best views to materialize within a given space budget in order to improve the performance of a query workload. Our work is the first to address the view selection problem for a rich subset of XQuery. The challenges we face stem from the expressive power and features of both the query and view languages and from the size of the search space of candidate views to materialize. While the general problem has prohibitive complexity, we propose and study a heuristic algorithm and demonstrate its superior performance compared to the state of the art.Second, we consider the management of large XML corpora in peer-to-peer networks, based on distributed hash tables (or DHTs, in short). We consider a platform leveraging distributed materialized XML views, defined by arbitrary XML queries, filled in with data published anywhere in the network, and exploited to efficiently answer queries issued by any network peer. This thesis has contributed important scalability oriented optimizations, as well as a comprehensive set of experiments deployed in a country-wide WAN. These experiments outgrow by orders of magnitude similar competitor systems in terms of data volumes and data dissemination throughput. Thus, they are the most advanced in understanding the performance behavior of DHT-based XML content management in real settings.Finally, we present a novel approach for scalable content-based publish/subscribe (pub/sub, in short) in the presence of constraints on the available computational resources of data publishers. We achieve scalability by off-loading subscriptions from the publisher, and leveraging view-based query rewriting to feed these subscriptions from the data accumulated in others. Our main contribution is a novel algorithm for organizing subscriptions in a multi-level dissemination network in order to serve large numbers of subscriptions, respect capacity constraints, and minimize latency. The efficiency and effectiveness of our algorithm are confirmed through extensive experiments and a large deployment in a WAN.

Cette these propose le service d'evenements adees (adaptable and extensible event service), un composant logiciel supportant l'integration et l'execution d'applications bases de donnees construites a partir de composants heterogenes et repartis. Adees est une infrastructure de specification et de generation de services d'evenements. Les services generes implantent un metamodele de types et un metamodele de gestion d'evenements et permettent la specification et la generation de gestionnaires d'evenements par specialisation et instanciation de ces metamodeles. Les fonctionnalites d'un gestionnaire sont decrites par un schema qui associe un modele de types a un modele de gestion d'evenements. Guides par des contrats decrits par des instances de schemas, les gestionnaires interagissent avec des producteurs et des consommateurs pour detecter et notifier des evenements. Les proprietes d'adaptabilite et d'extensibilite statiques et dynamiques d'un service et de ses gestionnaires leur permettent de s'adapter aux besoins des applications et aux changements de l'environnement ou ils s'executent. Ces proprietes sont assurees dans adees par une technologie plug and play. Adees a ete utilise pour la construction de systemes actifs a base de gestionnaires d'evenements et de regles actives. Ces gestionnaires implantent la cooperation et l'interaction entre composants repartis d'applications bases de donnees. Adees a egalement ete utilise pour la specification et la mise en uvre d'un systeme de gestion de flots de travail. S'appuyant sur un service d'evenements et sur des systemes actifs, le systeme assure l'execution de flots de travail.

La réplication dans les bases de données a été largement étudiée, au cours des trois dernières décennies. Elle vise à améliorer la disponibilité des données et à augmenter la performance d’accès aux données. Un des défis majeurs de la réplication est de maintenir la cohérence mutuelle des répliques, lorsque plusieurs d’entre elles sont mises à jour, simultanément, par des transactions. Des solutions qui relèvent partiellement ce défi pour un nombre restreint de bases de données reliées par un réseau fiable existent. Toutefois, ces solutions ne sont pas applicables à large échelle. Par ailleurs, l’antinomie entre les besoins de performances et ceux de cohérence étant bien connue, l’approche suivie dans cette thèse consiste à relâcher les besoins de cohérence afin d’améliorer la performance d’accès aux données. Dans cette thèse, nous considérons des applications transactionnelles déployées à large échelle et dont les données sont hébergées dans une infrastructure très dynamique telle qu’un système pair-à-pair. Nous proposons une solution intergicielle qui rend transparente la distribution et la duplication des ressources mais aussi leur indisponibilité temporaire. Nous définissons deux protocoles pour maintenir la cohérence globale: un premier protocole ordonne les transactions à partir de la définition a priori des données accédées, et un deuxième qui détermine un ordre plus souple, en comparant les données accédées, le plus tardivement possible, juste avant la validation des transactions. Toutes les solutions proposées tolèrent les pannes franches, fonctionnalité essentielle pour que les résultats de cette thèse puissent être mis en œuvre à très large échelle. Finalement, nous avons implémenté nos solutions pour les valider expérimentalement. Les tests de performances montrent que la gestion des métadonnées est efficace et améliore le débit transactionnel et que la redondance de l’intergiciel diminue le temps de réponse face aux situations de pannes.

Nous nous intéressons au développement d'un nouvel algorithme pour estimer la norme d'une matrice de manière incrémentale, à l'implantation d'un modèle de référence des Basic Linear Algebra Subprograms for sparse matrices (Sparse BLAS), et à la réalisation d'un nouveau gestionnaire de tâches pour MUMPS, un solveur multifrontal pour des architectures à mémoire distribuée. Notre méthode pour estimer la norme d'une matrice s'applique aux matrices denses et creuses. Elle peut s'avérer utile dans le cadre des factorisations QR, Cholesky, ou LU. Le standard Sparse BLAS définit des interfaces génériques. Nous avons été amenés à répondre aux questions concernant la représentation et la gestion des données. Le séquencement de tâches devient un enjeu important dès que nous travaillons sur un grand nombre de processeurs. Grâce à notre nouvelle approche, nous pouvons améliorer le passage a l'échelle du solveur MUMPS.

Les SGBD temps réels (SGBDDTR) sont définis comme des systèmes qui doivent respecter à la fois les contraintes temporelles des transactions et des données comme les systèmes temps réel (STR) et les contraintes logiques comme les SGBD classiques. Pour un SGBD, il est difficile de respecter les contraintes temporelles en plus de garantir la cohérence logique de la base de données. De même, pour un STR, il est difficile de respecter la cohérence logique en présence de quantités importantes de données. Dans la majorité des travaux sur les SGBD temps réels, le modèle des transactions plates est utilisé et l'objectif est de respecter les deux types de contraintes. Dans ce modèle, une transaction est composée d'opérations primitives "lire" et "écrire". Si une opération échoue, toute la transaction doit être abandonnée et redémarrée éventuellement, la conduisant souvent à rater son échéance. On en déduit que ce modèle n'est pas approprié pour les SGBDTR. Dans ce travail, nous considérons un SGBDTR basé sur le modèle de transactions emboîtées. Notre contribution a consisté à développer des algorithmes de gestion des transactions emboîtées dans les deux contextes centralisé et distribué. Nous avons également proposé un protocole de contrôle de concurrence qui tient compte de l'urgence des transactions pour résoudre des conflits entre (sous-)transactions. Enfin, nous avons développé un protocole de validation uniforme des transactions distribuées basé sur la technique du calcul imprécis. Chacun de ces protocoles a été évalué et comparé à des protocoles proposés dans de précédent travaux
Real-time database systems (RTDBS) are defined as systems whose objective is not only to respect the transactions and data temporal constraints (as in real-time systems), but they also respect the logical consistency of the database (as in classical DBS). In a DBS, it is difficult to deal with real-time contraints in addition to the database logical consistency. On the other hand, real-time systems are not designed to meet transactions real-time constraints when there is a large amount of data. In the majority of previous works on RTBS, the systems are based on the flat transactions modle and the main aim is to respect the two kinds of constraints. In this model, a transaction is composed of two primitive operation : "read" and "write". If an operation fails, then the whole transaction is aborted and restarted, leading often the transaction to miss its deadline. Wa deduce from this that this model is not appropriate to RTDBS. Our contribution in this work has consisisted of developing protocols to manage the intra-transactions conflicts in both centralized and distributed environments. We've also developed an concurrency control protocol based on transaction urgency. Finally, we've proposed an hierarchical commit protocol which guarantees the uniform distributed transaction model based on imprecise computation. Each proposed protocol is evaluated and compared to the protocols proposed in the literature

Deux topologies sont couramment utilisées pour former ces graphes de communication : les arbres et les graphes pseudo-aléatoires. Si les arbres permettent de réaliser des parcours avec un nombre de messages optimal, ils souffrent de la présence de noeuds de contention qui limitent le nombre de recherches pouvant être effectuées de manière simultanée. Quant aux graphes pseudo-aléatoires, bien qu'ils utilisent plus de messages, ils supportent une charge plus importante tout en fournissant des recherches plus rapides. La solution proposée est une alternative entre les arbres et les graphes. Elle emprunte aux arbres leur structure hiérarchique pour minimiser le nombre de messages et aux graphes l'égalité de leurs noeuds. Si chaque noeud de l'arbre est un serveur, certains serveurs sont des feuilles se contentant de recevoir des messages. Les autres serveurs sont des noeuds intermédiaires acheminant les messages de recherche. Afin de mettre tous les serveurs sur un pied d'égalité, nous distribuons le rôle des noeuds intermédiaires entre plusieurs serveurs. Nous avons montré qu'il est possible de construire un tel arbre qui réalise effectivement les recherches par voisinage à l'aide d'algorithmes de parcours d'arbre tout en répartissant la charge d'une manière similaire aux parcours de graphe. Il en résulte de meilleures performances concernant la vitesse de recherche et la charge supportée quel que soit le nombre de serveurs et la probabilité de trouver une offre
The aim of Grid computing is to share computing resources. Users should find efficiently the resources that they need. To do it, we propose to connect the resources with an overlay network and to use a flooding search algorithm. Overlay networks are usually formed with a graph or a tree. Trees use an optimal number of messages but suffer of bottlenecks which reduce the number of simultaneous search that can be done. Graphs use more messages but support an higher number of simultaneous searches. We propose a new topology which uses an optimal number of messages like trees and does not have any bottleneck like graphs. If every node of a tree is a computer, some computers are leaves which receive messages and the others are intermediate nodes which forward messages. We distribute the intermediate nodes role between every server in a way where every server have the same roles. This new tree structure is build recursively: every server is a leaf and intermediate nodes are complete graphs of their children. We show that such kind of tree can be build and that it is possible to run tree traversal on it. We also show that the load is fairly shared between the servers. As a result, this structure has better performances than the tree and the graph in search speed term and in load term

Nos travaux se situent dans le cadre de la conception de bases de donnees orientees objet (bdoo) reparties. La methode que nous proposons construit les schemas des bd locales par repartition d'un schema conceptuel global (approche descendante). Nous avons decompose ce processus de repartition en quatre etapes: ? l'acquisition des facteurs de la repartition consiste a dissocier les aspects statiques des aspects dynamiques. Cette dissociation permet d'appliquer les algorithmes de fragmentation sur les classes du schema statique en tenant compte d'informations du schema dynamique. Lors de cette etape le concepteur construit aussi un schema des frequences (des methodes) et des matrices d'usage (indiquant les donnees manipulees par chacune des methodes de la bd). ? pour la fragmentation, nous avons developpe des algorithmes de fragmentation des classes du schema statique. Ces algorithmes sont bases sur une extension des algorithmes developpes pour le modele relationnel et presentent l'avantage de tenir compte des besoins des methodes (fragmentation primaire) et de la structure du schema (fragmentation derivee). Nous avons aussi concu des algorithmes pour la definition d'unites d'allocation du schema dynamique. ? pour l'allocation, nous avons defini une fonction de cout qui minimise les couts de stockage et de communication afin de placer les donnees (fragments de classes) et les traitements (methodes). ? la derniere etape consiste en la construction des schemas conceptuels locaux en fonction du placement precedemment defini. Pour valider l'ensemble de ce processus, nous avons realise un outil d'aide a la conception qui effectue la fragmentation et l'allocation de facon automatique selon l'approche que nous proposons

Ces dernières années ont été marquées par une forte évolution des équipements et des réseaux utilisés dans les environnements mobiles. Cette évolution a abouti à la définition d'une nouvelle thématique : l'informatique mobile. L'informatique mobile offre aux utilisateurs la capacité de pouvoir se déplacer tout en restant connecté aux applications réparties et d'être indépendant de la localisation géographique. Toutefois, l'accès aux applications réparties dans ces environnements soulève le problème de la disponibilité des services en présence des déconnexions. Ces déconnexions peuvent être volontaires ou involontaires. Les principaux intergiciels qui existent aujourd'hui sont inadéquats pour les environnements mobiles où les ressources (bande passante, batterie, mémoire. . . ) peuvent spontanément varier considérablement voire disparaître. Ils sont destinés aux environnements traditionnels relativement statiques dans lesquels les ressources sont disponibles et pratiquement stables. Par ailleurs, la construction d'applications réparties converge de plus en plus vers l'utilisation des intergiciels orientés composants pour gérer la complexité des applications. Le modèle orienté composant offre une meilleure séparation entre les préoccupations fonctionnelles et extrafonctionnelles. Cette séparation est réalisée suivant le paradigme composant/conteneur. Cette thèse s'intéresse à la gestion des déconnexions pour applications réparties à base de composants dans les environnements mobiles. La solution consiste à maintenir une connexion logique en utilisant le concept d'opération déconnectée. Cependant, la plupart des solutions existantes sont souvent des réponses " ad hoc ". En effet, ces solutions ne proposent pas une séparation entre les préoccupations fonctionnelles de l'application et la gestion des déconnexions. Cette contrainte limite les possibilités de maintenance, de réutilisation et de reconfiguration. Ces solutions ne proposent pas non plus de modèle de conception d'applications réparties devant fonctionner en présence des déconnexions. Enfin, le modèle orienté composant est peu investi dans la gestion des déconnexions, cette dernière limitation étant due à la nouveauté de ce modèle. Dans cette thèse, nous présentons MADA, une approche de conception d'applications réparties pour le fonctionnement en présence des déconnexions qui suit l'approche MDA. Dans cette approche, la gestion des déconnexions est abordée dès la modélisation de l'application. Ensuite, nous présentons un service intergiciel pour la gestion du cache du terminal mobile. Nous validons la solution proposée à l'aide d'un prototype réalisé en Java, pour application à base de composants CORBA, dans le cadre du canevas logiciel DOMINT. Nous proposons aussi d'intégrer la gestion des déconnexions dans les conteneurs des composants. En nous basant sur le modèle du conteneur extensible (ECM) de OpenCCM, nous proposons une spécification et une réalisation Java/CCM de notre conteneur
Last years have been marked by a rapid evolution in computer networks and machines used in distributed environments. This evolution has opened up new opportunities for mobile computing. Mobile computing allows a mobile user to access various kinds of information at any time and in any place. However, mobile computing raises the problem of data availability in the presence of disconnections. We distinguish two kinds of disconnections : voluntary disconnections and involuntary disconnections. Traditional middleware are mainly connection-oriented programming environments in which a client must maintain a connection to a server. These middleware are inadequate for mobile computing where the resources are unstable (bandwidth, battery, memory. . . ). In addition, the development of distributed applications converges more and more towards the use of componentoriented middleware that better addresses the application complexity by separating functional and extra-functional concerns using the component/container paradigm. The objective of this work is the disconnection management of component-based applications in mobiles environments. The solution consists in maintaining a logical connection between a client and its servers using the concept of disconnected operation. However, the majority of the existing solutions present an " ad hoc " solutions. Indeed, these solutions do not propose a separation between functional concerns and disconnection management. These solutions do not propose a disconnection-aware approach to design distributed applications that have to work in the presence of disconnections. Moreover, the component-oriented paradigm is rarely invested in disconnection management, this last limitation being due to the newness of this model. In this PhD Thesis, we present MADA, a mobile application development approach. In this approach, disconnection management is taken into account when modelling application at the architectural level. Then, we present a middleware service for the software cache management of mobile terminal. We validate the solution using a prototype implemented in Java, for CORBA component-based application, within the DOMINT platform. We also integrate the disconnection management in the containers. Finally, we propose a specification and a Java/CCM implementation of our container using the extensible container model (ECM) of OpenCCM