Allocation équitable de tâches pour l'analyse ...
Document type :
Communication dans un congrès avec actes
Title :
Allocation équitable de tâches pour l'analyse de données massives
Author(s) :
Baert, Quentin [Auteur]
Systèmes Multi-Agents et Comportements [SMAC]
Centre de Recherche en Informatique, Signal et Automatique de Lille - UMR 9189 [CRIStAL]
Caron, Anne-Cecile [Auteur]
Systèmes Multi-Agents et Comportements [SMAC]
Centre de Recherche en Informatique, Signal et Automatique de Lille - UMR 9189 [CRIStAL]
Morge, Maxime [Auteur]
Systèmes Multi-Agents et Comportements [SMAC]
Centre de Recherche en Informatique, Signal et Automatique de Lille - UMR 9189 [CRIStAL]
Routier, Jean-Christophe [Auteur]
Systèmes Multi-Agents et Comportements [SMAC]
Centre de Recherche en Informatique, Signal et Automatique de Lille - UMR 9189 [CRIStAL]
Systèmes Multi-Agents et Comportements [SMAC]
Centre de Recherche en Informatique, Signal et Automatique de Lille - UMR 9189 [CRIStAL]
Caron, Anne-Cecile [Auteur]

Systèmes Multi-Agents et Comportements [SMAC]
Centre de Recherche en Informatique, Signal et Automatique de Lille - UMR 9189 [CRIStAL]
Morge, Maxime [Auteur]

Systèmes Multi-Agents et Comportements [SMAC]
Centre de Recherche en Informatique, Signal et Automatique de Lille - UMR 9189 [CRIStAL]
Routier, Jean-Christophe [Auteur]

Systèmes Multi-Agents et Comportements [SMAC]
Centre de Recherche en Informatique, Signal et Automatique de Lille - UMR 9189 [CRIStAL]
Scientific editor(s) :
Fabien MICHEL
Julien SAUNIER
Julien SAUNIER
Conference title :
Journées Francophones sur les Systèmes Multi-Agents (JFSMA)
Conference organizers(s) :
Julien SAUNIER
City :
Saint Martin du Vivier
Country :
France
Start date of the conference :
2016-10-05
Journal title :
JFSMA 2016. Systèmes Multi-Agents et simulation
Publisher :
Cépaduès éditions
Publication date :
2016-10-05
Keyword(s) :
Résolution distribuée de problème
Négociation
Big Data
Données massives
Négociation
Big Data
Données massives
English keyword(s) :
MapReduce programming model
HAL domain(s) :
Informatique [cs]/Système multi-agents [cs.MA]
Informatique [cs]/Modélisation et simulation
Informatique [cs]/Intelligence artificielle [cs.AI]
Informatique [cs]/Modélisation et simulation
Informatique [cs]/Intelligence artificielle [cs.AI]
French abstract :
De nombreuses entreprises utilisent l'application MapReduce pour le traitement de données massives. L'optimisation statique de telles applications est complexe car elles reposent sur des opérations définies par l'utilisateur, ...
Show more >De nombreuses entreprises utilisent l'application MapReduce pour le traitement de données massives. L'optimisation statique de telles applications est complexe car elles reposent sur des opérations définies par l'utilisateur, appelées map et reduce, ce qui empêche une optimisation algébrique. Afin d'optimiser l'allocation des tâches, plusieurs systèmes collectent des données à partir des exécutions précédentes et prédisent les performances en faisant une analyse de la tâche. Cependant, ces systèmes ne sont pas efficaces durant la phase d'apprentissage ou lorsqu'un nouveau type de tâches ou de données apparait. Dans ce papier, nous présentons un système multi-agents adaptatif pour l'analyse de données massives avec MapReduce. Nous ne pré-traitons pas les données et adoptons une approche dynamique où les agents reducers interagissent durant l'exécution. Nous proposons une ré-allocation des tâches basée sur la négociation pour parvenir à faire décroitre la charge de travail du plus chargé des agents reducers et ainsi réduire le temps d'exécution.Show less >
Show more >De nombreuses entreprises utilisent l'application MapReduce pour le traitement de données massives. L'optimisation statique de telles applications est complexe car elles reposent sur des opérations définies par l'utilisateur, appelées map et reduce, ce qui empêche une optimisation algébrique. Afin d'optimiser l'allocation des tâches, plusieurs systèmes collectent des données à partir des exécutions précédentes et prédisent les performances en faisant une analyse de la tâche. Cependant, ces systèmes ne sont pas efficaces durant la phase d'apprentissage ou lorsqu'un nouveau type de tâches ou de données apparait. Dans ce papier, nous présentons un système multi-agents adaptatif pour l'analyse de données massives avec MapReduce. Nous ne pré-traitons pas les données et adoptons une approche dynamique où les agents reducers interagissent durant l'exécution. Nous proposons une ré-allocation des tâches basée sur la négociation pour parvenir à faire décroitre la charge de travail du plus chargé des agents reducers et ainsi réduire le temps d'exécution.Show less >
English abstract : [en]
Many companies are using MapReduce applications to process very large amounts of data. Static optimization of such applications is complex because they are based on user-defined operations, called map and reduce, which ...
Show more >Many companies are using MapReduce applications to process very large amounts of data. Static optimization of such applications is complex because they are based on user-defined operations, called map and reduce, which prevents some algebraic optimization. In order to optimize the task allocation, several systems collect data from previous runs and predict the performance doing job profiling. However they are not effective during the learning phase, or when a new type of job or data set appears. In this paper, we present an adaptive multiagent system for large data sets analysis with MapReduce. We do not preprocess data and we adopt a dynamic approach, where the reducer agents interact during the job. In order to decrease the workload of the most loaded reducer - and so the execution time - we propose a task re-allocation based on negotiation.Show less >
Show more >Many companies are using MapReduce applications to process very large amounts of data. Static optimization of such applications is complex because they are based on user-defined operations, called map and reduce, which prevents some algebraic optimization. In order to optimize the task allocation, several systems collect data from previous runs and predict the performance doing job profiling. However they are not effective during the learning phase, or when a new type of job or data set appears. In this paper, we present an adaptive multiagent system for large data sets analysis with MapReduce. We do not preprocess data and we adopt a dynamic approach, where the reducer agents interact during the job. In order to decrease the workload of the most loaded reducer - and so the execution time - we propose a task re-allocation based on negotiation.Show less >
Language :
Français
Peer reviewed article :
Oui
Audience :
Internationale
Popular science :
Non
Comment :
L'URL de l'ouvrage est la suivante:http://www.cepadues.com/livres/jfsma-2016-systemes-multi-agents-simulations-9782364935594.html
Collections :
Source :
Files
- https://hal.archives-ouvertes.fr/hal-01383096/document
- Open access
- Access the document
- https://hal.archives-ouvertes.fr/hal-01383096/document
- Open access
- Access the document
- https://hal.archives-ouvertes.fr/hal-01383096/document
- Open access
- Access the document
- document
- Open access
- Access the document
- morge16jfsma.pdf
- Open access
- Access the document