linux debian - calcul distribué

Mageia, Debian, Open Suse, Linux Mint, Ubuntu, Fedora ...

Modérateur: Slashtoy

linux debian - calcul distribué

Messagepar Slashtoy » 01 Sep 2015, 21:46

je cherche à effectuer du calcul distribué sur plusieurs VMS ne se trouvant PAS sur les memes machines physiques

systeme : debian



Est ce que corosync /Pacemaker est un bon choix ?

Y a-til d'autres solutions ?
"La première règle avec toute technologie utilisée dans les affaires, c’est que l’automatisation appliquée à un process efficace va augmenter l’efficacité. La seconde règle est que l’automatisation appliquée à un process inefficace va augmenter l’inefficacité.."
Bill Gates
Avatar de l’utilisateur
Slashtoy
Administrateur (e)
Administrateur (e)
 
Messages: 23745
Inscription: 18 Avr 2002, 19:13
Localisation: LILLE Bois Blancs

Re: linux debian - calcul distribué

Messagepar alokkin » 07 Sep 2015, 09:16

Le framework qui a le vent en poupe en ce moment, c'est plutot hadoop via du map/reduce ou du spark (in memory).

Mais c'est plutot orienté traitement de données. Qu'est-ce que tu veux distribuer comme traitement ?
Burn the museums, wipe your ass with the Mona Lisa, this way at least god will know your name.
Avatar de l’utilisateur
alokkin
Serialh posteur(se)
Serialh posteur(se)
 
Messages: 8462
Inscription: 03 Jan 2004, 02:54
Localisation: 94300 - Vincennes

Re: linux debian - calcul distribué

Messagepar alokkin » 07 Sep 2015, 10:56

D'ailleurs, de ce que je lis corosync n'est pas plutôt un service de haute disponibilité plutôt qu'un moyen de répartir une charge ?
Burn the museums, wipe your ass with the Mona Lisa, this way at least god will know your name.
Avatar de l’utilisateur
alokkin
Serialh posteur(se)
Serialh posteur(se)
 
Messages: 8462
Inscription: 03 Jan 2004, 02:54
Localisation: 94300 - Vincennes

Re: linux debian - calcul distribué

Messagepar Slashtoy » 07 Sep 2015, 21:38

alokkin a écrit:D'ailleurs, de ce que je lis corosync n'est pas plutôt un service de haute disponibilité plutôt qu'un moyen de répartir une charge ?


oui effectivement.


Et le souci qu ise pose , c'est que se dont des VPS ne se trouvant pas sur la meme machine physique.
Le tarnsit pose donc souci au niveau sécurité

Spark/in memory > oui certes, mais il faut des machines qu iont de la patate ( de la ram quoi!), tout l'inverse de ce que j'ai

type de traitement >scripts bash qui tournent à 100% sur une base de données qu iprend de l'embompoint
"La première règle avec toute technologie utilisée dans les affaires, c’est que l’automatisation appliquée à un process efficace va augmenter l’efficacité. La seconde règle est que l’automatisation appliquée à un process inefficace va augmenter l’inefficacité.."
Bill Gates
Avatar de l’utilisateur
Slashtoy
Administrateur (e)
Administrateur (e)
 
Messages: 23745
Inscription: 18 Avr 2002, 19:13
Localisation: LILLE Bois Blancs

Re: linux debian - calcul distribué

Messagepar alokkin » 14 Sep 2015, 13:02

Donc, c'est plutot une base distribuée qui t'intéresserait ...

Quel est le type de la base (et donc des requêtes) ?

> Usage consultatif, chargement en mode batch de nuit, requêtes lourdes manipulant de grosses quantités de données ?
> Usage transactionnel, beaucoup de manipulation de données mais faible volumétrie engagée pour chaque requête ?
Burn the museums, wipe your ass with the Mona Lisa, this way at least god will know your name.
Avatar de l’utilisateur
alokkin
Serialh posteur(se)
Serialh posteur(se)
 
Messages: 8462
Inscription: 03 Jan 2004, 02:54
Localisation: 94300 - Vincennes

Re: linux debian - calcul distribué

Messagepar alokkin » 18 Sep 2015, 09:18

Pas de réponse à me donner ? :(
Burn the museums, wipe your ass with the Mona Lisa, this way at least god will know your name.
Avatar de l’utilisateur
alokkin
Serialh posteur(se)
Serialh posteur(se)
 
Messages: 8462
Inscription: 03 Jan 2004, 02:54
Localisation: 94300 - Vincennes

Re: linux debian - calcul distribué

Messagepar Slashtoy » 18 Sep 2015, 15:00

Usage transactionnel.

Je veux une base à un seul endroit
donc non distrbutée

distrubtio nlinux > focément sous debian pour tous les vps
"La première règle avec toute technologie utilisée dans les affaires, c’est que l’automatisation appliquée à un process efficace va augmenter l’efficacité. La seconde règle est que l’automatisation appliquée à un process inefficace va augmenter l’inefficacité.."
Bill Gates
Avatar de l’utilisateur
Slashtoy
Administrateur (e)
Administrateur (e)
 
Messages: 23745
Inscription: 18 Avr 2002, 19:13
Localisation: LILLE Bois Blancs

Re: linux debian - calcul distribué

Messagepar alokkin » 21 Sep 2015, 16:38

"type de traitement >scripts bash qui tournent à 100% sur une base de données qu iprend de l'embompoint"

Donc, tu voudrais extraire, traiter/transformer tes données hors base, puis les ré-injecter ... si c'est ton moteur de base de données qui est distribué, tu peux profiter de ce moteur pour répartir ton calcul. Sur une base distribuée, tu as des moyens de sécurisation de la donnée (niveau de réplication de la donnée paramétrable).
Burn the museums, wipe your ass with the Mona Lisa, this way at least god will know your name.
Avatar de l’utilisateur
alokkin
Serialh posteur(se)
Serialh posteur(se)
 
Messages: 8462
Inscription: 03 Jan 2004, 02:54
Localisation: 94300 - Vincennes

Re: linux debian - calcul distribué

Messagepar alokkin » 21 Sep 2015, 16:40

Parce que du coup, je t'aurais conseillé de jeter un oeil sur cassandra.

Sinon, pour du calcul réparti, tu peux simplement utiliser les lib map/reduce via du java.
Burn the museums, wipe your ass with the Mona Lisa, this way at least god will know your name.
Avatar de l’utilisateur
alokkin
Serialh posteur(se)
Serialh posteur(se)
 
Messages: 8462
Inscription: 03 Jan 2004, 02:54
Localisation: 94300 - Vincennes

Re: linux debian - calcul distribué

Messagepar alokkin » 20 Oct 2015, 10:33

@slashtoy : tu as fait ton choix ?
Burn the museums, wipe your ass with the Mona Lisa, this way at least god will know your name.
Avatar de l’utilisateur
alokkin
Serialh posteur(se)
Serialh posteur(se)
 
Messages: 8462
Inscription: 03 Jan 2004, 02:54
Localisation: 94300 - Vincennes

Re: linux debian - calcul distribué

Messagepar Slashtoy » 20 Oct 2015, 11:09

non, aucun choix.

Projet à l'abandon pour l'instant
"La première règle avec toute technologie utilisée dans les affaires, c’est que l’automatisation appliquée à un process efficace va augmenter l’efficacité. La seconde règle est que l’automatisation appliquée à un process inefficace va augmenter l’inefficacité.."
Bill Gates
Avatar de l’utilisateur
Slashtoy
Administrateur (e)
Administrateur (e)
 
Messages: 23745
Inscription: 18 Avr 2002, 19:13
Localisation: LILLE Bois Blancs


Retourner vers Linux , ses distributions et les softs Open Source

Qui est en ligne

Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 1 invité


cron