Local Peer Discovery

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Local Peer Discovery

Beitragvon Quix0r » Do Feb 03, 2011 12:11 am

Kurz LPD gibt es bei einigen bekannten P2P-Programmen, mehr weiss die Wikipedia. Dies wuerde ich gerne in YaCy begruessen und stelle es mir wie folgt vor:

- Es muss eine Netzwerkaddresse (oder Bereich von z.B. 192.168.1.1 bis 192.168.1.90) eingestellt werden
- Standart-Port sollte 8090 sein (Merfachangaben wie 8080,8090 oder Portbereiche wie 8080-8090 sollten auch supportiert sein)
- Der YaCy-Peer sucht den IP-Space nach allen angegebenen Ports einmalig ab und legt dabei eine Art lokale Netzwerkkarte (Local Network Map, LNM?) an
- Die LNM kann dann gespeichert werden (einfache Liste mit 4 Spalten: IP,Port,Peername,Peerhash)
- Diese kann bei jedem Neustart wieder geladen werden, was das erneute Scannen einspart.
- Soll doch erneut gescannt werden, so kann dies per Admin-Interface ausgeloest werden
- Zu diesen erkannten Peers (Verbindungen ueber die externe IP-Adresse sind vielleicht nicht immer gewuenscht) koennen dann bevorzugt Verbindungen aufgebaut werden, wie z.B. DHT-Anfragen oder Remote-Crawls

Damit kann dann ein YaCy-Cluster aufgebaut werden - Load-Balancing sei mal erwaehnt - der sehr performant arbeiten kann. Dies kann ich mir fuer z.B. das KIT oder die Suma-EV Peers nur vorteilhaft vorstellen.

Ich selber habe naemlich hier folgendes Problem:
Code: Alles auswählen
E 2011/02/03 00:24:25 YACY yacyClient.queryRemoteCrawlURLs error asking peer 'free-search':java.io.IOException: Client can't execute: Connection to http://free-search.homelinux.org:8080 refused

Und das ist bei NAT mit Portweiterleitung auch normal (@Vega: Kannst du nochmal schreiben, wieso? Ich wusste das mal). Mit dem Scan koennte dann die YaCy-Node die Peerliste abgleichen (die externe Adresse free-search.homelinux.org:8080 wird mit z.B. 192.168.1.10:8080 ueberschrieben) indem die Peer-Hashs rangezogen werden. Die ueberschriebenen Peer-Eintraege kommen natuerlich nicht in die Seed-Liste (die ja veroeffentlicht wird), sondern koennen z.B. in eine seperate Liste geschrieben werden.

Beispiel:
- Peer 192.168.1.1:8090 heisst 'free-search2' und hat den Hash HHcWJz-6rFKw
- Peer 192.168.1.10:8080 heisst 'free-search' und hat den Hash _cRBF4oi3p8L
- Auf dem Webserver 192.168.1.100, Port 80 gibt es auch eine Upload-Moeglichkeit z.B. per SCP, dort kann dann die Cluster-interne Seed-Liste hochgeladen werden (der Webserver ist nicht aus dem Internet erreichbar).

Normalerweise wuerde nun 'free-search2' sich mit http://free-search.homelinux.org:8080 verbinden und 'free-search' sich mit http://free-search.homelinux.org:8090 verbinden. Nach dem Ueberschreiben der Peer-Eintraege wuerde nun aber 'free-search2' sich mit http://192.168.1.10:8080 und 'free-search' sich mit http://192.168.1.1:8090 verbinden. Dass dies das Netzwerk entlastet, sollte allen klar sein. :)

VG,
Roland
Quix0r
 
Beiträge: 1345
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: Local Peer Discovery

Beitragvon Orbiter » Do Feb 03, 2011 2:32 am

die local peer discovery wäre eine gute Sache und hab das schon seit längerem auf meiner Arbeitsliste. Leider geht es nicht so einfach weil YaCy-Netze bislang nur über öffentliche IPs gehen. Anstatt einfach nur lokale Adressen zuzulassen (was dann aber nicht gehen würde weil diese in einem öffentlichen Netz nicht sichtbar wären) würde ich es vorziehen jedem Peer zwei IPs zuzuweisen: eine für ein lokales Routing, eine für das globale Routing. Bei einem reinen Intranet-Netz wären dann die globalen Adressen leer. In einem öffentlichen Netz können die beiden Adressen koexistieren.

Aber das steht bei mir hinten an weil momentan Usability und Stabilität vor geht.
Orbiter
 
Beiträge: 5793
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Local Peer Discovery

Beitragvon Quix0r » Do Feb 03, 2011 2:44 am

Okay, und wie bekommt jetzt 'free-search2' (192.168.1.1) von 'free-search' (192.168.1.10) seine Crawls, wenn die Verbindung ueber oeffentliche IP nicht geht (wegen Routing)?
Quix0r
 
Beiträge: 1345
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: Local Peer Discovery

Beitragvon Orbiter » Do Feb 03, 2011 2:49 am

gar nicht und ich weiss dass das kacke ist. Ich hatte auch mal so einen Router der die eigene externe IP nicht akzeptierte. Genau deswegen ist es mit einem local peer discovery nicht getan, man braucht ja beide IPs, die öffentliche und lokale. Und das wird richtig aufwendig.
Orbiter
 
Beiträge: 5793
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Local Peer Discovery

Beitragvon Quix0r » Do Feb 03, 2011 3:13 am

Mehr zum Brainstorming auf dem Wiki:
http://www.yacy-websuche.de/wiki/index. ... _Discovery
Quix0r
 
Beiträge: 1345
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast

cron