Peers hinter Nat/Router

Ideen und Vorschläge sind willkommen.

Peers hinter Nat/Router

Beitragvon angeloffire » Mo Mai 24, 2010 12:50 pm

YaCy funktioniert um so besser, je mehr Peers es gibt.
Daher hab ich versucht einige Leute ebenfalls dazu zu bringen YaCy zu benutzen.
Die meisten fanden die Idee zwar gut und toll aber ich konnte sie meistens nicht dazu bringen es YaCy zu nutzen.
Ich bekam hauptsächlich 2 Aussagen,

1.
Wenn ich eine Suchmaschine nutzen will, dann will ich mir keine Software runterlade, sondern einfach eintippen und ich findet was ich will.


2.
Wenn man da seinen Router konfigurieren muss damit das funktioniert, dann ist das viel zu kompliziert und es werden niemals genug Leute das nutzen das es interessant wir, ganz zu schweigen all die Leute die hinter einem NAT sitzen den sie nicht Konfigurieren können wie an der Hochschule.


Gegen das erste weiß ich nicht was man da machen kann, schließlich geht es darum das möglichst viele indexieren sollen, und dafür braucht man Software,
aber beim zweiten sieht das schon anders aus.
Man könnte sich überlegen wie man an Peers hinter einem NAT/Router besser kommt. Prinzipiell funktioniert der Verbindungsaufbau zu dem Netzwerk, jedoch kann das Netzwerk keine Verbindungen, zum Peer aufbauen.
Nun müsste es doch möglich sein, dass ein Peer hinter einem NAT/Router eine Verbindung zu einem Peer der nicht geblockt ist aufbaut, und diesen, quasi als Relay benutzt, oder einfach diesem zusätzliche Ressourcen anbietet.
angeloffire
 
Beiträge: 1
Registriert: Mo Mai 24, 2010 10:20 am

Re: Peers hinter Nat/Router

Beitragvon ribbon » Mo Mai 24, 2010 10:10 pm

ich gaube dass der der länger dabei ist auch irgendwann seinen Port zu öffnen weiss,
wer das nicht kann, der kann auch mit der YaCy gui nicht umgehen bzw. wird 90% der Inhalte der Gui nicht verstehen.
Dennoch sollte einem Neuanfänger, der sagen wir 3 Wochen dabei bleibt, um dann doch entnervt aufzugeben (oder seinen Port nicht önnen möchtge oder kann), die Möglichkeit gegeben werdem seine Datenbank zu backuppen,
Vorschlagsidee wäre daher, einen Zeitmesser zu machen, der jede Woche nach Installation ca 10 Wochen lang jeden Freitag erscheint, und anbietet, die eigene Datenbank mit allen Urls Upzuloaden, das müsste dann zu einem zentralen Server sein oder mehrere davon.

Wenn der Index Transferiert ist, ist mit dem pop Up erstmal wieder 2 Wochen ruhe, bis x Urls erneut hinzugekommen sind,

Der Empfangende Peer wäre somit eine kleine Serverfarm, die in der Lage ist, die Zips über ftp zu empfangen und einzuglieder, dann müssen diese halt die URL distribuieren. Jeder Peer sollte entscheiden können, ob er diese FTP Zip annehmen will. Die "Farm" wäre dann also mehr eine IP liste wie die Seed liste... Aber so könnte man die URLS retten und andere Peers kommen an Url, ohne (ausschließlich) selbst zu crawlen.

Eigentlich muss das Netzwerk ja kein DHT sein, sondern jeder Peer könnte sich ja mit jedem Peer zu 100 % synchronisieren..
Dieses genutzt für die Passiven Peers hinter einem nat in Oneway Richtung würde doch die Urls retten, dann müssen die gar nicht verbunden werden.
ribbon
 
Beiträge: 212
Registriert: So Jan 06, 2008 4:23 pm

Re: Peers hinter Nat/Router

Beitragvon Lotus » Do Mai 27, 2010 7:53 pm

angeloffire hat geschrieben:2.
Wenn man da seinen Router konfigurieren muss damit das funktioniert, dann ist das viel zu kompliziert und es werden niemals genug Leute das nutzen das es interessant wir, ganz zu schweigen all die Leute die hinter einem NAT sitzen den sie nicht Konfigurieren können wie an der Hochschule.

Ich sehe da nur noch Potenzial, wenn mit IPv6 wieder ein heiles Internet existiert. Sobald das breiter eingeführt wird, sollte YaCy dahingehend angepasst werden, dass es IPv6 in allen Methoden beherrscht und die Peer-Kommunikation vorwiegend über IPv6 läuft.
Für NAT gibt es eine UPNP-Funktion, falls im Router und YaCy aktiviert.

ribbon hat geschrieben:Datenbank mit allen Urls Upzuloaden, das müsste dann zu einem zentralen Server sein oder mehrere davon.
[...]
jeder Peer könnte sich ja mit jedem Peer zu 100 % synchronisieren..

Das erledigt die YaCy-Architektur ja eigentlich ganz von alleine. Ein Total-Upload ist zumindest über eine normale DSL-Leitung nicht zumutbar.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: Peers hinter Nat/Router

Beitragvon ribbon » Do Jun 03, 2010 3:07 pm

Lotus hat geschrieben:Ein Total-Upload ist zumindest über eine normale DSL-Leitung nicht zumutbar.



Wieso? wenn der upload speed kleiner ist, dauert es einfach nur länger. Aber die Technik und die Linie dahin sollte vorhanden sein. Das bringt mich zu der Idee, nicht die Daten zu verteilen, sondern die Crawljobs,

ich fände das Konzept des Simultan-Crawls gut, d,h. ein peer, der einen Crawl durchführt, kann sich mit einer Option oder als default ebenso einen Super-Node schnappen, der dann diese Url ebenso als Simultan Crawl durchführt, damit werden nicht die Daten 3 x in den DHT geladen, sondern die zu Crawlende Url 2x.

Oder, wenn die Download geschwindigkeit grösser ist als die upload geschwindigkeit (deine Annahme warum upload nicht geht) kann nicht ein anderer Supernode die Url für den Anfragenden Crawlen und dem node local zusenden?

Ein Sync von Crawl Jobs wird dann benötigt, wenn die Daten ebenso ausgetauscht werden. das wäre viel flexibler, wenn eingige nodes lieber speichern und die anderen lieber crawlen..
ribbon
 
Beiträge: 212
Registriert: So Jan 06, 2008 4:23 pm


Zurück zu Wunschliste

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste

cron