Public Cluster und Suchanfragen usw.

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Public Cluster und Suchanfragen usw.

Beitragvon botec » Mo Mai 25, 2009 9:28 pm

Hallo,

ich bin garade im dabei einen Public Cluster aufzubauen.
Meine derzeitigen Peers Debian-Suche1 bis Debian-Suche3 sollen (wie der Name schon vermuten lässt) viele Debian relevanten Seiten crawlen und dem Freeworld natürlich auch zur Verfügung stellen.

Also vorweg einmal bis jetzt klappt das Crawlen eigentlich sehr gut. Auf dem Peer1 (dedizierten Host im Rechenzentrum) gibt es die Crawls und Peer2 und 3 haun die remote Crawls weg wie nix. :) Großes Lob :!:


Mir sind da aber auch ein paar Ungereimtheiten aufgefallen:

* Unter Access Tracker/Remote Search/Log sehe ich keine Anfragen vom Freeworld oder max einen pro Woche
* Es gibt anscheinend keine DHT Verteilung innerhalb des Clusters und somit keine Redundanz?!?
* Eine Suche auf Peer1 bezieht nicht anscheinend nicht den Index von Peer2 und 3 ein?!?


Ist das so gewollt und verstehe ich den Public Cluster nur falsch? Habe im Forum fast nix über Public Cluster gefunden.

Bitte um Hilfe!

Ciao, Botec
botec
 
Beiträge: 32
Registriert: Fr Jun 13, 2008 9:20 pm

Re: Public Cluster und Suchanfragen usw.

Beitragvon Orbiter » Mo Mai 25, 2009 9:44 pm

die public cluster müssen sich gegenseitig als Clusterpeers benennen, hast du das gemacht? DHT gibt nicht in cluster, per definition.
Orbiter
 
Beiträge: 5796
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Public Cluster und Suchanfragen usw.

Beitragvon botec » Mo Mai 25, 2009 10:07 pm

Ja, die Cluster Nodes sind sich gegenseitig "vorgestellt" worden und arbeiten auch zusammen bei den Remote Crawls.

* Nur Suchanfragen kommen anscheinend keine vom Freeworld aus
* Suchanfragen auf Peer1 laufen nur lokal und nicht über den ganzen Cluster

Warum kann es denn kein DHT im Cluster geben?
botec
 
Beiträge: 32
Registriert: Fr Jun 13, 2008 9:20 pm

Re: Public Cluster und Suchanfragen usw.

Beitragvon Orbiter » Mo Mai 25, 2009 10:22 pm

es sind schlicht gegensätzliche Konzepte. Mit dem Cluster kannst du deine eigene Netztopologie einfach durch entsprechende Verlinkung der Peers erreichen; du kannst es sternförmig machen oder auch eine Matrix. Oder alle-zu-alle. Aber eben keine DHT, denn die benutzt nicht Verlinkung sondern eine Metrik zum Routing.

Wenn du dein eigenes Netz mit DHT machen willst, kannst du das ja auch: einfach eine eigene Netzdefinitionsdatei erstellen, auf einem Webserver hosten, und dann bei der Konfiguration des Netzes die Adresse der Definitionsdatei angeben. Schon hast du dein eigenes YaCy-Netz (in dem es natürlich wieder Cluster geben kann...)
Orbiter
 
Beiträge: 5796
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Public Cluster und Suchanfragen usw.

Beitragvon botec » Mo Mai 25, 2009 10:29 pm

Ein eigenes Netz bedeutet doch aber auch keine Freeworld Unterstützung oder?
botec
 
Beiträge: 32
Registriert: Fr Jun 13, 2008 9:20 pm

Re: Public Cluster und Suchanfragen usw.

Beitragvon Orbiter » Mo Mai 25, 2009 10:37 pm

ja. Aber hier fällt mir ein:
botec hat geschrieben:Nur Suchanfragen kommen anscheinend keine vom Freeworld aus

Du musst das Anfragen von Peers aus dem Netz an deine Clusterpeers explizit erlauben, denn sonst fallen die nicht in ein Anfrageschema. Das Schema in der DHT nutzt halt nur DHT-Targets, die deine Peers nicht sind, und zusätzlich solche public robinson, deren Peer Tags auf die Suchanfrage passen. Du kannst in deine Peer Tags (Netzdefinition, da wo du das Cluster einstellst) mit Stichwörtern füllen, oder ein '*' rein schreiben, dann sollte dein Peer immer angefragt werden.
(war nicht erklärt im Interface, hab das in SVN 5975 eingefügt)
Orbiter
 
Beiträge: 5796
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Public Cluster und Suchanfragen usw.

Beitragvon botec » Di Mai 26, 2009 9:38 am

Ja, der Tipp war gut :lol:
Jetzt kommen brav anfragen aus Freeworld. Danke :!:

Gibt es auch noch eine Möglichkeit eine Suche auf einem Public Cluster Peer über alle zu verteilen so wie von Freeworld aus?
botec
 
Beiträge: 32
Registriert: Fr Jun 13, 2008 9:20 pm

Re: Public Cluster und Suchanfragen usw.

Beitragvon Orbiter » Di Mai 26, 2009 9:53 am

nein, liegt auch wieder daran, dass es eben zum Konzept der Robinson-Peers gehört: definitionsgemäß wollen Robinson-Peers eben keine Indexe von anderen Peers haben. Es gibt sogar gar kein Flag, das heisst: das ist ein Robinson-Peer. Statt dessen gibt es das 'receive index' flag, das einstellt ob dein Peer von fremden Peers Indexe haben darf, und wenn dieses Flag nicht gesetzt ist, nennt man das dann halt einen Robinson-Peer. Die einzige Ausnahme sind die per cluster zugewiesenen Peers.
Orbiter
 
Beiträge: 5796
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Public Cluster und Suchanfragen usw.

Beitragvon botec » Di Mai 26, 2009 9:40 pm

Orbiter hat geschrieben:Die einzige Ausnahme sind die per cluster zugewiesenen Peers.


So dachte ich mir das eben auch. Aber von den anderen Nodes im Cluster bekommt man ja eben keine Daten für den Index und auch keine Search Results...
Was ich schade finde, denn so lässt sich keine Community aufbauen, wo viele Leute in einem Public Cluster zusammen zu einen Thema (in meinem Fall Debian) gemeinsam die Inhalte Crawlen und den Index miteinander sharen. Wo es mehrere Suchportale zu einem Thema geben kann (gemeinsame Suchanfragen über den shared Index).

Gibt es die Möglichkeit ein eigenes Netzwerk zu betreiben und dennoch von Freeword abfragbar zu sein? So Gateway Nodes, die Anfragen von vom Freeworld mit dem shared Index vom Netzwerk beantworten?
botec
 
Beiträge: 32
Registriert: Fr Jun 13, 2008 9:20 pm

Re: Public Cluster und Suchanfragen usw.

Beitragvon itgrl » Di Mai 26, 2009 10:06 pm

So einen Ansatz wollte ich mit einem privaten Netz verfolgen das keine Indexdaten von aussen erhalten darf, in eurem Fall ists ja nur unerwünscht. Da ein Zugriff von Aussen über einzele Suchpeers zu unflexibel und störanfällig ist habe ich dazu folgende Überlegungen:

1) Schnittstellenpeers die 2 abgeschlossene DHTs verbinden. Das geht natürlich nicht über die DHT-Mechanismen, dazu muss ein Netz in sich abgeschlossen sein. Aber man könnte dafür sorgen dass Daten von einem Netz ins andere wandern. Das gibt es noch nicht.

2) Man klinkt sich ins öffentliche Netz ein, kennzeichnet aber für sich im eigenen Netz die eigene Indexdaten. So kann man dafür sorgen dass bei Suchen nur eigene Daten gefunden werden und umgekehrt auch eigene Indexdaten im offenen Netz mit Mehrwert anbieten. So möchte ich es umsetzen.

Lösung 1 wäre das Optimum, ich befürchte aber nicht ohne weiteres machbar. Lösung 2 ist mit angedachten Erweiterungen machbar und für mich völlig ausreichend, ich sehe euer Netz ähnlich motiviert: Einen geschlossenen Index aufbauen und pflegen aber die Arbeit die dazu nötig ist auch zu sharen. Wäre Unsinn das nicht zu tun*.

*Irgendjemand indexiert grade Marx und ich fische bei Langeweile gerne Links, deshalb fällt mir dazu ein: Wir haben die Transportmöglichkeiten, die Arbeit wollen wir leisten, Kapital nicht viel nötig also fehlt nicht mehr viel zu einem wirklich bequemen nochmal anderen Cyberspace.
itgrl
 
Beiträge: 58
Registriert: Do Feb 05, 2009 7:20 am

Re: Public Cluster und Suchanfragen usw.

Beitragvon dulcedo » Di Aug 25, 2009 9:27 am

botec hat geschrieben:
Ja, der Tipp war gut
Jetzt kommen brav anfragen aus Freeworld. Danke

Gibt es auch noch eine Möglichkeit eine Suche auf einem Public Cluster Peer über alle zu verteilen so wie von Freeworld aus?

Orbiter hat geschrieben:nein, liegt auch wieder daran, dass es eben zum Konzept der Robinson-Peers gehört: definitionsgemäß wollen Robinson-Peers eben keine Indexe von anderen Peers haben. Es gibt sogar gar kein Flag, das heisst: das ist ein Robinson-Peer. Statt dessen gibt es das 'receive index' flag, das einstellt ob dein Peer von fremden Peers Indexe haben darf, und wenn dieses Flag nicht gesetzt ist, nennt man das dann halt einen Robinson-Peer. Die einzige Ausnahme sind die per cluster zugewiesenen Peers.



Hierzu eine Frage, warum ist es nicht möglich dass peer1 die anderen beiden beim Suchen mitbefragt, oder ist das nur defekt?
Beide Peers (6177, 67) sind robinson / public cluster und haben sich gegenseitig bekannt gemacht. Ich sehe aber keine Suchanfragen, remote-crawls werdewn nicht erzeugt. Gefunden wird ein eindeutiges Suchwort auf dem jeweils andren nicht.
Nach dem Hochfahren sehen sich beide gegenseitg als senior active, nach einiger zeit wird der jeweisl andere als senior passive angezeigt.
Peer 6177 war vorher ein DHT-peer in freeworld, der andere neu als robinson aufgesetzt, kann das die Ursache sein?
dulcedo
 
Beiträge: 1006
Registriert: Do Okt 16, 2008 6:36 pm
Wohnort: Bei Karlsruhe

Re: Public Cluster und Suchanfragen usw.

Beitragvon Orbiter » Di Aug 25, 2009 4:45 pm

ich hab mir vorgenommen das ganze clustergedöns nochmal richtig intensiv durchzutesten, komme da nur nicht dazu. :(
Orbiter
 
Beiträge: 5796
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Public Cluster und Suchanfragen usw.

Beitragvon dulcedo » Di Aug 25, 2009 5:13 pm

Denke das Problem liegt eher daran dass sie sich beim Start kurz sehen, danach nicht mehr. An eine ähnliche Sache kann ich mich im Frühjahr erinnern, finde es hier aber gerade nicht, da gings um DHT.
dulcedo
 
Beiträge: 1006
Registriert: Do Okt 16, 2008 6:36 pm
Wohnort: Bei Karlsruhe

Re: Public Cluster und Suchanfragen usw.

Beitragvon bluumi » Di Aug 25, 2009 10:21 pm

dulcedo hat geschrieben: An eine ähnliche Sache kann ich mich im Frühjahr erinnern,

War das vielleicht diese? Da verlohren jedenfalls die Peers auch den Kontakt zueinander.
bluumi
 
Beiträge: 388
Registriert: Mi Okt 08, 2008 7:27 am

Re: Public Cluster und Suchanfragen usw.

Beitragvon dulcedo » Mi Aug 26, 2009 4:12 am

Ja das habe ich gemeint, ich denke das ist die Ursache:

Code: Alles auswählen
PEERNEWS: derchris-eu joined the network
PEERNEWS: geo-snap joined the network
PEERNEWS: Lordy joined the network
PEERNEWS: 4o4 joined the network
PEERNEWS: KIT01-14f joined the network
PEERNEWS: ubuntu joined the network
PEERNEWS: hedav joined the network
PEERNEWS: Tigma_2 joined the network
PEERNEWS: KIT01-15n017-ZUW joined the network
PEERNEWS: bigbird left the network


bigbird ist der andere clusterpeer, er ist unmittelbar nach dem erten Kontakt wieder unerreichbar.
Du schreibst dort eingeschaltetes Remote-Crawling könnte die Ursache sein, das ist bei Clusterpeers nicht deaktivierbar (Absicht?).
dulcedo
 
Beiträge: 1006
Registriert: Do Okt 16, 2008 6:36 pm
Wohnort: Bei Karlsruhe

Re: Public Cluster und Suchanfragen usw.

Beitragvon bluumi » Mi Aug 26, 2009 11:17 am

dulcedo hat geschrieben:Du schreibst dort eingeschaltetes Remote-Crawling könnte die Ursache sein,

Der Fehler in der RemoteCrawl Anfrage / Antwort wurde jedoch damals dann auch gefixt. Es kann diesesmal nicht genau derselbe Fehler sein, jedoch könnte es wieder an einem Kommunikations "parameter" liegen, welcher fehlschlägt. .. was weiss ich schon .. *lach* .. Aber damals war es ja noch einfach zu erkennen dass es genau immer die rauswarf, welche es einen Verbindungsversuch machte.
bluumi
 
Beiträge: 388
Registriert: Mi Okt 08, 2008 7:27 am

Re: Public Cluster und Suchanfragen usw.

Beitragvon dulcedo » Mi Aug 26, 2009 6:21 pm

Hier scheint es jetzt so zu sein dass die peers sich beim crawlen verlieren. Pausiere ich das bei beiden dann haben sie sich nach kurzer Zeit wieder gefunden. Es wird aber immer noch keine Suchanfrage an den anderen peer gestellt und es kommen in dieser Betriebsart (robinson / public cluster) auch keine Suchanfragen aus freenet, obwohl * eingetragen.
dulcedo
 
Beiträge: 1006
Registriert: Do Okt 16, 2008 6:36 pm
Wohnort: Bei Karlsruhe


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: Bing [Bot] und 2 Gäste