Erfahrungen mit YaCy

Ereignisse, Vorschläge und Aktionen

Erfahrungen mit YaCy

Beitragvon wsb » Sa Jun 21, 2008 12:34 pm

Das folgende ist eine Mail an die Mitglieder des SuMa-eV (suma-ev@lists.suma-ev.de), die ich hier nur JFYI kund und wissen geben will:

-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Hallo allerseits,

im vorigen Newsletter schrieb ich ueber yacy (http://yacy.net), und die
Vorzuege dieses Peer-to-Peer- und unzensierbaren Suchmaschinen-Netzes:

> Ich moechte Sie motivieren, in dieses Netzwerk einzusteigen. Es lohnt
> sich fuer Sie: Sie haben endlich die Suchmaschine, die Sie schon
> immer haben wollten. Und es lohnt sich fuer alle: Sie setzen damit
> ein unuebersehbares Zeichen im Netz.

Mittlerweile habe ich selber auch meinen PC zu Hause (neben etlichen
anderen) als yacy Peer in diesem Netzwerk laufen und ich will mal kurz
ueber meine Erfahrungen bei Installation und Betrieb berichten. Mein
"PC zu Hause" laeuft unter Suse-Linux; die anderen, auf denen yacy in
meinem Arbeitsbereich laeuft, sind: Debian, Gentoo und OpenSolaris. Auf
ALLEN diesen war die Installation voellig problemlos: downloaden von
http://yacy.net, auspacken, ins yacy-Verzeichnis wechseln,
./startYACY.sh eingeben. Ein Problem, welches mir von einem Kollegen
berichtet wurde, gab es mit einer Xen-Instanz unter Debian; das Problem
liegt aber wohl klar bei Xen. D.h. Installationen unter Xen empfehlen
sich z.Zt. nicht.

Zurueck zu meinem "PC zu Hause": nach ./startYACY.sh gab es dann doch
manchmal Probleme, dass yacy den Rechner ziemlich beschaeftigte. Der
Neustart mit >nice -19 ./startYACY.sh< loeste all das.

Die naechsten Probleme waren die Ueberwindung des Firewall. Ich habe
hier zu Hause ein DSL-Anbindung via Telekom und einen Router "Speedport
W 701V": Dazu musste via Browserkonfiguration im NAT-Teil eine neue
Regel fuer den Webserver auf Port 8080 eingestellt werden. Weiterhin
musste die lokale Firewall auf dem PC fuer den Port 8080 aufgemacht
werden (mit YAST unter Suse), damit der Peer auch als "vollwertiger
Senior-Peer" im Netz laeuft. Dieser Punkt (oeffnen des Firewall) war
fuer jmd. wie mich, der sowas nicht taeglich macht, sicherlich am
schwierigsten.

Ohne DSL macht eine yacy-Installation wohl kaum Sinn. Nicht
erforderlich ist fuer den Betrieb des yacy-Peer aber eine feste
IP-Adresse (die habe ich auch nicht). Ich hoffe, auch Ihren Peer
demnaechst im yacy-Netz zu entdecken. Unter
http://localhost:8080/Network.html hat man stets einen Ueberblick ueber
das yacy-Netz; meinen "Peer zu Hause" finden Sie dort immer unter
suma-ev5 (der Name ist frei waehlbar).

Dass yacy wirklich performant geworden ist, zeigt sich u.a. daran, dass
ein yacy-Peer als Feed fuer metager.de im Default eingebunden ist, und
80.000 Anfragen pro Tag mit Leichtigkeit verarbeitet.

@Michael Christen ("Mr. YaCy" ;-): wenn ich noch was Wichtiges
vergessen habe: bitte ergaenze ...

Herzliche Gruesse!
Wolfgang Sander-Beuermann
--
Dr. Wolfgang Sander-Beuermann Tel.: 05085-6118 wsb@suma-ev.de
Geschaeftsfuehrer SuMa-eV http://www.suma-ev.de
Leiter Suchmaschinenlabor http://metager.de/suma.html Univ.Hannover
_______________________________________________
SuMa-eV mailing list
SuMa-eV@lists.suma-ev.de
http://lists.suma-ev.de/mailman/listinfo/suma-ev
wsb
 
Beiträge: 201
Registriert: Mi Jun 27, 2007 2:53 pm

Zwei Erfolgsmeldungen, ein Problem

Beitragvon tesla » So Jun 22, 2008 3:49 pm

Metager
Dass yacy wirklich performant geworden ist, zeigt sich u.a. daran, dass
ein yacy-Peer als Feed fuer metager.de im Default eingebunden ist, und
80.000 Anfragen pro Tag mit Leichtigkeit verarbeitet.
viewtopic.php?f=15&t=1263

Seit vorgestern läuft ein yacy-Peer mit resource=local&verify=false jetzt als Datenfeed für metager, und zwar im Default, also mit voller metager-Load von 70-80.000 Suchabfragen pro Tag. Und der yacy-Peer (rrzn1, nhf6.rrzn.uni-hannover.de:8080) läuft wirklich KLASSE! Antwortzeiten immer unter einer Sekunde. Echt super!!
viewtopic.php?f=7&t=1242&p=8552


Sciencenet
Das Sciencenet ist ein super Demonstration der Leistungsfähigkeit von YaCy und zeigt ziemlich beeindruckend das es wirklich funktioniert.
viewtopic.php?f=15&t=900&p=6021&hilit=+sciencenet+dht#p6021

die DHT-Verteilung ist im Sciencenet aus, ggf. muss sich das bei weiterem Wachstum aber ändern. Also keine Redundanzen da.
viewtopic.php?f=15&t=964&p=6453&hilit=+sciencenet+dht#p6450

Sciencenet Search engine based on YACY p2p technology
http://liebel.fzk.de/news-events/scienc ... y-launched


Zwei Erfolgsmeldungen, ein Problem:

Ja, Yacy funktioniert als Suchmaschine, schnell, und unter Last. Aber scheinbar nur, solange die Peer-to-peer-Funktionalität ausgeschaltet ist.
Bei Metager ist ein einzelner Rechner, bei Sciencenet ein ein lokales Cluster aus 42 Peers in einem Rechenzentrun. Beide Systeme sind losgelöst vom Yacy-Netz, DHT ist abgeschaltet, ihr Index ist aus dem normalen Yacy Netz nicht zu erreichen und die User sind keine "Peers".

Damit sind wir bei einer Me-too-Lösung für herkömmliche Suchmaschinen, für die es mit Lucene, Nutch und Hadoop bereits bewährte Open-Source-Lösungen gibt: http://search.wikia.com/wiki/Nutch

Schwerwiegender ist allerdings die implizite Aussage, wenn die Entwickler von Yacy immer dann wenn es um Performance geht, ihre Peer-to-peer Features abschalten,
und zur traditionellen Architektur zurückkehren. Damit demonstrieren Metager und Sciencenet eben gerade nicht die Leistungsfähigkeit von Yacy's Peer-to-Peer-Architektur, sonder eher das Gegenteil.

Wann kommt die peformante "Large-Scale" "Peer-to-Peer Web Search", wie sie auf der Homepage steht?

Ist nicht als Kritik gemeint, sondern eher als Frage wohin die Reise geht.
tesla
 
Beiträge: 11
Registriert: Do Jun 28, 2007 9:45 am

Re: Zwei Erfolgsmeldungen, ein Problem

Beitragvon Lotus » So Jun 22, 2008 5:04 pm

Also erst einmal sollte das Einschalten von DHT die Last sogar reduzieren. Wenn die Peers jedoch über schnelle Leitungen mit geringer Latenz miteinander verbunden sind, kann es problemlos abgeschaltet werden. Der Unterschied ist nur, dass ohne DHT jeder Peer immer abgefragt wird.
Eine objektive Auswertung der Performance in einem hochdynamischen Netz wie dem Freeworld zu machen ist nicht einfach. Da die Anzahl der Peers sowie deren Auslastung sehr differenzieren kann. Eine mit anderen Suchmaschinen vergleichbare Aussage zur Performance in diesem Netz wäre insoweit unfair.
Eine Aussage zur Performance die ich treffen kann ist nur, dass mit steigender Anzahl Peers im Freeworld dieses Netz aufgrund des DHT und der daraus resultierenden geringeren Auslastung der einzelnen Peers an Performance gewinnt.
Google liefert Suchergebnisse in 0,4-4s wenn sie nicht gecached werden (eigene Erfahrung). Wie die bisherigen Einzelbenchmarks zeigen, kann YaCy das im DHT auch. Die gesamtSuchzeit wäre näherungsweise die bereits bekannte Suchzeit + 2 * Latenz zwischen den Peers + Ranking-Berechnung. Dass dies im Freeworld noch nicht optimal läuft liegt in der vergleichsweise geringen Anzahl der Peers. Je mehr Peers verfügbar sind, desto geringer ist die aufkommende Last für jeden einzelnen. Ebenso wirkt sich auch die Dynamik (kommende und gehende Peers) bei geringer Peeranzahl stärker auf den DHT aus, da Inhalte doppelt verteilt werden und die Peers so allmählich "vollgeladen" werden. Bei einer größeren Peeranzahl wäre die Verteilung breiter gestreut.

Daraus folgt:
tesla hat geschrieben:Wann kommt die peformante "Large-Scale" "Peer-to-Peer Web Search", wie sie auf der Homepage steht?
Je mehr Peers wir haben.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: Zwei Erfolgsmeldungen, ein Problem

Beitragvon wsb » So Jun 22, 2008 7:30 pm

tesla hat geschrieben:Metager

Zwei Erfolgsmeldungen, ein Problem:

Ja, Yacy funktioniert als Suchmaschine, schnell, und unter Last. Aber scheinbar nur, solange die Peer-to-peer-Funktionalität ausgeschaltet ist.
Bei Metager ist ein einzelner Rechner, bei Sciencenet ein ein lokales Cluster aus 42 Peers in einem Rechenzentrun. Beide Systeme sind losgelöst vom Yacy-Netz, DHT ist abgeschaltet, ihr Index ist aus dem normalen Yacy Netz nicht zu erreichen und die User sind keine "Peers".


Das stimmt nicht: der metager Feed _IST_ Peer im yacy-Netz. DHT und Index-Distribution sind NICHT abgeschaltet.
wsb
 
Beiträge: 201
Registriert: Mi Jun 27, 2007 2:53 pm

Re: Zwei Erfolgsmeldungen, ein Problem

Beitragvon wsb » So Jun 22, 2008 7:39 pm

Lotus hat geschrieben:Daraus folgt:
tesla hat geschrieben:Wann kommt die peformante "Large-Scale" "Peer-to-Peer Web Search", wie sie auf der Homepage steht?
Je mehr Peers wir haben.


Genau darum versuche ich alles Mögliche, mehr Nutzer für yacy zu gewinnen. Meine Erfahrung daraus: es klappt häufig nur, wenn man Leute, die dafür infrage kommen, DIREKT anspricht, und auch persönlichen Support zusagt. Yacy ist zwar als einzige Suchmaschinen-Software wirklich plug-and-play (was eine aussergewöhnliche tolle Sache ist! :-), aber wenn man dann beim Betrieb in den Menüs herumklickt, oder deren Einzelpunkte verstehen will, kommen auch echte Freaks ohne Hilfe nicht aus. Darum denke ich, dass ein yacy-Netzwerk im grossen Stil nur ans Laufen kommen wird, wenn dahinter auch ein "Netzwerk von Menschen" steht.
wsb
 
Beiträge: 201
Registriert: Mi Jun 27, 2007 2:53 pm

Re: Erfahrungen mit YaCy

Beitragvon botec » Sa Jun 28, 2008 12:01 am

Hallo,
wsb hat geschrieben:Ein Problem, welches mir von einem Kollegen
berichtet wurde, gab es mit einer Xen-Instanz unter Debian; das Problem
liegt aber wohl klar bei Xen. D.h. Installationen unter Xen empfehlen
sich z.Zt. nicht.

was habt ihr denn für Probleme mit yacy unter XEN?
Ich betreibe seit ein paar Monaten meinen yacy Peer [changed] unter XEN (3.2) auf debian ohne mir bekannten Problemen :!:
Zuletzt geändert von botec am So Jul 20, 2008 1:17 am, insgesamt 1-mal geändert.
botec
 
Beiträge: 32
Registriert: Fr Jun 13, 2008 9:20 pm

Re: Erfahrungen mit YaCy

Beitragvon Orbiter » Sa Jun 28, 2008 12:04 am

in dem betreffenden Fall gabs kein /dev/null, und YaCy macht beim Java-Aufruf ein Schreiben darein. Ich habe dann in inrgendwelchen Foren gelesen, das Xen da manchmal seltsame Effekte hat.
Orbiter
 
Beiträge: 5798
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Erfahrungen mit YaCy

Beitragvon botec » Sa Jun 28, 2008 12:53 pm

Ich betreibe seit mehreren Jahren Xen Server (privat & beruflich) und hätte bis jetzt keine derartigen Probleme beobachten können. Vielleicht ist bei einer bootstrap Installation etwas schief gegangen?
Aber ohne /dev/null ist yacy vermutlich nicht sein einziges Problem gewesen :wink:
Wie auch immer, sollte jemand Probleme mit Xen haben könnt ihr ihn vertrauensvoll an mich verweisen und ich werde ihm gerne versuchen weiter zu helfen!
botec
 
Beiträge: 32
Registriert: Fr Jun 13, 2008 9:20 pm


Zurück zu Mitmachen

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast

cron