yacy in metager

Allgemeines und Nachrichten zu Suchmaschinen-Themen

yacy in metager

Beitragvon wsb » Sa Jun 14, 2008 7:58 am

Seit vorgestern läuft ein yacy-Peer mit resource=local&verify=false jetzt als Datenfeed für metager, und zwar im Default, also mit voller metager-Load von 70-80.000 Suchabfragen pro Tag. Und der yacy-Peer (rrzn1, nhf6.rrzn.uni-hannover.de:8080) läuft wirklich KLASSE! :-) Antwortzeiten immer unter einer Sekunde. Echt super!!

Schöne Grüße,
Wolfgang Sander-Beuermann
wsb
 
Beiträge: 201
Registriert: Mi Jun 27, 2007 2:53 pm

Re: yacy in metager

Beitragvon DanielR » Sa Jun 14, 2008 9:31 am

Sehr schön :)
DanielR
 
Beiträge: 395
Registriert: Di Feb 12, 2008 2:22 pm

Re: yacy in metager

Beitragvon ribbon » So Jun 15, 2008 10:30 am

danke sehr schön, aber warum ging das nicht schon zwei jahre vorher? (Rückschau)
Vorschau: was können die user unterstützen, dass das ausgebaut wird? Gibt es einen Backup-node? also einen zweiten peer?
oder reicht einer? kann mann search=network einstellen oder muss es local bleiben?
Ferner: Besteht eine Möglichkeit, die ausgeworfenen Suchergebnisse eines jeden Metager-Suchers in einem dritten Yacy Node zu crawlen? und dann an andere Peers ins Netzwerk zu verteilen? sprich die anderen Suchmaschinen und die Suchworte der User für das yacy Netzwerk zu nutzen? So würde man doch immer die Top Ergebnisse haben zu jedem Wort.. Daher bitte mal überlegen, wie man noch 2 Maschinen aufstellen kann, eine als Backup an einem anderen Standort und eine mit Interface, die die Urls von Metagar zum Re-Crawl (nein, hat nichts mit DSDS zu tun) vorschlägt.
ribbon
 
Beiträge: 212
Registriert: So Jan 06, 2008 4:23 pm

Re: yacy in metager

Beitragvon Low012 » So Jun 15, 2008 11:23 am

ribbon hat geschrieben:danke sehr schön, aber warum ging das nicht schon zwei jahre vorher? (Rückschau)


Ich denke, dass YaCy dafür damals einfach nicht schnell genug war und eventuell unter der Last der Anfragen spürbar langsamer geworden wäre.
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: yacy in metager

Beitragvon ribbon » So Jun 15, 2008 11:39 am

mh..verstehe ich jetzt nicht, ist das netzwerk grösser geworden? haben die eine neue CPU-Maschine? oder oder die die Java-programmierung schlanker geworden?
ribbon
 
Beiträge: 212
Registriert: So Jan 06, 2008 4:23 pm

Re: yacy in metager

Beitragvon Low012 » So Jun 15, 2008 11:56 am

Hauptsächlich dürfte sich Orbiters Arbeit an der Datenbank ausgezahlt haben. Mittlerweile ist YaCy (jedenfalls auf meinem Peer) meistens nach deutlich unter 3 Sekunden fertig mit dem Zusammensuchen der lokalen Suchergebnisse, dem Abfragen der globalen Ergebnisse und dem Zusammenabuen der Snippets. Das war früher noch anders, da hatte YaCy einen eingebauten und vom User einstellbaren Timeout (Standard waren glaube ich 3 Sekunden), nach dem YaCy einfach abgebrochen hat und nur die bis dahin bekannten Ergebnisse zurück gegeben hat.

Metager hat ja auch einen Timeout, um nicht von einzelnen Quellen ausgebremst zu werden. Früher waren von YaCy kaum Ergebnisse zu erwarten, da der Standard-Timeout von Metager oft schon zugeschlagen hat, bevor von YaCy was kam. Ergebnisse von YaCy sind erst aufgetaucht, wenn man den Timeout von Metager hochgesetzt hat, aber wer macht das schon? Jetzt ist YaCy schneller und bei Metager ist der Snippetfetsch ausgeschaltet. Das hat zwar zur Folge, dass derzeit bei Ergebnissen von YaCy kein beschreibender Text angezeigt wird, dafür tauchen aber bei so gut wie allen Suchen, die ich getestet habe, tatsächlich ergebnisse von YaCy auf.
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: yacy in metager

Beitragvon Orbiter » So Jun 15, 2008 1:56 pm

das hier keine Missverständnisse entstehen: der YaCy-Peer, der bislang in Metager eingebunden war wurde nur genutzt wenn der User das YaCy-Flag gesetzt hat. Dafür hat der aber auch das ganze YaCy-Netz genutzt, UND den Snippet-Fetch gemacht. Jetzt hat Wolfgang mal probiert, YaCy per Default an zu machen, und das bedeutet das eben je nach Lastspitze 1-10 Anfragen in der Sekunde rein kommen. Das geht nicht im globalen Netz, da würde schon lange alles platt sein. Die jetztige Konfiguration macht nur eine lokale Suche, und keinen snippet-fetch. In dieser Konstellation dauert eine YaCy-Suche nur 100-200 millisekunden, und wer das mal mit einem Testlauf selber probieren will kann das mit dem neuen Testscript im dev-Release tun:

cd bin
./searchtest.sh

wie sind eure Ergebniszeiten?
Jedenfalls ist es sehr gut das dieser Peer dauerhaft in metager ist, da dadurch die Sichtbarkeit von YaCy stark erhöht ist.
Orbiter
 
Beiträge: 5796
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: yacy in metager

Beitragvon ribbon » So Jun 15, 2008 11:50 pm

wird es denn mal eine Zeit geben, wo der node der Metager in echtzeit direkt das netzwerk abfragt? wegen mir auch MIT snippets? Was muss man tun, um diesen Zustand zu erreichen? naja, es kann ja auch lokal bleiben, daber dann muss die Datenbank grösser werden dieses nodes, was wiederum für einen zweiten rechner spricht? oder gar ein ganzes cluster?
ribbon
 
Beiträge: 212
Registriert: So Jan 06, 2008 4:23 pm

Re: yacy in metager

Beitragvon miTreD » Mo Jun 16, 2008 9:40 am

Orbiter hat geschrieben:wer das mal mit einem Testlauf selber probieren will kann das mit dem neuen Testscript im dev-Release tun:

cd bin
./searchtest.sh

wie sind eure Ergebniszeiten?
Ergebnisse bitte hierhin:
http://forum.yacy-websuche.de/viewtopic.php?f=5&t=1247
Dort habe ich auch ein paar Beiträge dieses Threads eingefügt.
miTreD
 
Beiträge: 1241
Registriert: Mi Jun 27, 2007 11:35 am
Wohnort: /home

Re: yacy in metager

Beitragvon Orbiter » Di Jun 17, 2008 3:04 pm

ribbon hat geschrieben:wird es denn mal eine Zeit geben, wo der node der Metager in echtzeit direkt das netzwerk abfragt? wegen mir auch MIT snippets? Was muss man tun, um diesen Zustand zu erreichen? naja, es kann ja auch lokal bleiben, daber dann muss die Datenbank grösser werden dieses nodes, was wiederum für einen zweiten rechner spricht? oder gar ein ganzes cluster?

ribbon hat geschrieben:hallo, was ist den mit der idee einer zweiten backup machine, und was mit der idee, die urls der metager zu crawlen für yacy? kann man nicht mal einen test machen, die suchanfragen ins netzwerk zu leiten?

bitte kurz mitrechnen: 80000 Suchanfragen an metager pro Tag macht eine Suchanfrage pro Sekunde. Wenn die alle ins YaCy-Netz gehen sind alle eure Rechner platt. Dann schalten alle ab und da haben wir den Salat. Ich möchte einen solchen Versuch, alle Suchanfragen von metager in das freeworld Netz zu leiten daher zum Schutze des Netzes und dessen User nicht unterstützen, und in der Tat gibt es Schutzvorrichtungen die einem solchen Fall beispielsweise durch Missbrauch vorbeugen.

Andererseits wäre es interessant ein metager-Supporter - Netz zu haben, in das dann tatsächlich auch alle Suchanfragen von Metager gehen, und wo sich die Betreiber der Peers darüber bewusst sind. Hierzu wäre es notwendig in YaCy eine Konfiguration für die inzwischen integrierte DoS-Suchabwehr einzubauen, so dass man metager einen Vollzugriff erlaubt. Wie siehts aus, gibts dafür Interessenten? Das blöde ist halt nur, dass diejenigen die dann da mitmachen dann ihre Peers aus freeworld raus nehemen würden.
Orbiter
 
Beiträge: 5796
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: yacy in metager

Beitragvon wsb » Di Jun 17, 2008 5:28 pm

Andererseits wäre es interessant ein metager-Supporter - Netz zu haben, in das dann tatsächlich auch alle Suchanfragen von Metager gehen, und wo sich die Betreiber der Peers darüber bewusst sind. Hierzu wäre es notwendig in YaCy eine Konfiguration für die inzwischen integrierte DoS-Suchabwehr einzubauen, so dass man metager einen Vollzugriff erlaubt. Wie siehts aus, gibts dafür Interessenten? Das blöde ist halt nur, dass diejenigen die dann da mitmachen dann ihre Peers aus freeworld raus nehemen würden.


Sobald ich hier noch einen Rechner in die Finger kriege (und das könnte morgen schon klappen), werde ich den ins YaCy-Netz stellen, und nach einiger Zeit (wenn seine eigene lokale Datenbank gross genug ist) als 2.-ten metager-Feed betreiben. Und so weiter ... (=> "metager-Supporter - Netz").

Das einzig störende ist, dass metager von YaCy-Peers keine Snippets bekommt, unsere metager-Ranking benutzt diese Textteile. Aber das Nachladen ist unmöglich bei Antwortzeiten unter einer Sekunde. Gibts eine Chance, die Snippets beim Crawlen mit zu sammeln? Aber dann wäre der Plattenplatzverbrauch natürlich vielfach höher, es müssten ja die gesamten Texte gespeichert werden. Und die nächste Frage wäre, ob die Zugriffsgeschwindigkeit der Platten schnell genug ist, um diese Textteile unter einer Sekunde zu finden und auszulesen. Unsere anderen Erfahrungen mit Nutch-Lucene zeigen, dass das (dort zumindest) grenzwertig ist. Aber vielleicht ist ja die YaCy-Datenbank schneller? :-)
wsb
 
Beiträge: 201
Registriert: Mi Jun 27, 2007 2:53 pm

Re: yacy in metager

Beitragvon m1k3ga » Mi Jun 18, 2008 8:55 am

Welche Version von yacy wird für die metager geschichte genutzt?
Kannste mal bitte deine "queues performance settings" posten, damit ich abgleichen kann mit meinen Einstellungen.

wir haben hier zwei yacy peers (zur zeit im robinson mode) und haben eine last von 5-10 anfragen pro sekunde. da hängt der yacy sich immer auf.
Zu Spitzenzeiten werden das 30 Anfragen pro Sekunde sein, was zur Zeit mit yacy wohl nicht machbar ist.
Die Kiste selbst hat 8 Kerne mit 4GB RAM (3GB für JVM zugewiesen). Yacy wird von einem Java-Service (unter Tomcat) abgefragt und hat einen voreingestellten timeout von 1,3sek, was yacy praktisch nie erreicht (>80% timeout). Selbst mit dem zwischengeschalteten memcached krieg ich bei uns keine Antworten bei über 70% der Anfragen. Wenn ich statt yacy alexa einschalte (ist über den service konfigurierbar), bin ich bei 99% Erfolgsquote.

Die developer-Version 0.589/4886 (zum testen für das verify=false) lief hier gar nicht.
m1k3ga
 
Beiträge: 30
Registriert: Di Apr 29, 2008 5:23 pm

Re: yacy in metager

Beitragvon Orbiter » Mi Jun 18, 2008 9:11 am

du musst das ganz aktuelle dev-Release SVN 4935 nehmen.

m1k3ga hat geschrieben:Die Kiste selbst hat 8 Kerne mit 4GB RAM (3GB für JVM zugewiesen).

ab svn 4932 ist in YaCy ein etwas besserer Quadcore-Support..

m1k3ga hat geschrieben:Yacy wird von einem Java-Service (unter Tomcat) abgefragt und hat einen voreingestellten timeout von 1,3sek, was yacy praktisch nie erreicht (>80% timeout).

Mit den Parametern wie unten beschrieben sollte eine Anfrage nur 200 Millisekunden dauern:

Seit einem DoS Angriff auf eine amerikanische Uni, die mit Hilfe von Sciencenet statt gefunden hat, gibts in YaCy DoS-'Fallen', die du wahrscheinlich als 'aufhängen' interpretierst. Du kommst momentan nur um die eingebauten Sperren herum, indem du über yacysearch eine lokale Suche ohne snippet fetch machst. Wie das geht zeigt das script bin/localsearch.sh:
Code: Alles auswählen
http://localhost:8080/yacysearch.rss?query=suchbegriff&resource=local&verify=false


das sollte aber fix gehen! Wie sind bei dir die Testwerte von bin/searchtest.sh ?

m1k3ga hat geschrieben:Die developer-Version 0.589/4886 (zum testen für das verify=false) lief hier gar nicht.

Da gab es das verify=false noch nicht, wohl aber die DoS-Sperren. Das verify=false funktioniert erst ab SVN 4911
Orbiter
 
Beiträge: 5796
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: yacy in metager

Beitragvon m1k3ga » Mi Jun 18, 2008 10:10 am

>ab svn 4932 ist in YaCy ein etwas besserer Quadcore-Support
das klingt schonmal gut ;-)

>...Sciencenet statt gefunden hat, gibts in YaCy DoS-'Fallen',
Der yacy hatte gar nicht mehr geantwortet und die Admin-Webseite kam nicht mehr,
da musste ich den task abschießen.

>Da gab es das verify=false noch nicht, wohl aber die DoS-Sperren. Das verify=false funktioniert erst ab SVN 4911
Sorry, war die 0.588/4878.
Aber wenn das sowieso erst ab der 4911 funktioniert, muss ich das jetzt nochmal testen.
Ich habe gerade die aktuelle Dev-Version (0.591/04935) installiert und werde mal testen.

> bin/searchtest.sh
ist bei mir nicht zu finden, hab auch mal das archiv einzeln runter geladen, aber das shellscript find ich nich.
Hab ich da was übersehen?

Zum Testen hab ich mir ein PHP skript geschrieben, das über curl parallele anfragen schickt.
Dazu hab ich mir ne liste von Keywords genommen und den yacy damit befeuert.
Das werd ich auch mit der Dev-Version nochmal testen.
m1k3ga
 
Beiträge: 30
Registriert: Di Apr 29, 2008 5:23 pm

Re: yacy in metager

Beitragvon m1k3ga » Mi Jun 18, 2008 11:10 am

Habe jetzt die (0.591/04935) installiert und lasse mein Lasttest-Skript laufen (PHP5, curl).

>Seit einem DoS Angriff auf eine amerikanische Uni, die mit Hilfe von Sciencenet statt gefunden hat, gibts in YaCy DoS-'Fallen', die du wahrscheinlich
>als 'aufhängen' interpretierst. Du kommst momentan nur um die eingebauten Sperren herum, indem du über yacysearch eine lokale Suche ohne
>snippet fetch machst. Wie das geht zeigt das script bin/localsearch.sh:
>http://localhost:8080/yacysearch.rss?query=suchbegriff&resource=local&verify=false

Meine Anfrage ist :
http://crawler1.i.sedorz.net:8080/yacysearch.rss?query=%s&Enter=Search&contentdom=text&offset=0&resource=local&verify=false&count=6
(%s wird durch ein sprintf mit dem zu suchenden Wort ersetzt vor dem Absetzen der Anfrage)

Deiner Bemerkung nach greift die DoS-Falle in dem Fall nicht.
Ich befeuere gerade yacy mit 10 parallelen Anfragen aus einer zufälligen Keyword-list (10000 Worte).
Die ersten 4100 Anfragen funktionieren noch (mit 90% Suchantworten), danach hängt yacy, 0 Antworten, Admin-Webseite geht nicht mehr und der java prozess in top liefert 800% Last. :-(

Für 5 Anfragen parallel ist es kein problem, da erhalte ich bei 10000 Suchworten 99,39% Suchantworten innerhalb von 2sek.

10 parallele Anfragen ist wohl doch noch zuviel, leider.
m1k3ga
 
Beiträge: 30
Registriert: Di Apr 29, 2008 5:23 pm

Re: yacy in metager

Beitragvon Orbiter » Mi Jun 18, 2008 11:26 am

öhm, muss es denn tatsächlich so viel sein?
Aber was solls, wäre doch gelacht wenn dein Stresstest nicht ans laufen zu kriegen wäre. Mach bitte mal folgendes:

YaCy mit 'startYACY.sh -l' starten, danach schreibt YaCy ein log auf yacy.log raus. Da kannst du dann mit einem kill -3 ein Thread dump rein machen. Dazu bringst du YaCy erst mit deinen 10 parallelen Anfragen in die 800%-Last Situation, dann machst du ein 'ps ax | grep java' um den java-Prozess zu finden und setzt dann ein kill -3 auf den Prozess drauf. Daraufhin wird ein Thread dump in yacy.log geschrieben. Den bitte hier posten, ich schaue dann mal wo es klemmt.
Orbiter
 
Beiträge: 5796
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: yacy in metager

Beitragvon daburna » Mi Jun 18, 2008 12:15 pm

Entschuldigung, ich finde immer noch nicht das BIN Verzeichnis. Es wird bei mir einfach nicht gepackt, wenn ich ant dist starte.
daburna
 
Beiträge: 316
Registriert: Mi Jun 27, 2007 12:05 pm
Wohnort: Greifswald

Re: yacy in metager

Beitragvon Lotus » Mi Jun 18, 2008 3:09 pm

daburna hat geschrieben:ich finde immer noch nicht das BIN Verzeichnis.

mit r4936 wirst du es finden.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: yacy in metager

Beitragvon daburna » Mi Jun 18, 2008 5:16 pm

Jip! Danke!
daburna
 
Beiträge: 316
Registriert: Mi Jun 27, 2007 12:05 pm
Wohnort: Greifswald

Re: yacy in metager

Beitragvon m1k3ga » Do Jun 19, 2008 8:28 am

seit gestern hab ich auf den beiden yacy Kisten die Version 0.591/04935 laufen mit meinen Lasttests.
Das ging Anfangs auch echt gut (Screenshot mit Daten im Anhang). Ich wollte halt den Fall mit 800% Last reproduzieren.
Leider ist mir das nicht vorhersagbar gelungen.
Trotzdem sind mir beide Kisten gestern zweimal abgestürzt und heute morgen wieder beide.
Ich hab mit yacyStart.sh -l ne log datei schreiben lassen, die aber mehrere MByte groß ist. Also für ne Analyse nich wirklich hilfreich, denk ich mir.

Gestern liefen die Kisten mit bis zu 75 parallelen Anfragen stabil. Heute morgen sind beide abgestürzt bei nur 10 parallelen Anfragen,
also nicht wirklich reproduzierbar, denn ich habe gestern bestimmt ein Dutzend Tests laufen lassen.

Any idea?
Dateianhänge
crawler1.png
crawler1.png (11.65 KiB) 16752-mal betrachtet
m1k3ga
 
Beiträge: 30
Registriert: Di Apr 29, 2008 5:23 pm

Re: yacy in metager

Beitragvon miTreD » Do Jun 19, 2008 10:44 am

m1k3ga hat geschrieben:Ich hab mit yacyStart.sh -l ne log datei schreiben lassen, die aber mehrere MByte groß ist. Also für ne Analyse nich wirklich hilfreich, denk ich mir.
Wenn Du den Threaddump erzeugst steht der ja am Ende der Datei und das reicht auch völlig aus. Das ganze Logfile macht erstmal keinen Sinn, da hast Du Recht.
miTreD
 
Beiträge: 1241
Registriert: Mi Jun 27, 2007 11:35 am
Wohnort: /home

Re: yacy in metager

Beitragvon Orbiter » Do Jun 19, 2008 12:57 pm

also dafür dass wir vor einem Jahr noch froh waren innerhalb von drei Sekunden ein Suchergebnis ausspucken zu können und eine 2. simultane Suche alles blockiert hat sind diese Messergebnisse ja der Hammer! 100 simultane Anfrage, muss dass denn wirklich sein?

Auf jeden Fall muss die Stabilität da sein. m1k3ga, ich vermute mal dass deine Tests in kommentarlosen Crashes geendet sind, nicht in deadlocks? Wenn es nämlich in einem Crash endet, dann ist es im Prinzip die jvm schuld; das sind Fälle die ich immer wieder mal auch auf meinem Mac ohne Last beobachte. WSB hat ja eine durch Michael Nebel konzipierte jvm-Startoptionensammlung beigesteuert, die auch in dem von dir getesteten YaCy Release mit drin ist und die offenbar bei den Metager-Peers für mehr Stabilität gesorgt hat.

Eine Option wäre es hier, mal etwas professionellere jvms von IBM oder JRockit von BEA zu testen. Hast du ggf. darauf Zugriff?
Orbiter
 
Beiträge: 5796
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: yacy in metager

Beitragvon datengrab » Do Jun 19, 2008 1:01 pm

Orbiter hat geschrieben:Eine Option wäre es hier, mal etwas professionellere jvms von IBM oder JRockit von BEA zu testen. Hast du ggf. darauf Zugriff?

IBMs Java gibts nach Anmeldung kostenlos.
datengrab
 
Beiträge: 366
Registriert: Sa Aug 25, 2007 7:22 pm

Re: yacy in metager

Beitragvon m1k3ga » Do Jun 19, 2008 3:42 pm

>100 simultane Anfrage, muss dass denn wirklich sein?
Mir ging es darum, die Anzahl der Suchantworten im Verhältnis zu den parallelen Anfragen zu bewerten, sprich, was mit unserem System machbar ist.
Im täglichen Einsatz sind wir gerade soweit, daß es zirka 5 Anfragen pro Sekunde sind (unter anderem dank memcached),
die mit einer CPU-Last von 2% läuft ;-)

>Auf jeden Fall muss die Stabilität da sein.
Sehe ich auch so.
Mein Problem ist halt, daß ich das Hängen von yacy nicht reproduzieren kann, sondern es einfach auftritt.

>m1k3ga, ich vermute mal dass deine Tests in kommentarlosen Crashes geendet sind, nicht in deadlocks?
Das beobachtete Verhalten war, daß ich kein Suchergebnisse mehr erhielt, die Admin-Webseite nicht mehr aufrufbar war und der java-Prozess auf 800% stand. Ein kill <id> half ebenso wenig, erst ein kill -9 <id> half.
D.h. der Prozess an sich lief noch aber reagierte nicht mehr.

>Wenn es nämlich in einem Crash endet, dann ist es im Prinzip die jvm schuld;
java version "1.6.0_04"
Java(TM) SE Runtime Environment (build 1.6.0_04-b12)
Java HotSpot(TM) 64-Bit Server VM (build 10.0-b19, mixed mode)
Das ganze auf ner Debian-Kiste.

>jvm-Startoptionensammlung beigesteuert, die auch in dem von dir getesteten YaCy Release mit drin ist und die offenbar bei den Metager-Peers
Welche Startoptionen sind das?

>Eine Option wäre es hier, mal etwas professionellere jvms von IBM oder JRockit von BEA zu testen. Hast du ggf. darauf Zugriff?
Wenn das definitiv helfen würde, kann ich das mal von unseren admins installieren lassen (denke ich zumindest).
m1k3ga
 
Beiträge: 30
Registriert: Di Apr 29, 2008 5:23 pm

Re: yacy in metager

Beitragvon Low012 » Do Jun 19, 2008 4:06 pm

Die Änderungen bezüglich der Startoptionen sind in https://lists.berlios.de/pipermail/yacy-svn/2008-June/004515.html dokumentiert. Die Änderung betrifft ja nur das Startskript und sollte daher auch in älteren Versionen problemlos nachzupflegen sein, aber wie gesagt, in 0.591/04935 ist es schon mit drin.
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: yacy in metager

Beitragvon Vega » Do Jun 19, 2008 4:09 pm

Mit der JRockit JVA hab ich sehr gute Erfahrungen gemacht, also mein Peer (Vega2) läuft ohne Probleme mehrere Tage am Stück :-)
Das ganze gibt es unter http://www.bea.com/framework.jsp?CNT=index.htm&FP=/content/products/weblogic/jrockit/

Gruß,
Thomas
Vega
 
Beiträge: 824
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden

Re: yacy in metager

Beitragvon Orbiter » Do Jun 19, 2008 4:16 pm

m1k3ga hat geschrieben:Ein kill <id> half ebenso wenig, erst ein kill -9 <id> half.
D.h. der Prozess an sich lief noch aber reagierte nicht mehr.

an der Stelle musst du vor dem kill -9 ein kill -3 machen, dann landet bei 'startYACY.sh' ein thread dump im log (yacy.log) der mir dann hilft den Übeltäter zu finden. Ich brauche nur den Dump, nicht das ganze Log!

m1k3ga hat geschrieben:>jvm-Startoptionensammlung beigesteuert, die auch in dem von dir getesteten YaCy Release mit drin ist und die offenbar bei den Metager-Peers
Welche Startoptionen sind das?

hab hier keinen Source-Zugriff, gucke einfach in das Startscript startYACY.sh, da werden die Startoptionen zusammengesetzt; hier: Optionen zum Garbage Collection.

m1k3ga hat geschrieben:>Eine Option wäre es hier, mal etwas professionellere jvms von IBM oder JRockit von BEA zu testen. Hast du ggf. darauf Zugriff?
Wenn das definitiv helfen würde, kann ich das mal von unseren admins installieren lassen (denke ich zumindest).

von 'Definitiv' kann keine Rede sein, ich schreibe das halt weil ich weiss das man beispielsweise bei der T-Online nur BEA JVMs in den Application Servern hat. Und das sind fette 32-Prozessor/viele GB - Kisten die beispielsweise die 'Premium Services' (z.B. Sex-Filmchen bei praline.de) bearbeiten, und auch die Servlets der T-Punkt selling-points, und die Customer-Self-Services und hastdunichtgesehen. Wenn da was ausfällt stehen die Leute mit ihren Einkaufstüten vor den Verkäufern der Magenta-CSR ('Customer Support Representatives') und können keine schöne iphones kaufen. Was die Premium-Kunden machen wenn sie ihre Filmchen nicht bekommen weiss ich nicht...

Was ich damit meine ist: will man solide Verfügbarkeit, nimmt man offenbar die BEA JRockit Engine. Aber einen direkten Vergleich habe ich auch noch nicht gemacht.
Orbiter
 
Beiträge: 5796
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: yacy in metager

Beitragvon ribbon » So Jun 22, 2008 2:51 pm

80.000 Anfragen pro Tag hat Metager?
der Tag hat 60*60*24 Stunden = 86.400 Sekunden.
Von Stosszeiten mal abgesehen, wären das also pro Sekunde eine Anfrage, die das yacy Netzwerk tragen müsste, und da es ca immer 80 pees gibt, wäre jeder alle 80-60 Sekunden mit einer Anfrage dran.
Das sollte ein DHT Netzwerk doch aber aushalten können, dass mein peer jede Minute eine externe Frage beantwortet?
Vielleicht kann man ja den Metager Netz Cluster ausbauen zu einer Art Wikipedia-Bewegung, dass man es zunächst für das Portal Metager macht, dann aber die peers im gesamten Netzwerk geöffnet werden. Kann man nicht auf Metager Werbung machen, dass die User ein Teil von Metager werden? Und kann man nicht die Url von Metager auch für yacy crawlen?
ribbon
 
Beiträge: 212
Registriert: So Jan 06, 2008 4:23 pm

Re: yacy in metager

Beitragvon m1k3ga » Di Jun 24, 2008 3:27 pm

Die beiden yacy-Kisten, die hier in Betrieb sind, laufen jetzt 12h weise im Produktionsbetrieb mit zirka 2 Anfragen pro sekunde.
(resource=local&verify=false) mit einem Index von 8,2M Worten und 800T Links. yacy-1 (0.591/04935) läuft seit 30 stunden stabil durch, yacy-2 (0.591/04951) ist nach 24h hängen geblieben. Hab jetzt auf (0.591/04953) aktualisiert und mal schauen, was passiert.

Ich hoffe, die Kisten bleiben jetzt stabil, dann können die in den Regelbetrieb übergehen.

Insgesamt bringt die Option "verify=false" eine enorme Geschwindigkeitssteigerung.
An dieser Stelle mal ein Danke schön an alle Mitwirkenden.
m1k3ga
 
Beiträge: 30
Registriert: Di Apr 29, 2008 5:23 pm

Re: yacy in metager

Beitragvon ribbon » Di Jun 24, 2008 3:35 pm

kann man "kisten" spenden? z.B. diese: http://www.one.de/shop/product_info.php ... ts_id=2602
option: ohne Laufwerk, aber mit doppelter Festplattengrösse für 160 Euro.
Plan: ca. 10 Kisten da stehen zu haben nach der Sommerpause, ab Herbst diese dann ins normale yacy Netz zu integrieren.
ribbon
 
Beiträge: 212
Registriert: So Jan 06, 2008 4:23 pm

Re: yacy in metager

Beitragvon DanielR » Di Jun 24, 2008 8:20 pm

Mal was anderes:

Bei Metager gibts ja keine Snippets, aber es wird ein Datum angezeigt. Das liegt allerdings oft weit in der Zukunft
1 ) **** YaCy Distributed Web Search
http://yacy.de/

* (gefunden von P2P-Suche Yacy) - Sun, 10 May 3531

Liegt da an MetaGer oder an dem fehlenden Snippets?
DanielR
 
Beiträge: 395
Registriert: Di Feb 12, 2008 2:22 pm

Re: yacy in metager

Beitragvon Orbiter » Di Jun 24, 2008 9:42 pm

weder - noch: ein Bug in der Datumsberechnung in YaCy
Orbiter
 
Beiträge: 5796
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: yacy in metager

Beitragvon wsb » Mo Jun 30, 2008 8:11 am

m1k3ga hat geschrieben:Welche Version von yacy wird für die metager geschichte genutzt?

Auf denen, mit denen ich z.Zt. hier feed, ist es 0.591/04954.
Netterweise ist ja seit gestern von Thomas der Peer Vega-2 dazugekommen, mit mehr als 16 Mio. URLs. Das bringts echt voran, ab ca. 1 Mio. URLs lohnt es. Auch Vega-2 ist weiterhin, wie alle anderen auch, vollständiger yacy-Peer (auf der metager-Trefferliste zu erkennen als "P2P-Suche yacy5"); nur zum Crawlen kommen die metager-Feeder im normalen Tagesverlauf wenig (höchstens nachts wenn die Abfragezahlen klein sind).
Weitere Peers sind mehr als willkommen: einfach email an wsb@suma-ev.de
Was mir grade auf/einfällt: statt "P2P-Suche yacy5" könnte man da auch hinschreiben "P2P-Suche Vega-2" oder allgemein: "P2P-Suche PEERNAME", wenn ihr das besser findet (evtl. auch mit Link dahinter auf den jeweiligen Peer).
m1k3ga hat geschrieben:Kannste mal bitte deine "queues performance settings" posten, damit ich abgleichen kann mit meinen Einstellungen.

Das sind ja tonnenweise Parameter, die ich zum ersten Mal sehe (also hab ich da wohl überall die Default-Werte). Was ich bei ALLEN hochgesetzt habe, ist das RAM für die JVM: auf mind. 1,5 GB. Seitdem gibts bei denen keine "Hänger" mehr.
wsb
 
Beiträge: 201
Registriert: Mi Jun 27, 2007 2:53 pm

Re: yacy in metager

Beitragvon Huppi » Mo Jun 30, 2008 10:12 am

Ich fände es schon nett, wenn YaCy in jedem Fall im Namen der Suchquelle mit auftaucht.
Huppi
 
Beiträge: 898
Registriert: Fr Jun 29, 2007 9:49 am
Wohnort: Kürten

Re: yacy in metager

Beitragvon wsb » Mo Jun 30, 2008 10:25 am

Huppi hat geschrieben:Ich fände es schon nett, wenn YaCy in jedem Fall im Namen der Suchquelle mit auftaucht.

Ok, mach ich! Hinter den Namen könnte nun noch ein Link auf den URL der Quelle zeigen - was meint ihr dazu?
wsb
 
Beiträge: 201
Registriert: Mi Jun 27, 2007 2:53 pm

Re: yacy in metager

Beitragvon ribbon » Fr Jul 04, 2008 10:19 pm

das wäre klasse
kann das layout der suchergebnisse in metager noch besser werden?
die schriftgrösse der snippets ist zu gross und die vielen zeilen pro ergebnis sind unübersichtlich.
die nummerierung sollte wegfallen.
die sternchen ebenso, denn dass 4 sterne höcher sind als 2 ist ja im ranking schon klar.

nach dem Titel
sollte das snippet kommen
dann die url und - dann (gefunden von: xxx)

so wie google halt.

ist es möglich, dass alle gefundenen urls der metager von einem yay node gecrawled werden?

hier mal ein layout vorschlag
http://img70.imageshack.us/img70/4075/screenju3.jpg
ribbon
 
Beiträge: 212
Registriert: So Jan 06, 2008 4:23 pm

Re: yacy in metager

Beitragvon Vega » Mo Jun 13, 2011 11:25 pm

Ich hole diesen Thread mal wieder aus der Versenkung....

Es gab mittlerweile einige Fortschritte, so liefern die YaCy Peers für Metager inzwischen Snippets, und Metager 2 kann inzwischen auch YaCy-Peers einbinden, es gibt aber auch noch Probleme, aber wir arbeiten daran.
Es sind immer noch zu wenig YaCy Peers die Metager und/oder Metager2 feeden. Ich möchte einfach an dieser Stelle noch einmal aufrufen MG/MG2 zu unterstützen.

Wer also einen Peer hat, der 24/7 läuft, kann den gern in Metager einbinden lassen, solltet Ihr weniger Last wollen, dann lasst euren Peer in Metager 2 einbinden, gerade MG2 profitiert erheblich von den YaCy Peers - (ca. Werte Metager ca. 600 Anfragen pro Stunde und MG 2 140 Anfragen pro Stunde).
Bei MG2 kann der Peer also noch Crawlen, bei MG wird das eng...

Ach ja, für das Feeden Metager/Metager2 gibt es seit SVN 7771 eine eigene Netzwerkdefinition, der einzige Unterschied zur normalen Freeworld Definition besteht darin, dass in der Withlist die IP-Adressen der MG/MG2 Abfragemaschinen eingetragen sind.

In diesem Sinne, meldet euch bitte bei Wolfgang für MG - wsb@suma-ev.de - oder bei Michael für Metager 2 - michael@nebel.de -

Gruß,
Thomas
Vega
 
Beiträge: 824
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden

Re: yacy in metager

Beitragvon ribbon » So Jun 19, 2011 9:08 pm

macht es sinn hardware zu spenden?
ribbon
 
Beiträge: 212
Registriert: So Jan 06, 2008 4:23 pm

Re: yacy in metager

Beitragvon Vega » Mo Jun 20, 2011 3:04 pm

Hm, das ist eine gute Frage, darüber habe ich mit WSB noch nicht gesprochen. Sicherlich gäbe es eine Möglichkeit einen YaCy Cluster aus Spenden irgendwo zu betreiben - die Jungs von rechenkraft.net machen sowas. Wie gesagt, bis jetzt haben wir noch nicht darüber nachgedacht......schreib mir mal ein PM.
Was uns helfen würde, wäre wenn sich mehrer Leute finden die Serverkosten/Stromlosten etc. übernehmen / also sponsoring - ähnlich wie bei Torservers.net.

Gruß,
Thomas

ribbon hat geschrieben:macht es sinn hardware zu spenden?
Vega
 
Beiträge: 824
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden

Re: yacy in metager

Beitragvon ribbon » Di Jun 21, 2011 9:56 pm

ach geld zu spenden ist doch langweilig, das da ist besser
http://www.one.de/shop/computer-systeme ... 8_236.html
ribbon
 
Beiträge: 212
Registriert: So Jan 06, 2008 4:23 pm

Re: yacy in metager

Beitragvon Vega » Mi Jun 22, 2011 10:54 am

Ok, wenn wir die Dinger irgendwo in ein RZ einstellen können gern.....für den Fall das ich bei mir daheim noch ein paar YaCy's aufnehmen soll - was durchaus möglich ist, eine VDSL-Leitung musst Du erstmal auslasten :) ... hätte ich lieber die hier: http://www.teo-shop.eu/index.php?s=3000&k=147,
die lassen sich besser staplen, kosten aber halt mehr.

Thomas

ribbon hat geschrieben:ach geld zu spenden ist doch langweilig, das da ist besser
http://www.one.de/shop/computer-systeme ... 8_236.html
Vega
 
Beiträge: 824
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden

Re: yacy in metager

Beitragvon PCA42 » Mi Jun 22, 2011 2:45 pm

Was die meisten bei solchen Home-Rechenzentren unterschätzen sind meiner Meinung nach die Anschafftungskosten verbunden mit den Stromkosten. Hardware für den Heimbedarf ist darauf oft nicht optimal ausgerichtet. Und spätestens, wenn viel Speicher in die Kisten soll, wird es richtig teuer (4GB Module, oje). Ich habe derzeit einen Server mit einem Quad-Core und 16 GB RAM, 2x1500 GB Platten, Trafficflat, für unter 50 EUR mtl. gemietet. Das bekommt man zu Hause vergleichbar kaum hin. Und wenn die Hardware das Zeitliche segnet -> nicht mein Problem. Auch VDSL und wie sie sich alle nennen sind für Yacy eigentlich nicht optimal. Denn der Upstream ist oft einfach nur zum Heulen.

So, damit das Ganze nicht zu sehr offtopic wird: wenn mein Peer die nächsten beiden Wochen noch stabil läuft, dann werd ich dem auch mal richtig Last über metager 1&2 zumuten.
PCA42
 
Beiträge: 621
Registriert: Mi Jan 23, 2008 4:19 pm
Wohnort: @Home

Re: yacy in metager

Beitragvon Lotus » Mi Jun 22, 2011 3:15 pm

PCA42 hat geschrieben:Was die meisten bei solchen Home-Rechenzentren unterschätzen sind meiner Meinung nach die Anschafftungskosten verbunden mit den Stromkosten. Hardware für den Heimbedarf ist darauf oft nicht optimal ausgerichtet.

Da wir grad schon beim Angstmachen sind: an Brandschutz denkt zu Hause auch niemand. (zuverlässige Hardware)
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: yacy in metager

Beitragvon Vega » Mi Jun 22, 2011 10:05 pm

Die Server sollen ja kleinere Kaliber sein, dafür lieber 1,2 STÜCK mehr, allerdings hast Du recht, für das Geld was Du Monatlich bezahlst bekomme ich die gleiche Hardware daheim nicht hin. Wo hast Du den Server gemietet ? Metager - oh, das wäre nett, es kann aber sein das es dann vorbei ist mit der Stabilität, aktuell haben wir 3 Peers die es ohne Probleme mitmachen und 1 der damit ständig aufschlägt.... MG2 ist in dieser Sache unkritisch, MG ist manchmal heavy - aber ein guter Test für YaCy. VDSL ist schon ok, die 10 Mbit Upstream reichen..oder merkt Ihr das die Forumssuche bei mir daheim läuft ?

Thomas

PCA42 hat geschrieben: Ich habe derzeit einen Server mit einem Quad-Core und 16 GB RAM, 2x1500 GB Platten, Trafficflat, für unter 50 EUR mtl. gemietet. Das bekommt man zu Hause vergleichbar kaum hin. Und wenn die Hardware das Zeitliche segnet -> nicht mein Problem. Auch VDSL und wie sie sich alle nennen sind für Yacy eigentlich nicht optimal. Denn der Upstream ist oft einfach nur zum Heulen.

So, damit das Ganze nicht zu sehr offtopic wird: wenn mein Peer die nächsten beiden Wochen noch stabil läuft, dann werd ich dem auch mal richtig Last über metager 1&2 zumuten.
Vega
 
Beiträge: 824
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden

Re: yacy in metager

Beitragvon PCA42 » Do Jun 23, 2011 2:54 pm

Mein Server habe ich bei Server4You, war Ende des letzten Jahres ein Angebot. Inzwischen kostet der dort für neue Verträge auch wieder mehr (Eco Giant 69 EUR).

Zum Thema Upstream:
Wenn Yacy DHT machen soll, muss der Upstream wegen der Redundanz bei der Verteilung der Daten immer größer als der Downstream sein. Das bekommt kein *A*DSL hin, wie der Buchstabe *A* ja schon ausdrückt. Damit ist der DHT-Gedanke bei crawlenden Peers an einer ADSL-Leitung eigentlich ad absurdum geführt. Bei Yacy 2.0 muss da meiner Meinung nach eine Lösung her, die diese Gegebenheit mit berücksichtigt (z.B. kein DHT und dafür intelligentes Routen der Suchanfragen, macht auch Mehrwortsuchen zuverlässiger).

Thema Forumssuche: ich klicke lieber einmal öfter und benutze die Board-Suche. Was für ein Sakrileg^^.

Zum Thema Stabilität: @Vega du hast eine PM.
PCA42
 
Beiträge: 621
Registriert: Mi Jan 23, 2008 4:19 pm
Wohnort: @Home

Re: yacy in metager

Beitragvon ribbon » Do Jun 23, 2011 8:45 pm

http://www.extracomputer.de/shop/Pokini2.html
oder den fürs rechenzentrum hannover?

zweitens: ich fände eine Netzwerkinitiative der Rechenzentren der UNis in Deutschland gut, Kann jemand da ein Forum e.v. für Gründen, so dass jedes Uni Rechnenzentrum zwei yacy nodes laufen lässt und dann dem Verein beitreten darf?
Man kann auch eine Genossenschaft gründen und dann als Zugang zur Genossenschaft zweo Peers erwarten..
ribbon
 
Beiträge: 212
Registriert: So Jan 06, 2008 4:23 pm

Re: yacy in metager

Beitragvon Vega » Do Jun 23, 2011 9:53 pm

Hm, ich möchte nicht wissen was die Kosten, also mir sind die zu klein....und 4GB Ram würde ich auch gern unterbringen in den Kisten, dann doch eher Intel-Atom Mainstream Boards, 3 Festplatten je 160GB SATA habe ich noch (auch wenn SSD schneller sind)....
Netzwerkinitiative Uni-rechenzentren und Genossenschaft: Ja, alles gute Ideen, aber wie überreden wir die Unis da mitzumachen ?

Thomas


ribbon hat geschrieben:http://www.extracomputer.de/shop/Pokini2.html
oder den fürs rechenzentrum hannover?

zweitens: ich fände eine Netzwerkinitiative der Rechenzentren der UNis in Deutschland gut, Kann jemand da ein Forum e.v. für Gründen, so dass jedes Uni Rechnenzentrum zwei yacy nodes laufen lässt und dann dem Verein beitreten darf?
Man kann auch eine Genossenschaft gründen und dann als Zugang zur Genossenschaft zweo Peers erwarten..
Vega
 
Beiträge: 824
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden

Re: yacy in metager

Beitragvon ribbon » Fr Jun 24, 2011 5:03 pm

Vega hat geschrieben:Hm, aber wie überreden wir die Unis da mitzumachen ?


indem das rrzn bei den anderen anfragt und für metager um AMTSHILE bittet ?
ribbon
 
Beiträge: 212
Registriert: So Jan 06, 2008 4:23 pm

Re: yacy in metager

Beitragvon Vega » Mo Jun 27, 2011 8:46 am

Schön wäre es wenn das so einfach gänge, die Unis untereinander kooperieren leider gar nicht, geschweige denn die RZ.... Wolfgang muss schon um Metager kämpfen... Kannst ja mal mit Ihm dazu mailen. So, zum Punkt zurück, also Spenden/Hardware für YaCy Peers können wir machen, ich würde das auch koordienieren wenn sich kein anderer findet. Am liebsten wäre mir natürlich Geld das kontinuierlich für einen bestimmten Zeitraum kommt und von dem wir dann Server mieten.... Ansonsten ein bissel Hardware kann ich bei mir noch stellen.... Also entweder hier posten oder PM an mich.

Thomas

ribbon hat geschrieben:indem das rrzn bei den anderen anfragt und für metager um AMTSHILE bittet ?
Vega
 
Beiträge: 824
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden


Zurück zu Suchmaschinen

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 3 Gäste