CLOSE 6785: Merge startet bei ausgeschaltetem Crawler nicht

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

CLOSE 6785: Merge startet bei ausgeschaltetem Crawler nicht

Beitragvon Quix0r » Fr Apr 02, 2010 7:04 pm

Das Mergen von Blobs startet nicht, wenn der lokale/remote Crawler ausgeschaltet ist/sind. Dies trat bei mir auf, vermutlich wegen Speichermangel, als ich den Peer neustarten musste und zuvor beide Crawler deaktiviert hatte um IO-Last fuer das Mergen zu sparen.

Hier nun alle Schritte im Einzelnen:
1.) Einen Peer mit vielen noch nicht germergten Blobs haben
2.) Bei diesem beide Crawler (lokal/remote) stoppen
3.) Den Peer neustarten noch waehrend er genuegend viele Blobs zum Mergen hat
4.) Es sollten nach dem Neustart keine Blobs mehr gemergt werden
5.) Wird ein Crawler mit noch URLs im Queue gestartet, faengt die Node das Mergen der Blobs an (ich hatte geduscht, waehrend meine Node neugestartet hat...)
6.) Der aktive Crawler kann aber waehrend des Mergens wieder problemlos gestoppt werden und das Mergen laeuft weiter

Dies geschieht aber, sobald ein Crawler bedingt durch den vollen Queue - es sind also URLs zum Crawlen vorhanden - wieder seine Arbeit aufnimmt. Hier scheint - ganz abgesehen davon dass zu wenig Speicher nie gut ist - eine Abhaengigkeit zwischen Crawler und Mergen vorhanden zu sein. Ist der Crawler nie gestartet worden, wird auch das Mergen nicht starten, dabei koennen noch so viele Blobs zum Mergen vorhanden sein.

Eine Auffaeligkeit ist noch, dass lokale Suchanfragen (ueber http://localhost:8080 z.B.) nicht beantwortet werden bzw. die Anfrage zwar bearbeitet wird, aber die Antwortseite nicht kommt. Dies passiert auch, wenn keine Ergebnisse gefunden wurden.

Logfileeintraege von wohl aelteren Suchen:
Code: Alles auswählen
I 2010/04/02 21:39:59 DidYouMean found 4 terms; execution time: 5888193ms - remaining queue size: 277
I 2010/04/02 21:39:59 DidYouMean found 7 terms; execution time: 5960721ms - remaining queue size: 274
I 2010/04/02 21:39:59 DidYouMean found 7 terms; execution time: 6136891ms - remaining queue size: 274
I 2010/04/02 21:39:59 DidYouMean found 2 terms; execution time: 6345942ms - remaining queue size: 525
I 2010/04/02 21:40:00 DidYouMean found 2 terms; execution time: 7003184ms - remaining queue size: 525


Dazu der Dump dump018.log.bz2 und dump019.log.bz2. Beide konnte ich noch schnell erstellen.
Dateianhänge
dump019.log.bz2
jstack -l - Suchanfrage waehrend Merge lief und Crawler aus waren
(5.24 KiB) 51-mal heruntergeladen
dump018.log.bz2
jstack -l - Suchanfrage waehrend Merge lief und Crawler aus waren
(5.11 KiB) 48-mal heruntergeladen
Quix0r
 
Beiträge: 1345
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste