remote indexing haengt irgendwie...

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

remote indexing haengt irgendwie...

Beitragvon disi » Fr Jul 02, 2010 10:42 pm

Ich habe eben feststellen muessen, das ich 0 index mache obwohl ich 112 remote Anfragen habe.

Dann habe ich Yacy mal restarted und nach kurzem 24 ppm geht er wieder auf 0

Bild

Hier etwas log:
Code: Alles auswählen
I 2010/07/02 17:39:57 INDEX-TRANSFER-DISPATCHER STORE: Chunk 1qbw3le6Br__ has FINISHED all transmissions!
I 2010/07/02 17:39:57 PLASMA dhtTransferJob: no selection, too many entries in transmission cloud: 34
I 2010/07/02 17:39:57 PLASMA dhtTransferJob: result from dequeueing: true
I 2010/07/02 17:39:57 INDEX-TRANSFER-DISPATCHER starting new index transmission request to hqbw3le6Br__
I 2010/07/02 17:39:58 BALANCER waiting for freshmeat.net: 30 seconds remaining...
I 2010/07/02 17:39:59 PLASMA dhtTransferJob: no selection, too many entries in transmission cloud: 33
I 2010/07/02 17:39:59 PLASMA dhtTransferJob: result from dequeueing: true
I 2010/07/02 17:39:59 INDEX-TRANSFER-DISPATCHER starting new index transmission request to 5w_YMx863K__
I 2010/07/02 17:40:00 INDEX-TRANSFER-DISPATCHER Index transfer of 2 words [Rw_S8beUBG54 .. 5w_YMx863K__] and 11 URLs to peer mortenoesterlundjoergensen:7dlQpEw4NS__ in 0 seconds successful (2 words/s)
I 2010/07/02 17:40:00 INDEX-TRANSFER-DISPATCHER Transfer finished of chunk to target 7dlQpEw4NS__/mortenoesterlundjoergensen
I 2010/07/02 17:40:00 INDEX-TRANSFER-DISPATCHER starting new index transmission request to 5w_YMx863K__
I 2010/07/02 17:40:00 INDEX-TRANSFER-DISPATCHER Index transfer of 2 words [Rw_S8beUBG54 .. 5w_YMx863K__] and 11 URLs to peer ICSY:8LdY6uOGaTkd in 0 seconds successful (5 words/s)
I 2010/07/02 17:40:00 INDEX-TRANSFER-DISPATCHER Transfer finished of chunk to target 8LdY6uOGaTkd/ICSY
I 2010/07/02 17:40:00 INDEX-TRANSFER-DISPATCHER starting new index transmission request to 5w_YMx863K__
I 2010/07/02 17:40:01 INDEX-TRANSFER-DISPATCHER Index transfer of 2 words [Rw_S8beUBG54 .. 5w_YMx863K__] and 11 URLs to peer Hermes:8TB5J3xHaIVX in 0 seconds successful (4 words/s)
I 2010/07/02 17:40:01 INDEX-TRANSFER-DISPATCHER Transfer finished of chunk to target 8TB5J3xHaIVX/Hermes
I 2010/07/02 17:40:01 INDEX-TRANSFER-DISPATCHER STORE: Chunk 5w_YMx863K__ has FINISHED all transmissions!
I 2010/07/02 17:40:01 PLASMA dhtTransferJob: selected QrtbylS7pc7U as start hash
I 2010/07/02 17:40:01 PLASMA dhtTransferJob: selected SYcTwFYjmV__ as limit hash
I 2010/07/02 17:40:01 BALANCER waiting for freshmeat.net: 27 seconds remaining...
I 2010/07/02 17:40:04 BALANCER waiting for freshmeat.net: 24 seconds remaining...
I 2010/07/02 17:40:07 YACY yacyClient.transferRWI error:The host did not accept the connection within timeout of 10000 ms
I 2010/07/02 17:40:07 INDEX-TRANSFER-DISPATCHER Transfer failed of chunk to target hvUxkvo0Rj__/pikoao231_2323: no connection from transferRWI
I 2010/07/02 17:40:07 INDEX-TRANSFER-DISPATCHER STORE: Chunk hqbw3le6Br__ has failed to transmit index; marked peer as busy
I 2010/07/02 17:40:07 INDEX-TRANSFER-DISPATCHER starting new index transmission request to hqbw3le6Br__
I 2010/07/02 17:40:07 BALANCER waiting for freshmeat.net: 21 seconds remaining...
I 2010/07/02 17:40:08 INDEX-TRANSFER-DISPATCHER Index transfer of 4 words [5qa1WrmojmdY .. hqbw3le6Br__] and 8 URLs to peer locutus:jWZO0U0LrQ__ in 0 seconds successful (6 words/s)
I 2010/07/02 17:40:08 INDEX-TRANSFER-DISPATCHER Transfer finished of chunk to target jWZO0U0LrQ__/locutus
I 2010/07/02 17:40:08 INDEX-TRANSFER-DISPATCHER starting new index transmission request to hqbw3le6Br__
disi
 
Beiträge: 34
Registriert: Mi Jun 16, 2010 1:00 pm

Re: remote indexing haengt irgendwie...

Beitragvon Lotus » Sa Jul 03, 2010 8:20 am

Code: Alles auswählen
I 2010/07/02 17:39:58 BALANCER waiting for freshmeat.net: 30 seconds remaining...

Und http://freshmeat.net/robots.txt sagt:
Code: Alles auswählen
Crawl-delay: 180

Das ist also der Grund. Wird bei den vorhandenen Links in der Warteschlange wahrscheinlich nicht schneller gehen.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: remote indexing haengt irgendwie...

Beitragvon disi » Sa Jul 03, 2010 9:29 am

Ich tippe auf einen Anzeigebug. :idea:
Ich habe ca. 400.000 Links gelernt, seit ich den neu gestartet hatte. Er bleibt aber immer auf 0 im Chart.

//edit: ne, local indexing laeuft normal. Muss dann an der Seite liegen die mir da einer aufgebraten hat :/
Danke fuer die Klarstellung :)
disi
 
Beiträge: 34
Registriert: Mi Jun 16, 2010 1:00 pm

Re: remote indexing haengt irgendwie...

Beitragvon henschi » Sa Feb 12, 2011 7:50 pm

Hm, ich habe damit nun auch ein Problem.
Mein einer Peer läuft nur als Remotecrawler und sehe die Zeile BALANCER waiting for xxx. Im Moment macht er das bei code.google.com. Leider steht der Crawler dann für 45Sekunden komplett! :-( Es sind aber viele andere Seiten in der Queue.
Soll das so?
henschi
 
Beiträge: 65
Registriert: So Okt 07, 2007 6:49 pm
Wohnort: Brandenburg an der Havel

Re: remote indexing haengt irgendwie...

Beitragvon Quix0r » Sa Feb 12, 2011 9:47 pm

Das ist schaetze ich mal nicht so gewollt. Laut SixCooler holt der Balancer sich wie sie zeitlich kommen die letzten 500 Eintraege aus den queues ab und laeuft diese durch. Kommen 500 URLs der selben Domain, werden die sachte abgecrawlt, um die Server nicht zu belasten. Natuerlich kannst du den queue nicht einfach komplett randomizen (also zufaellig welche rausnehmen), weil sonst a) dein Speicher knapp wird - bei 13 Mio. Eintraegen kein Problem - oder b) deine Performance in den Keller geht (weil die Queues rauf und runter durchwuellt werden, wo dann die Festplatte das Nadeloehr ist.

Der Remote-Crawler ist auch aktuell so geschrieben, dass wenn auch nur ein Eintrag im lokalen Queue drinne ist, nicht remote gecrawlt wird. Das habe ich mit meinem Patch umgeschrieben. Mehr dazu hier: viewtopic.php?f=5&t=2983&hilit=+crawl+queues&p=21731#p21731
Quix0r
 
Beiträge: 1345
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: Bing [Bot] und 1 Gast

cron