durch Local search ausgelöstes Local indexing drosseln

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

durch Local search ausgelöstes Local indexing drosseln

Beitragvon flami » Sa Dez 03, 2011 4:17 am

Nachdem mein Peer durch den loadbalancer auf search.yacy.net ein paar mal in die kneie Gezwungen wurde , habe ich versucht die Uhrsache zu finden und glaube es liegt daran, dass einige lokale Suchen eine indexierung hervorrufen können. Diese hält sich mit der geschwindigkeit nicht an die "speed" vorgabe des crawlers ( welches unter dem punkt Crawler Monitor eingestellt wird) und dann mit 2000 ppm oder so vor sich hinwerkelt und meinen arbeitsspeicher auffüllt und meinen Peer fast komplett blockiert.
Für mehr Datails dazu : viewtopic.php?p=23555#p23555 und viewtopic.php?p=23573#p23573


gibt es eine mööglichkeit, diese art der indexierung zu drosseln, oder wenn es gar nicht anders geht zu unterbinden? Ich habe leider nichts so gefunden.
flami
 
Beiträge: 19
Registriert: Di Nov 29, 2011 9:57 am

Re: durch Local search ausgelöstes Local indexing drosseln

Beitragvon sixcooler » Sa Dez 03, 2011 4:07 pm

Hallo,

was Du beschreibst ist der Vorgang zum erzeugen der Snippets und überprüfen der Links - ja das ist hinter dem Balancer wirklich heftig.
Zu dem Suchvorgang hat Orbiter ein super Video gemacht, das es sehr gut erklärt, wie ich finde: http://vimeo.com/33025433

Bei einer Suche direkt von deinem Portal aus (ohne Balancer) könntest Du das unter /ConfigPortal.html mit den Einstellungen 'Snippet Fetch Strategy & Link Verification' unterbinden.
Eine Suche vom Balancer überschreibte das aber so zu sagen.
Geringere Last hätte man maximal mit einem Cache der schon die Seiten der gefundenen Links vorrätig hat.
(was aber kaum so weit möglich sein sollte das es merklich die Last mindert, denke ich)

Ich musste meinen Peer ja daher auch vomBalancer nehmen lassen - eine 'Lösung' habe ich also auch nicht wirklich.

cu, sixcooler.
sixcooler
 
Beiträge: 495
Registriert: Do Aug 14, 2008 5:22 pm

Re: durch Local search ausgelöstes Local indexing drosseln

Beitragvon flami » Sa Dez 03, 2011 6:00 pm

Ja dieses Problem scheint so ziemlich jeden Peer hinter dem Loadbalancer in die Knie zu zwingen, da es unwahrscheinlich ist, dass der schon jeden link in einem cache hat. Dies muss wohl geändert werden wenn man ein grösseres portale hat auf das mehr als nur 1,2 Leute zugreifen, da es kaum möglich ist von den normalen 400- 500 mb ram auf wohl weit über 4 gigabyte ram zu skalieren. Desweiteren konnte ich selbst ohne probleme alleine mit ein paar anfragen von denen ich wusste , dass sie viele Ergebnisse erzeugen meinen Peer in die Knie zwingen, somit haben wir hier einen einfaches DOS gegen Yacy Peers, welches auf jeden fall gefixt werden sollte damit YaCy auch im internet überlebt .

Vieleicht die snippet generierung in den Hintergrund rücken und langsam einen cache auffüllen und nur die snippets generieren die auch tatsächlich benutzt werden auf der jeweiligen Seite ( Es scheint so, als ob sofort alle snippets für alle ergebnisse gesucht werden ). Und wenn der speicher schon knapp wird, gar keine oder nachträglich snippets generieren und sie dann dem user zuschicken ( es gibt wohl einige ajaxy sachen die so was können , ich kenn mich mit solchen tricks die das http protokoll umgehen allerdings nicht wirklich aus ) . All das ist besser als den Peer komplett zu blockieren und so gar keine Resultate zu generieren. Dies ist natürlich wieder ein problem da nicht jedem Peer getraut werden kann, dass er auch die richtigen Links zuschickt.
flami
 
Beiträge: 19
Registriert: Di Nov 29, 2011 9:57 am


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 3 Gäste

cron