[closed] Indexierung per Proxy mit Indexier Tiefe > 0

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

[closed] Indexierung per Proxy mit Indexier Tiefe > 0

Beitragvon sixcooler » Mo Jul 26, 2010 3:54 pm

Hallo,

die Indexierung per Proxy mit Indexier Tiefe > 0 scheint bei mir nicht richtig zu laufen.

Die Seiten die durch den Proxy gehen werden noch indiziert, Folgeseiten gehen noch
durch den HTTPLoader - das scheint es dann aber auch gewesen zu sein.
Die Folgeseiten werden nicht mehr indiziert.

Da ich eine recht üble Baustelle als peer hab will ich nicht ausschliessen das meine Änderungen die Ursache sind.
Aber mir fiel auf das (Response / Request).initiator = null schon beim logging so manchen Nullpointer liefert.

Im HTTPDProxyHandler den Request statt mit null mit meinem peer-hash als initiator zu füllen
lässt die Indizierung per proxy fein laufen - nur halt nicht mit dem proxy als quelle.

Hat das noch wer?
Weiss jemand hierzu etwas?

cu, sixcooler.
Zuletzt geändert von sixcooler am Mo Jul 26, 2010 6:26 pm, insgesamt 1-mal geändert.
sixcooler
 
Beiträge: 494
Registriert: Do Aug 14, 2008 5:22 pm

Re: Indexierung per Proxy mit Indexier Tiefe > 0

Beitragvon sixcooler » Mo Jul 26, 2010 6:26 pm

das Problem liegt definitiv in meiner Baustelle - sorry for the noise

aber dennoch kommen ein paar nullpointer aufgrund des initiator...
sixcooler
 
Beiträge: 494
Registriert: Do Aug 14, 2008 5:22 pm

Re: [closed] Indexierung per Proxy mit Indexier Tiefe > 0

Beitragvon Quix0r » Mi Sep 29, 2010 4:28 pm

sixcooler, ich crawle ebenfalls mit Proxy und Tiefe > 0 und dies klappt nun auch nicht mehr. Es ist genauso, wie du es beschrieben hast: Nur die per Proxy aufgerufene Seite wird indexiert, die Folgeseiten nicht. Und gibt es keine Eintraege unter "Crawl Monitor". Mein Peer ist ebenfalls eine Grossbaustelle, aber ich vermute meine Aenderungen nicht dahinter.

Edit: Klappt wieder.
Quix0r
 
Beiträge: 1345
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste

cron