Indizierung via Proxy

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Indizierung via Proxy

Beitragvon sixcooler » Do Apr 21, 2011 8:40 pm

Hallo,

einen Peer den ich ich als Proxy nutze hatte ich gerade von svn7647 auf svn7672 upgedatet.
Seit dem beobachte ich das nichts mehr von der Proxy-Nutzung in den Index gelangt oder daraus (Tiefe=1) Seiten in die CrawlQueue gelangen.

Kann das irgendwer dementieren oder bestätigen?
Ich hab gerade eigene Änderung in Testphase und würde daher nicht so gerne verschiede Revisionen durchtesten aber gerne Wissen ob meine Änderungen die Ursache hierfür sein könnten (obwohl sie es nicht sollten).

Besten Dank, sixcooler.
sixcooler
 
Beiträge: 494
Registriert: Do Aug 14, 2008 5:22 pm

Re: Indizierung via Proxy

Beitragvon cfr34x » Do Apr 21, 2011 10:14 pm

Also bei mir funktioniert der Proxy auch mit svn7672.
cfr34x
 
Beiträge: 49
Registriert: Sa Jan 31, 2009 6:24 pm

Re: Indizierung via Proxy

Beitragvon Vega » Do Apr 21, 2011 10:26 pm

@sixcooler - irgendwas ist mit Deinem Peer, ich habe diese Meldungen im Log der beiden Suma-ev Peers gefunden:

Code: Alles auswählen
I 2011/04/21 23:23:48 SEARCH resultWorker thread 9 terminated
S 2011/04/21 23:23:48 BusyThread thread 'de.anomic.crawler.CrawlQueues.coreCrawlJob' breaks for intermission: 2 seconds
W 2011/04/21 23:23:49 YACY transferRWI: blocked URL hash 'EAxWNG9xigZc' (the urlhash 'EAxWNG9xigZc' is local, but local addresses are not accepted) from peer GuTqcE_nEpAA:sixcooler1/0.9900767; peer is suspected to be a spam-peer (or something is wrong)
W 2011/04/21 23:23:49 YACY transferRWI: blocked URL hash 'ECwPdG9xigZc' (the urlhash 'ECwPdG9xigZc' is local, but local addresses are not accepted) from peer GuTqcE_nEpAA:sixcooler1/0.9900767; peer is suspected to be a spam-peer (or something is wrong)
W 2011/04/21 23:23:49 YACY transferRWI: blocked URL hash 'EJYQPG9xigZc' (the urlhash 'EJYQPG9xigZc' is local, but local addresses are not accepted) from peer GuTqcE_nEpAA:sixcooler1/0.9900767; peer is suspected to be a spam-peer (or something is wrong)
W 2011/04/21 23:23:49 YACY transferRWI: blocked URL hash 'EMJXiG9xigZc' (the urlhash 'EMJXiG9xigZc' is local, but local addresses are not accepted) from peer GuTqcE_nEpAA:sixcooler1/0.9900767; peer is suspected to be a spam-peer (or something is wrong)
W 2011/04/21 23:23:49 YACY transferRWI: blocked URL hash 'EMP8mG9xigZc' (the urlhash 'EMP8mG9xigZc' is local, but local addresses are not accepted) from peer GuTqcE_nEpAA:sixcooler1/0.9900767; peer is suspected to be a spam-peer (or something is wrong)
W 2011/04/21 23:23:49 YACY transferRWI: blocked URL hash 'EP4b_G9xigZc' (the urlhash 'EP4b_G9xigZc' is local, but local addresses are not accepted) from peer GuTqcE_nEpAA:sixcooler1/0.9900767; peer is suspected to be a spam-peer (or something is wrong)
W 2011/04/21 23:23:49 YACY transferRWI: blocked URL hash 'EQ1Z-G9xigZc' (the urlhash 'EQ1Z-G9xigZc' is local, but local addresses are not accepted) from peer GuTqcE_nEpAA:sixcooler1/0.9900767; peer is suspected to be a spam-peer (or something is wrong)
W 2011/04/21 23:23:49 YACY transferRWI: blocked URL hash 'EQ-hfn9xigZc' (the urlhash 'EQ-hfn9xigZc' is local, but local addresses are not accepted) from peer GuTqcE_nEpAA:sixcooler1/0.9900767; peer is suspected to be a spam-peer (or something is wrong)


Gruß,
Thomas
Vega
 
Beiträge: 824
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden

Re: Indizierung via Proxy

Beitragvon Orbiter » Do Apr 21, 2011 10:37 pm

es gibt in SVN 7672 eine funktion die den isLocal-Test für URLs ausschalten kann. Der Grund hierfür ist, dass dies einen DNS-Lookup benötigt und das den Crawler massiv bremsen kann. Es ist also eine High-Performance Option für Einzelpeers denn diese Funktion sollte nur aktiv sein wenn man die allip-Umgebung eingeschaltet hat. Als Ergebnis des fehlenden isLocal Tests werden alle URLs mit einem abgeänderten Hash als lokal definiert, woraufhin Peers, die irgendwie solche URLs sehen sollten diese automatisch ablehnen. Das ist offenbar jetzt bei dir passiert, obwohl die neue Funktion im freenet ja gar nicht aktiv werden kann, es sei denn deine Codeänderungen hätten was damit zu tun. Was hast du denn da noch geändert?
Orbiter
 
Beiträge: 5796
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Indizierung via Proxy

Beitragvon sixcooler » Fr Apr 22, 2011 12:32 am

Allerbesten Dank für die Hinweise und Meldungen.

Stimmt - ich hatte mal mit 'network.unit.domain' experimentiert (und leider vergessen es wieder wegzunehmen).
Das hab ich nun korregiert - dickes Sorry.

Besten Dank, sixcooler.
sixcooler
 
Beiträge: 494
Registriert: Do Aug 14, 2008 5:22 pm


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 3 Gäste

cron