URL beim Crawlen nach Regel anpassen?

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

URL beim Crawlen nach Regel anpassen?

Beitragvon Tommy030 » Do Sep 17, 2009 3:09 pm

Kann man bei allen gecrawlten URL eine Regel anwenden, die dann für die weitere Verarbeitung die URL anpasst?
Beispiel:
http://intranet.server.de/test.html&BaseTarget=R_Main

Im Beispiel sollte "&BaseTarget=R_Main" für den Index immer abgeschnitten werden, weil als Einzellink sinnlos.
Tommy030
 
Beiträge: 4
Registriert: Do Sep 17, 2009 2:53 pm

Re: URL beim Crawlen nach Regel anpassen?

Beitragvon Orbiter » Do Sep 17, 2009 8:10 pm

das haben wir noch nicht. im Prinzip brauch man das ja auch nicht wenn hinter der unveränderten URL content ist, und die veränderte URL sonst nicht auftaucht. Wenn sie aber doch auftaucht, ist die andere redundant und kann mit einen must-not-match Filter raus fliegen.
Orbiter
 
Beiträge: 5797
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: URL beim Crawlen nach Regel anpassen?

Beitragvon Tommy030 » Fr Sep 18, 2009 2:04 pm

Danke für die Info, aber in dem von mir genannten Beispiel zeigen sind die Links so hinterlegt. Die Seiten sind leider in zwei Frames geteilt.
Tommy030
 
Beiträge: 4
Registriert: Do Sep 17, 2009 2:53 pm

Re: URL beim Crawlen nach Regel anpassen?

Beitragvon Orbiter » Fr Sep 18, 2009 2:08 pm

das erinnert mich daran, dass der html-Parser noch keine frames erfasst! Ich sollte das wohl mal einbauen. Wenn dievon dir gewünschte Seite dann per frame-Erkennung erreichbar werden würde, dann ginge es vielleicht so wie ich oben schreibe? Gibts den von dir gewollten Link als Link auf einen Frame?
Orbiter
 
Beiträge: 5797
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast

cron