Unterverzeichnisse dauerhaft ignorieren

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Unterverzeichnisse dauerhaft ignorieren

Beitragvon Arbol01 » So Jun 08, 2014 6:04 pm

Hallo!

Es handelt sich bei mir nicht um einen Bug. Ich möchte gerne, das bestimmte 'Unterverzeichnisse' beim Crawlen (dauerhaft) nicht berücksichtigt werden. Was ich damit meine beschreibe ich mal in einem Beispiel: Ich crawle http://www.atlas.de/ (fiktive Adresse). Ich möchte aber nicht http://www.atlas/vorschaubilder/ und http://www.atlas/kommentare/ mitcrawlen.
Es reicht mir auch nicht, das ich nach dem Crawlen nachträglich diese Verzeichnisse löschen kann. Yacy soll auch bei zukünftigen Aktualisierungen wissen, das es diese Verzeichnisse nicht durchsuchen soll.

Geht das? Und wenn ja, wie kann ich das realisieren?

Gruß, Karsten
Arbol01
 
Beiträge: 1
Registriert: So Jun 08, 2014 5:53 pm

Re: Unterverzeichnisse dauerhaft ignorieren

Beitragvon Low012 » Mi Jun 11, 2014 3:24 pm

Ich würde das über die Blacklist machen:

1. auf http://localhost:8090/Blacklist_p.html gehen
2. neue Blacklist anlegen (z.B. mit dem nahmen "Crawler")
3. für gewünschte Use-Cases aktivieren (auf jeden Fall "crawler")
4. die folgenden Einträge einfügen:
  • www.atlas.de/vorschaubilder/.*
  • www.atlas/kommentare/.*
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast