Bestimmte Wörter wie http, ftp, html ...

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Bestimmte Wörter wie http, ftp, html ...

Beitragvon gaston » Fr Aug 31, 2012 2:01 pm

...sollten nicht _immer_ gespeichert werden.

http, https, ftp ... sollten z.B. nicht gespeichert werden beim auftreten in URLs.

gif, jpeg, jpg ... sollten nicht gespeichert werden wenn der Link-Type Image ist.

...

Das trifft zwar alles zu, nur sucht man bestimmt nicht Millionen von URLs wenn man nach http sucht, man sucht auch nicht nach gif wenn man bestimmte Bilder sucht. Das einzige was das jetzige verhalten hervorruft ist eine Überbelastung der Peers die diese Wörter speichern "müssen". Das heißt aktuell für "http", 1.897.835.850 URLs.

Das sollte geändert werden.
gaston
 
Beiträge: 143
Registriert: Fr Jan 06, 2012 2:22 pm

Re: Bestimmte Wörter wie http, ftp, html ...

Beitragvon Orbiter » Do Sep 06, 2012 8:59 pm

also diese Wörter sind sehr gute Kandidaten für eine default-stopwordlist. Diese liegt in Yacy in der Datei yacy.stoppwords bei. Kannst du mal versuchen herumzuprobieren was passiert wenn du diese Dateien mit den vorgeschlagenen Wörtern füllst? Ein Wort pro Zeile ist das Format.
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Bestimmte Wörter wie http, ftp, html ...

Beitragvon gaston » Do Sep 06, 2012 9:29 pm

Solange nur ich diese Wörter da eintrage wird das YaCy-Netz solche Dateien weiter verteilen. Und komplett verbieten wollte ich diese auch nicht. Vielleicht reicht es wenn man beim zerlegen der ULRs nur die Domain selbst speichert und den Rest verwirft.
gaston
 
Beiträge: 143
Registriert: Fr Jan 06, 2012 2:22 pm


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste

cron