Domain komplett crawlen und nach außen Tiefe beschränken ...

Keine Scheu, hier darf alles gefragt und diskutiert werden. Das ist das Forum für YaCy-Anfänger. Hier kann man 'wo muss man klicken' fragen und sich über Grundlagen zur Suchmaschinentechnik unterhalten.
Forumsregeln
Hier werden Fragen beantwortet und wir versuchen die Probleme von YaCy-Newbies zu klären. Bitte beantwortete Fragen im YaCy-Wiki http://wiki.yacy.de dokumentieren!

Domain komplett crawlen und nach außen Tiefe beschränken ...

Beitragvon Frabi » Fr Jul 13, 2012 1:21 pm

Ich möchte gerne eine Domain komplett crawlen und alle in dieser Domain verlinkten Domains mit beschränkter Crawltiefe.

Ich habe keine Möglichkeit gefunden dies in einem Crawl durchzuführen und wollte daher

1. einen auf Domain beschränkt mit hoher Crawltiefe
2. einen mit geringer Crawltiefe ohne Domänenbeschränkung

Fragen:
1. Gibt es da Probleme mit Dublettenerkennung?
2. Welcher Crawl sollte sinnigerweise zuerst laufen?

Oder hab ich was übersehen und es geht doch in einer Crawldefinition?
Frabi
 
Beiträge: 7
Registriert: So Dez 04, 2011 2:13 pm

Re: Domain komplett crawlen und nach außen Tiefe beschränken

Beitragvon Lotus » Do Jul 19, 2012 8:35 pm

Genau das was du einstellen möchtest geht nicht in einem Crawl. Vielleicht könnte der "Maximum Pages per Domain" Filter auch interessant sein.
Für die Reihenfolge würde ich vorschlagen, zuerst in die Breite zu crawlen (=mit den anderen Domains), und dann die einzelne Domain tiefer. Jedoch hintereinander, sonst könnte es dazu kommen, dass Doubletten (richtigerweise) erkannt werden, und der Tiefencrawl nicht die gewünschte Tiefe erreicht.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: Domain komplett crawlen und nach außen Tiefe beschränken

Beitragvon Frabi » Fr Jul 20, 2012 11:42 am

Danke, werde ich mal testen.
Frabi
 
Beiträge: 7
Registriert: So Dez 04, 2011 2:13 pm


Zurück zu Hilfe für Einsteiger und Anwender

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste