Suchergebnisse unvollständig

Keine Scheu, hier darf alles gefragt und diskutiert werden. Das ist das Forum für YaCy-Anfänger. Hier kann man 'wo muss man klicken' fragen und sich über Grundlagen zur Suchmaschinentechnik unterhalten.
Forumsregeln
Hier werden Fragen beantwortet und wir versuchen die Probleme von YaCy-Newbies zu klären. Bitte beantwortete Fragen im YaCy-Wiki http://wiki.yacy.de dokumentieren!

Suchergebnisse unvollständig

Beitragvon floxx » Fr Mär 23, 2012 9:12 am

Ich crawle http://www.bfarm.de mit meiner Robinson-Lösung. Allerdings findet er nicht alle Seiten. Beispiel:

http://www.bfarm.de/DE/Arzneimittel/2_z ... nn=1013968

Diese Seite befindet sich in der 5. Ebene der Seite. Ich habe schon einen erweiterten Crawl mit Suchtiefe 8, '?' folgen gemacht (auf Startdomain beschränkt), aber die Seite (und auch viele andere) will einfach nciht im Index landen.

Woran kann das liegen? Hat jemand einen Tipp?
floxx
 
Beiträge: 2
Registriert: Do Mär 22, 2012 2:17 pm

Re: Suchergebnisse unvollständig

Beitragvon Lotus » Fr Mär 23, 2012 4:46 pm

Ist der Crawl denn beendet worden? Die robots.txt gibt einen Crawl-Delay von 3 Minuten vor. D.h. alle 3 Minuten wird eine Seite erfasst. http://www.bfarm.de/robots.txt
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: Suchergebnisse unvollständig

Beitragvon floxx » Di Mär 27, 2012 10:25 am

Vielen Dank für die Antwort. Die Erklärung mit der robots.txt ist die Antwort auf meine Frage. ;) Der Crawl läuft auch noch. Mal schauen, wie lange das noch dauert bei Suchtiefe 8.

Was passiert eigentlich, wenn der Crawl noch läuft, aber laut Planung erneut starten soll?
floxx
 
Beiträge: 2
Registriert: Do Mär 22, 2012 2:17 pm

Re: Suchergebnisse unvollständig

Beitragvon Lotus » Di Mär 27, 2012 2:16 pm

floxx hat geschrieben:Was passiert eigentlich, wenn der Crawl noch läuft, aber laut Planung erneut starten soll?

Technisch wird dort genau der gleiche Formularinhalt abgeschickt der beim Crawl Start abgeschickt wurde. Ich vermute, da gibt es einen Fehler "Seite schon geladen" und der Crawl bricht ab. Über die API-Tabelle kann man ausprobieren was passiert.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg


Zurück zu Hilfe für Einsteiger und Anwender

Wer ist online?

Mitglieder in diesem Forum: Exabot [Bot] und 2 Gäste

cron