Suchergebnisse unvollständig

[floxx]

Ich crawle http://www.bfarm.de mit meiner Robinson-Lösung. Allerdings findet er nicht alle Seiten. Beispiel:

http://www.bfarm.de/DE/Arzneimittel/2_z ... nn=1013968

Diese Seite befindet sich in der 5. Ebene der Seite. Ich habe schon einen erweiterten Crawl mit Suchtiefe 8, '?' folgen gemacht (auf Startdomain beschränkt), aber die Seite (und auch viele andere) will einfach nciht im Index landen.

Woran kann das liegen? Hat jemand einen Tipp?

[Lotus]

Ist der Crawl denn beendet worden? Die robots.txt gibt einen Crawl-Delay von 3 Minuten vor. D.h. alle 3 Minuten wird eine Seite erfasst. http://www.bfarm.de/robots.txt

[floxx]

Vielen Dank für die Antwort. Die Erklärung mit der robots.txt ist die Antwort auf meine Frage. Der Crawl läuft auch noch. Mal schauen, wie lange das noch dauert bei Suchtiefe 8.

Was passiert eigentlich, wenn der Crawl noch läuft, aber laut Planung erneut starten soll?

[Lotus]

Was passiert eigentlich, wenn der Crawl noch läuft, aber laut Planung erneut starten soll?

Technisch wird dort genau der gleiche Formularinhalt abgeschickt der beim Crawl Start abgeschickt wurde. Ich vermute, da gibt es einen Fehler "Seite schon geladen" und der Crawl bricht ab. Über die API-Tabelle kann man ausprobieren was passiert.