Wie geht Yacy mit großen Dateien um beim Crawlen?

Keine Scheu, hier darf alles gefragt und diskutiert werden. Das ist das Forum für YaCy-Anfänger. Hier kann man 'wo muss man klicken' fragen und sich über Grundlagen zur Suchmaschinentechnik unterhalten.
Forumsregeln
Hier werden Fragen beantwortet und wir versuchen die Probleme von YaCy-Newbies zu klären. Bitte beantwortete Fragen im YaCy-Wiki http://wiki.yacy.de dokumentieren!

Wie geht Yacy mit großen Dateien um beim Crawlen?

Beitragvon muixirt » Mo Jun 01, 2015 9:30 pm

Nach einem Crawl blieb nur noch ein Eintrag in der Loader Queue (watndat?) übrig:
http://www.eso.org/public/archives/imag ... iginal.zip
eine 39GB große Datei und es machte den Anschein als versuchte die Software die Datei runter zu laden (mit 1.2 MB/s), erst der ein Shutdown machte dem eine Ende. Ich dachte so große Dateien werden nicht runter geladen. In den Crawler Settings ist ein Maximum von 10485760 Bytes eingestellt. Bin jetzt etwas ratlos...
YaCy version 1.83/9201
Java version: 1.8.0_45 / Linux
muixirt
 
Beiträge: 7
Registriert: Fr Jun 28, 2013 8:15 am

Re: Wie geht Yacy mit großen Dateien um beim Crawlen?

Beitragvon Low012 » Mi Jun 10, 2015 8:21 am

Es gibt einen Eintrag im Bugtracker zu dem Thema: http://mantis.tokeek.de/view.php?id=526

Ich habe mal versucht nachzuvollziehen, was da genau passiert und eigentlich sollte der Download gar nicht erst gestartet werden, wenn YaCy erkennen kann, dass die Datei zu groß ist oder abbrechen, wenn die eingestellte Grenze erreicht wurde. Bei meinen Tests hat das auch geklappt. Wenn es aber bei dir und demjenigen, der den Bug eingestellt hat, nicht funktioniert, muss ich weiter testen.
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm


Zurück zu Hilfe für Einsteiger und Anwender

Wer ist online?

Mitglieder in diesem Forum: Exabot [Bot], Google [Bot] und 1 Gast