Problem beim Hochladen einer URL-Datei

Keine Scheu, hier darf alles gefragt und diskutiert werden. Das ist das Forum für YaCy-Anfänger. Hier kann man 'wo muss man klicken' fragen und sich über Grundlagen zur Suchmaschinentechnik unterhalten.
Forumsregeln
Hier werden Fragen beantwortet und wir versuchen die Probleme von YaCy-Newbies zu klären. Bitte beantwortete Fragen im YaCy-Wiki http://wiki.yacy.de dokumentieren!

Problem beim Hochladen einer URL-Datei

Beitragvon hotel24 » Mi Mär 27, 2013 12:40 pm

Wenn ich eine Liste mit rd. 700.000 Urls als Starting Point lokal hochlade, hängt sich das System auf. Mit testweise 20.000 Urls funktioniert das ganze. Ich habe die aktuellste Version am Laufen. Mit einer der Vorgängerversionen hat das Hochladen der 700.000 Urls funktioniert.

Wurde im Rahmen der neuen Version diesbezüglich irgendetwas geändert?

Danke und LG
hotel24
 
Beiträge: 52
Registriert: Di Jan 22, 2013 1:17 pm

Re: Problem beim Hochladen einer URL-Datei

Beitragvon hotel24 » Do Mär 28, 2013 9:24 pm

Das Problem hat sich gelöst. Habe unter /Performance_p.html den JVM Speicher von 600MB auf 10.000MB erhöht. Nun läuft das System stabil.
Lt. /PerformanceMemory_p.html benötigt das System für das Einlesen der URLs aus der Datei sowie für den Crawlingprozess bis zu 7.000MB JVM Speicher.
hotel24
 
Beiträge: 52
Registriert: Di Jan 22, 2013 1:17 pm

Re: Problem beim Hochladen einer URL-Datei

Beitragvon sixcooler » Do Mär 28, 2013 9:29 pm

Wow - das ist viel - aber eine gute Erkenntniss!
Bei den 7G Speicher hattest Du 700.000 Urls zu crawlen reingeschoben?
Sind das Urls unterschiedlicher Domains?
Oft streiken ja die DNS bei zu vielen Anfragen.
sixcooler
 
Beiträge: 494
Registriert: Do Aug 14, 2008 5:22 pm

Re: Problem beim Hochladen einer URL-Datei

Beitragvon hotel24 » Do Mär 28, 2013 10:00 pm

Ja, 700.000 Urls unterschiedlicher Domains.
hotel24
 
Beiträge: 52
Registriert: Di Jan 22, 2013 1:17 pm


Zurück zu Hilfe für Einsteiger und Anwender

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 3 Gäste

cron