OutOfMemoryError bei INITIALIZATION OF NEW COLLECTION INDEX

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

OutOfMemoryError bei INITIALIZATION OF NEW COLLECTION INDEX

Beitragvon miTreD » Do Jun 28, 2007 9:25 am

v0.533 / 3929
Musste den Index löschen und kann ihn jetzt nichtmehr neu erstellen. 512MB hat der Peer schon. Damit ist er auch problemlos gelaufen, bis zum Shutdown.
Code: Alles auswählen
D 2007/06/28 08:55:57 STARTUP STARTED INITIALIZATION OF NEW COLLECTION INDEX. THIS WILL TAKE SOME TIME
D 2007/06/28 08:55:57 STARTUP opened array file /yacy/hdb/DATA/INDEX/PUBLIC/TEXT/RICOLLECTION/collection.04.0028.03.00.kca with 161460 RWIs
D 2007/06/28 08:56:27 STARTUP created 42600 RWI index entries. 1 minutes remaining for this array
D 2007/06/28 08:56:57 STARTUP created 83736 RWI index entries. 0 minutes remaining for this array
D 2007/06/28 08:57:27 STARTUP created 123726 RWI index entries. 0 minutes remaining for this array
D 2007/06/28 08:57:57 STARTUP created 153768 RWI index entries. 0 minutes remaining for this array
D 2007/06/28 08:58:08 STARTUP opened array file /yacy/hdb/DATA/INDEX/PUBLIC/TEXT/RICOLLECTION/collection.04.0028.07.00.kca with 1785 RWIs
D 2007/06/28 08:58:38 STARTUP created 189 RWI index entries. 4 minutes remaining for this array
D 2007/06/28 08:59:08 STARTUP created 384 RWI index entries. 3 minutes remaining for this array
D 2007/06/28 08:59:38 STARTUP created 577 RWI index entries. 3 minutes remaining for this array
D 2007/06/28 09:00:09 STARTUP created 770 RWI index entries. 2 minutes remaining for this array
D 2007/06/28 09:00:39 STARTUP created 961 RWI index entries. 2 minutes remaining for this array
D 2007/06/28 09:01:09 STARTUP created 1148 RWI index entries. 1 minutes remaining for this array
D 2007/06/28 09:01:39 STARTUP created 1339 RWI index entries. 1 minutes remaining for this array
D 2007/06/28 09:02:09 STARTUP created 1533 RWI index entries. 0 minutes remaining for this array
D 2007/06/28 09:02:39 STARTUP created 1729 RWI index entries. 0 minutes remaining for this array
D 2007/06/28 09:02:47 STARTUP opened array file /yacy/hdb/DATA/INDEX/PUBLIC/TEXT/RICOLLECTION/collection.04.0028.05.00.kca with 24851 RWIs

DEBUG: 1 deleted entries in collection.04.0028.05.00.kca
D 2007/06/28 09:03:17 STARTUP created 3369 RWI index entries. 3 minutes remaining for this array
D 2007/06/28 09:03:47 STARTUP created 6653 RWI index entries. 2 minutes remaining for this array
D 2007/06/28 09:04:17 STARTUP created 9731 RWI index entries. 2 minutes remaining for this array
D 2007/06/28 09:04:47 STARTUP created 12661 RWI index entries. 1 minutes remaining for this array
D 2007/06/28 09:05:17 STARTUP created 15558 RWI index entries. 1 minutes remaining for this array
D 2007/06/28 09:05:47 STARTUP created 18184 RWI index entries. 1 minutes remaining for this array
D 2007/06/28 09:06:17 STARTUP created 22172 RWI index entries. 0 minutes remaining for this array
D 2007/06/28 09:06:38 STARTUP opened array file /yacy/hdb/DATA/INDEX/PUBLIC/TEXT/RICOLLECTION/collection.04.0028.04.00.kca with 57535 RWIs
D 2007/06/28 09:07:08 STARTUP created 5819 RWI index entries. 4 minutes remaining for this array
D 2007/06/28 09:07:38 STARTUP created 14454 RWI index entries. 2 minutes remaining for this array
D 2007/06/28 09:08:08 STARTUP created 23961 RWI index entries. 2 minutes remaining for this array
D 2007/06/28 09:08:38 STARTUP created 33415 RWI index entries. 1 minutes remaining for this array
D 2007/06/28 09:09:08 STARTUP created 42900 RWI index entries. 0 minutes remaining for this array
D 2007/06/28 09:09:38 STARTUP created 52237 RWI index entries. 0 minutes remaining for this array
D 2007/06/28 09:10:00 STARTUP opened array file /yacy/hdb/DATA/INDEX/PUBLIC/TEXT/RICOLLECTION/collection.04.0028.00.00.kca with 10904845 RWIs
D 2007/06/28 09:10:31 STARTUP created 1141509 RWI index entries. 4 minutes remaining for this array
D 2007/06/28 09:11:01 STARTUP created 2287858 RWI index entries. 3 minutes remaining for this array
D 2007/06/28 09:11:31 STARTUP created 3439446 RWI index entries. 3 minutes remaining for this array
*** DEBUG: patched wrong a = [110, 108, 101, 48, 48, 95, 101, 70, 113, 52, 110, 108, 0, 64, 91, 66,]
D 2007/06/28 09:12:01 STARTUP created 4586414 RWI index entries. 2 minutes remaining for this array
D 2007/06/28 09:12:31 STARTUP created 5730303 RWI index entries. 2 minutes remaining for this array
D 2007/06/28 09:13:01 STARTUP created 6834750 RWI index entries. 1 minutes remaining for this array
D 2007/06/28 09:13:31 STARTUP created 7973505 RWI index entries. 1 minutes remaining for this array
D 2007/06/28 09:14:01 STARTUP created 9059933 RWI index entries. 0 minutes remaining for this array
D 2007/06/28 09:14:31 STARTUP created 10210889 RWI index entries. 0 minutes remaining for this array
D 2007/06/28 09:14:49 STARTUP opened array file /yacy/hdb/DATA/INDEX/PUBLIC/TEXT/RICOLLECTION/collection.04.0028.02.00.kca with 505160 RWIs
D 2007/06/28 09:15:19 STARTUP created 125875 RWI index entries. 1 minutes remaining for this array
D 2007/06/28 09:15:49 STARTUP created 250175 RWI index entries. 1 minutes remaining for this array
D 2007/06/28 09:16:19 STARTUP created 369400 RWI index entries. 0 minutes remaining for this array
D 2007/06/28 09:16:49 STARTUP created 480575 RWI index entries. 0 minutes remaining for this array
D 2007/06/28 09:16:56 STARTUP opened array file /yacy/hdb/DATA/INDEX/PUBLIC/TEXT/RICOLLECTION/collection.04.0028.01.00.kca with 1185391 RWIs
D 2007/06/28 09:17:26 STARTUP created 561056 RWI index entries. 0 minutes remaining for this array
Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
miTreD
 
Beiträge: 1241
Registriert: Mi Jun 27, 2007 11:35 am
Wohnort: /home

Re: OutOfMemoryError bei INITIALIZATION OF NEW COLLECTION INDEX

Beitragvon Hermes » Do Jun 28, 2007 12:09 pm

Ich habe unter Version 0.51/3505 mal festgestellt, dass wenn versucht wird mittels IndexDateien RAM zu sparen, im Endeffekt teilweise sogar mehr Speicher für den NodeCache verwendet wird als der RamIndex benötigt hätte. Ich schätze, dass auch in diesem Fall die bei der Erstellung der IndexDatei angelegten Node- und Object-Cache zu viel vom Speicher auffressen und nicht rechtzeitig wieder verkleinert werden.
Hermes
 
Beiträge: 50
Registriert: Mi Jun 27, 2007 11:10 pm
Wohnort: Ratingen

Re: OutOfMemoryError bei INITIALIZATION OF NEW COLLECTION INDEX

Beitragvon Orbiter » Do Jun 28, 2007 12:39 pm

hm, hier bräuchte man eine Option um den Node Cache bei der Indexerstellung nicht anzusprechen.
Orbiter
 
Beiträge: 5787
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: OutOfMemoryError bei INITIALIZATION OF NEW COLLECTION INDEX

Beitragvon miTreD » Do Jun 28, 2007 3:49 pm

Die temporäre Anhebung auf 555MB für die VM hat das Problem für dieses Mal behoben. Läuft jetzt wieder.
miTreD
 
Beiträge: 1241
Registriert: Mi Jun 27, 2007 11:35 am
Wohnort: /home


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 4 Gäste

cron