[closed] File-Handle für Blobs

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

[closed] File-Handle für Blobs

Beitragvon PCA42 » Sa Mär 07, 2009 3:04 pm

Mein Peer ist mir diese Woche schon das zweite Mal verreckt. Ärgerlich, da ich ja grad einen anderen Fehler suche. Nun also zum aktuellen Problem: wie es aussieht, öffnet Yacy mit der Zeit immer mehr Files, bis einfach nicht mehr geht. Ist mir daran aufgefallen, das teilweise die Bilder aus dem Interface nicht mehr ausgeliefert wurden.

Also hab ich mal mit "lsof" geschaut, welche File-Handles noch offen sind. Dabei ist mir aufgefallen, das bereits gelöschte Blobs noch offen sind:
Code: Alles auswählen
java    25384 yacy   83r   REG                9,1     2097440 78840459 /home/yacy/yacy/DATA/HTCACHE/file.array/20090307015850.DvgzXMfS8oDp.blob (deleted)
java    25384 yacy   84r   REG                9,1     2097440 78840459 /home/yacy/yacy/DATA/HTCACHE/file.array/20090307015850.DvgzXMfS8oDp.blob (deleted)
java    25384 yacy   85r   REG                9,1     2100288 78840451 /home/yacy/yacy/DATA/HTCACHE/file.array/20090307012609.DvgzXMfS8oDp.blob (deleted)
java    25384 yacy   86r   REG                9,1     2092690 78840447 /home/yacy/yacy/DATA/HTCACHE/file.array/20090307011737.DvgzXMfS8oDp.blob (deleted)
java    25384 yacy   87r   REG                9,1     2095310 78840456 /home/yacy/yacy/DATA/HTCACHE/file.array/20090307015005.DvgzXMfS8oDp.blob (deleted)
java    25384 yacy   88r   REG                9,1     2095310 78840456 /home/yacy/yacy/DATA/HTCACHE/file.array/20090307015005.DvgzXMfS8oDp.blob (deleted)
java    25384 yacy   89r   REG                9,1     2095310 78840456 /home/yacy/yacy/DATA/HTCACHE/file.array/20090307015005.DvgzXMfS8oDp.blob (deleted)
java    25384 yacy   90r   REG                9,1     2095310 78840456 /home/yacy/yacy/DATA/HTCACHE/file.array/20090307015005.DvgzXMfS8oDp.blob (deleted)
java    25384 yacy   91r   REG                9,1     2192258 78840461 /home/yacy/yacy/DATA/HTCACHE/file.array/20090307020623.DvgzXMfS8oDp.blob (deleted)
java    25384 yacy   92r   REG                9,1     2100288 78840451 /home/yacy/yacy/DATA/HTCACHE/file.array/20090307012609.DvgzXMfS8oDp.blob (deleted)
java    25384 yacy   93r   REG                9,1     2100288 78840451 /home/yacy/yacy/DATA/HTCACHE/file.array/20090307012609.DvgzXMfS8oDp.blob (deleted)
java    25384 yacy   94r   REG                9,1     2100288 78840451 /home/yacy/yacy/DATA/HTCACHE/file.array/20090307012609.DvgzXMfS8oDp.blob (deleted)
java    25384 yacy   95r   REG                9,1     2092690 78840447 /home/yacy/yacy/DATA/HTCACHE/file.array/20090307011737.DvgzXMfS8oDp.blob (deleted)
java    25384 yacy   96r   REG                9,1     2092690 78840447 /home/yacy/yacy/DATA/HTCACHE/file.array/20090307011737.DvgzXMfS8oDp.blob (deleted)
java    25384 yacy   97r   REG                9,1     2092690 78840447 /home/yacy/yacy/DATA/HTCACHE/file.array/20090307011737.DvgzXMfS8oDp.blob (deleted)
java    25384 yacy   98r   REG                9,1     2094383 78840454 /home/yacy/yacy/DATA/HTCACHE/file.array/20090307014415.DvgzXMfS8oDp.blob (deleted)
java    25384 yacy   99r   REG                9,1     2094383 78840454 /home/yacy/yacy/DATA/HTCACHE/file.array/20090307014415.DvgzXMfS8oDp.blob (deleted)
java    25384 yacy  100r   REG                9,1     2094383 78840454 /home/yacy/yacy/DATA/HTCACHE/file.array/20090307014415.DvgzXMfS8oDp.blob (deleted)
java    25384 yacy  101r   REG                9,1     2192258 78840461 /home/yacy/yacy/DATA/HTCACHE/file.array/20090307020623.DvgzXMfS8oDp.blob (deleted)

Stehen noch mehr drin. Diese Einträge verschwinden auch nach zwei Stunden nicht. Ich hoffe, ich lieg mit meiner Diagnose richtig. Vielleicht kann auch noch jemand anderes mal seinen Peer befragen.
Zuletzt geändert von PCA42 am Mo Mär 30, 2009 5:57 pm, insgesamt 1-mal geändert.
PCA42
 
Beiträge: 621
Registriert: Mi Jan 23, 2008 4:19 pm
Wohnort: @Home

Re: File-Handle für Blobs

Beitragvon Lilirasa » Sa Mär 07, 2009 4:53 pm

Hab mal bei mir mit lsof nachgeschaut und kann das nicht bestätigen. Allerdings habe ich heute morgen meinen Peer neu gestartet, vielleicht dauert es eine Weile bis sich die gelöschten offenen Blobs aufbauen. Werds morgen nochmal versuchen und hier posten wenn sich was ändert.
Lilirasa
 
Beiträge: 71
Registriert: So Sep 14, 2008 11:28 am

Re: File-Handle für Blobs

Beitragvon PCA42 » Sa Mär 07, 2009 6:30 pm

Hab nochmal nachgeschaut und die Werte aufgezeichnet: in 3,5 h ca. 124 mehr offene gelöschte Blobs. Hab bisher 1,7GB durch den Crawler geschoben.
PCA42
 
Beiträge: 621
Registriert: Mi Jan 23, 2008 4:19 pm
Wohnort: @Home

Re: File-Handle für Blobs

Beitragvon Lilirasa » Sa Mär 07, 2009 7:56 pm

Zwischenzeitlich bekomme ich 4 gelöschte blob Dateien mit lsof angezeigt.
Lilirasa
 
Beiträge: 71
Registriert: So Sep 14, 2008 11:28 am

Re: File-Handle für Blobs

Beitragvon PCA42 » So Mär 08, 2009 8:50 am

Yacy hat grad kapituliert. Nach 3,6 GB im Crawler. Mit 677 offenen, gelöschten Blobs.
Code: Alles auswählen
E 2009/03/08 08:44:35 FILEHANDLER Include Error with file env/templates/metas.template: /home/yacy/yacy/htroot/env/templates/metas.template (Too many open files)

Hab auch grad gesehen, dass die dazugehörigen ".idx" und ".gap" garnicht gelöscht werden.
PCA42
 
Beiträge: 621
Registriert: Mi Jan 23, 2008 4:19 pm
Wohnort: @Home

Re: File-Handle für Blobs

Beitragvon PCA42 » Fr Mär 13, 2009 10:26 pm

Blob. Das Problem besteht mit einer aktuellen SVN immer noch.
Vielleicht ist das eher was für die BUG-Sektion.
PCA42
 
Beiträge: 621
Registriert: Mi Jan 23, 2008 4:19 pm
Wohnort: @Home

Re: File-Handle für Blobs

Beitragvon Orbiter » Fr Mär 13, 2009 11:49 pm

bin ein wenig ratlos. Ich muss zugeben das ich das noch nie mit lsof beobachtet habe. Ich nehme an, das die Löschung nicht geht, weil irgendein anderes Programm oder ein anderer Thread das File offen hat? Hat jemand eine Idee was das sein kann? Kann man das irgendwie beobachten?

Um ein wenig die Sicherheit zu erhöhen, das die Files auch tatsächlich gelöscht werden, hab ich noch ein deleteOnExit dran gemacht, SVN 5713
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: [closed] File-Handle für Blobs

Beitragvon PCA42 » Mo Mär 30, 2009 5:57 pm

Kann bestätigen, das sich das Problem mit SVN 5752 erledigt hat. Danke.
PCA42
 
Beiträge: 621
Registriert: Mi Jan 23, 2008 4:19 pm
Wohnort: @Home

Re: [closed] File-Handle für Blobs

Beitragvon Orbiter » Di Mär 31, 2009 12:38 pm

ups, das war dann wohl ein Zufallstreffer, weil ich gerade das gleiche Problem habe mit der IndexCell (Sammlung aus BLOBs) und es unter Windows nicht schaffe die BLOBs von Java aus zu löschen. Da sind immer noch File handles offen, auch wenn ich die Datei geclosed habe. Mal geht es, und mal nicht. Ich weiss nicht was ich machen soll um das Problem zu lösen. Speziell mit RandomAccessFile geöffnete Dateien kann ich nicht löschen. Unter MacOS gehts, kein problem. Hat jemand eine Idee?
Es geht speziell um die mit de.anomic.kelondro.blob.HeapReader geöffneten Dateien. Wenn man die schliesst, kann man sie trotzdem nicht öffnen und der Handle ist immer noch da.

Update: habs hinbekommen, Fix in SVN 5760
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 3 Gäste

cron