Yacy Probleme beim Betrieb... #5433

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Yacy Probleme beim Betrieb... #5433

Beitragvon botec » So Jan 04, 2009 8:44 pm

Hallo,
ich habe seit einen Monat Probleme meinen Peer online zu halten. Ich aktualisiere ständig auf die aktuelle Dev. Version. Ich habe auch schon im Forum gesucht und einige Artikel gefunden die ähnliche Probleme haben, aber in den Tipps dazu konnte ich nichts passendes finden...
Der Peer startet nicht wenn ich nicht vorher die DATA/INDEX/freeworld/TEXT/RICOLLECTION/collection.index lösche. Und das jedes mal wenn ich yacy starte!

Wenn er dann den Index neu aufgebaut hat und einmal läuft, bleibt er nach ca. 2-12 Stunden mit einer übervollen Index Queue hängen...
Irgendwie bekomme ich keinen stabilen Zustand mit yacy mehr hin, was äußerst mühsam ist!

Bitte um Hilfe!!!!

S 2009/01/04 11:48:53 STARTUP Java version: 1.5.0_16
S 2009/01/04 11:48:53 STARTUP Operation system: Linux
S 2009/01/04 11:48:53 STARTUP Application root-path: /data/yacy
S 2009/01/04 11:48:54 STARTUP Time zone: UTC+0000; UTC+0000 is 1231069734027
S 2009/01/04 11:48:54 STARTUP Maximum file system path length: 65535
I 2009/01/04 11:48:54 PLASMA This is the pro-version of YaCy
I 2009/01/04 11:48:54 PLASMA restoring rwi blob dump 'index.dhtout.blob'
I 2009/01/04 11:48:57 PLASMA finished rwi blob restore: 46099 words, 413544 word/URL relations in 2237 milliseconds
I 2009/01/04 11:48:57 PLASMA restoring rwi blob dump 'index.dhtin.blob'
I 2009/01/04 11:48:57 PLASMA finished rwi blob restore: 2009 words, 21799 word/URL relations in 52 milliseconds
D 2009/01/04 11:48:57 STARTUP OPENING COLLECTION INDEX
I 2009/01/04 11:48:57 ECOTABLE initialization of /data/yacy/DATA/INDEX/freeworld/TEXT/RICOLLECTION/collection.index: available RAM: 2706MB, allocating space for 27673800 entries
I 2009/01/04 11:48:58 ECOTABLE /data/yacy/DATA/INDEX/freeworld/TEXT/RICOLLECTION/collection.index: EcoTable /data/yacy/DATA/INDEX/freeworld/TEXT/RICOLLECTION/collection.index has table copy DISABLED
I 2009/01/04 11:48:58 ECOTABLE initializing RAM index for EcoTable collection.index, please wait.
W 2009/01/04 11:49:47 kelondroRowCollection -96
java.lang.ArrayIndexOutOfBoundsException: -96
at de.anomic.kelondro.kelondroBase64Order.compares(kelondroBase64Order.java:322)
at de.anomic.kelondro.kelondroBase64Order.compare0(kelondroBase64Order.java:297)
at de.anomic.kelondro.kelondroBase64Order.compare(kelondroBase64Order.java:293)
at de.anomic.kelondro.kelondroRowCollection.compare(kelondroRowCollection.java:909)
at de.anomic.kelondro.kelondroRowCollection.removeDoubles(kelondroRowCollection.java:802)
at de.anomic.kelondro.kelondroRAMIndex.removeDoubles(kelondroRAMIndex.java:127)
at de.anomic.kelondro.kelondroBytesIntMap.removeDoubles(kelondroBytesIntMap.java:92)
at de.anomic.kelondro.kelondroEcoTable.<init>(kelondroEcoTable.java:163)
at de.anomic.kelondro.kelondroCollectionIndex.openIndexFile(kelondroCollectionIndex.java:278)
at de.anomic.kelondro.kelondroCollectionIndex.<init>(kelondroCollectionIndex.java:134)
at de.anomic.index.indexCollectionRI.<init>(indexCollectionRI.java:49)
at de.anomic.plasma.plasmaWordIndex.<init>(plasmaWordIndex.java:153)
at de.anomic.plasma.plasmaSwitchboard.<init>(plasmaSwitchboard.java:308)
at yacy.startup(yacy.java:224)
at yacy.main(yacy.java:1037)
I 2009/01/04 11:49:50 ECOTABLE /data/yacy/DATA/INDEX/freeworld/TEXT/RICOLLECTION/collection.index: WARNING - EcoTable /data/yacy/DATA/INDEX/freeworld/TEXT/RICOLLECTION/collection.index has 1449 doubles
botec
 
Beiträge: 32
Registriert: Fr Jun 13, 2008 9:20 pm

Re: Yacy Probleme beim Betrieb... #5433

Beitragvon Orbiter » So Jan 04, 2009 11:10 pm

fährst du YaCy immer sauber runter vor einem Neustart?
Orbiter
 
Beiträge: 5796
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Yacy Probleme beim Betrieb... #5433

Beitragvon botec » Mo Jan 05, 2009 12:41 am

Ja, jedes mal mit

https://127.0.0.1:8080/Steering.html?shutdown=

und nach 2-4min ist der Java Prozess dann weg...
botec
 
Beiträge: 32
Registriert: Fr Jun 13, 2008 9:20 pm

Re: Yacy Probleme beim Betrieb... #5433

Beitragvon sixcooler » Di Jan 06, 2009 10:41 pm

Hallo,

hast Du dieses Problem lösen können?
Wenn ja - wie?

Bei mir sieht es ebenso aus - ebenfalls trotz korrektem herunterfahren von yacy.

Code: Alles auswählen
S 2009/01/06 22:33:02 STARTUP Java version: 1.6.0_11
S 2009/01/06 22:33:02 STARTUP Operation system: Linux
S 2009/01/06 22:33:02 STARTUP Application root-path: /opt/yacy
S 2009/01/06 22:33:02 STARTUP Time zone: UTC+0100; UTC+0000 is 1231277582696
S 2009/01/06 22:33:02 STARTUP Maximum file system path length: 65535
I 2009/01/06 22:33:02 PLASMA This is the pro-version of YaCy
I 2009/01/06 22:33:03 indexContainerRAMHeap restoring rwi blob dump 'index.dhtout.blob'
I 2009/01/06 22:33:03 indexContainerRAMHeap finished rwi blob restore: 0 words, 0 word/URL relations in 20 milliseconds
I 2009/01/06 22:33:03 indexContainerRAMHeap restoring rwi blob dump 'index.dhtin.blob'
I 2009/01/06 22:33:03 indexContainerRAMHeap finished rwi blob restore: 319 words, 2951 word/URL relations in 160 milliseconds
D 2009/01/06 22:33:03 STARTUP OPENING COLLECTION INDEX
I 2009/01/06 22:33:03 ECOTABLE initialization of /opt/yacy/DATA/INDEX/freeworld/TEXT/RICOLLECTION/collection.index: available RAM: 494MB, allocating space for 4741028 entries
I 2009/01/06 22:33:04 ECOTABLE /opt/yacy/DATA/INDEX/freeworld/TEXT/RICOLLECTION/collection.index: EcoTable /opt/yacy/DATA/INDEX/freeworld/TEXT/RICOLLECTION/collection.index has table copy DISABLED
I 2009/01/06 22:33:04 ECOTABLE initializing RAM index for EcoTable collection.index, please wait.
I 2009/01/06 22:33:27 ECOTABLE /opt/yacy/DATA/INDEX/freeworld/TEXT/RICOLLECTION/collection.index: WARNING - EcoTable /opt/yacy/DATA/INDEX/freeworld/TEXT/RICOLLECTION/collection.index has 734 doubles
sixcooler
 
Beiträge: 494
Registriert: Do Aug 14, 2008 5:22 pm

Re: Yacy Probleme beim Betrieb... #5433

Beitragvon botec » Di Jan 06, 2009 11:53 pm

Ja ich habe das Problem los, aber nicht behoben...
Ich habe ein Backup von meinem Index eingespielt das einige Monate alt war und bin somit von 19 Mio Url's auf 8 Mio runter :roll:

Ist aber bei mir definitiv etwas am Index kaputt gegangen.
Irgend eine Dev. Version von yacy hat das bei mir vor ca. einem Monat erzeugt...
botec
 
Beiträge: 32
Registriert: Fr Jun 13, 2008 9:20 pm

Re: Yacy Probleme beim Betrieb... #5433

Beitragvon sixcooler » Di Jan 06, 2009 11:58 pm

was ich noch fragen wollte:

wenn bei Dir
botec hat geschrieben:...bleibt er nach ca. 2-12 Stunden mit einer übervollen Index Queue hängen...

die IndexQueue voll läuft beobachtest Du auch sowas...BUSYTHREAD Runtime Error... in deinem Log?
sixcooler
 
Beiträge: 494
Registriert: Do Aug 14, 2008 5:22 pm

Re: Yacy Probleme beim Betrieb... #5433

Beitragvon botec » Mi Jan 07, 2009 1:04 am

Schaut irgendwie danach aus.
Ich weiß nur noch das das Web Interface erreichbar war aber der Indexer und DHT anscheinend tot waren.
Die Logs habe ich ebenfalls durch das Backup ersetzt, deswegen kann ich leider nicht mehr nachsehen...
botec
 
Beiträge: 32
Registriert: Fr Jun 13, 2008 9:20 pm

Re: Yacy Probleme beim Betrieb... #5433

Beitragvon dulcedo » Di Jan 13, 2009 5:27 am

Habe dieses Problem auch auf 2 Peers (SVN 5464,5465 ) der RWI-Puffer läuft schnell voll weil schnelles crawlen, das ist normal und war nie kritisch, jetzt aber wird er nur sehr sehr langsam wieder abgebaut, vielleicht 50 wpm.
Selbst wenn ich den Crawl pausiere dauert es ewig bis er wieder leer ist und lass ich ihn wieder loscrawlen ist natürlich bald wieder voll. (Wert ist Standard 100k)
dulcedo
 
Beiträge: 1006
Registriert: Do Okt 16, 2008 6:36 pm
Wohnort: Bei Karlsruhe

Re: Yacy Probleme beim Betrieb... #5433

Beitragvon Orbiter » Di Jan 13, 2009 10:37 am

das der Cache ständig gefüllt ist, ist jetzt Absicht, weil der Cache besser funktioniert wenn er voll ist:
- bei einem einzelnen cache flush werden mehr Referenzen auf ein mal geschrieben, als wenn man den Flush 'zu früh' macht
- der DHT versand brauch kein IO, da er sich aus dem Cache bedient
- das permanente Flushing erzeugte permanentes IO und damit viel 'Missgunst'. Jetzt kann man das Flushing besser kontrollieren.

Wer mehr im neuen periodischen Cache Flush flushen will, der kann das:
Admin Console -> Advanced Properties -> performanceIO
der Wert sollte default auf 10 stehen. Das heisst das er 10% der pause-time beim flush cycle fürs dumpen nutzt. Wer will kann den Wert höher stellen, bsp. 90

Dann kann man noch hingehen und unter 'Performance Settings for Busy Queues' den busy loop time von 10000 runter setzen. Aber Achtung: nicht zu klein setzten, dann macht er gar nichts mehr. Wenn man das hier auf 1000 stellt, müsste er immer abwechselnd 1 Sekunde nix machen und dann 0.9 Sekunden Flushen. Macht aber auf Desktops keinen Spass. Das neue, seltene Flushing lässt wieder Arbeiten zu.

Wenn mein DB-Redesign fertig ist, wird es übrigens gar kein Flushing mehr geben, sondern nur Dumps wenn der Cache voll ist. Dumps müssen dann irgendwann gemerged werden, mal sehen wieviel IO das macht.
Orbiter
 
Beiträge: 5796
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Yacy Probleme beim Betrieb... #5433

Beitragvon dulcedo » Di Jan 13, 2009 11:39 am

Ah gut zu wissen, ich dachte es wäre was kaputt, dass irgendwas geändert wurde ist mir auch beim blauen Speichergraphen aufgefallen.

Crawls sind nun wohl auch irgendwie auf 20ppm beschränkt, wenn nur auf eine domain zugegriffen wird?
Ich crawle grade das News-Archiv der Süddeutschen, irgendwo hat er da einen Eingang entdeckt (für die kostenpflichtigen Teil, selber schuld, kommen Inhalte, keine Fehlerseiten ) und das dauert...
Aber nicht tragisch wenn ich weiss dass kein Fehler.
dulcedo
 
Beiträge: 1006
Registriert: Do Okt 16, 2008 6:36 pm
Wohnort: Bei Karlsruhe


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste