SVN 5620: java.lang.OutOfMemoryErrors legen YaCy lahm

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

SVN 5620: java.lang.OutOfMemoryErrors legen YaCy lahm

Beitragvon Master One » Do Feb 19, 2009 11:31 am

Also erst gestern die Speicherzuweisung vom Default-Wert (128MB) auf 512MB hochgesetzt und neu gestartet. Hat bis vorhin scheinbar normal funktioniert, bis es mit java.lang.OutOfMemoryErrors anfing und YaCy wieder total lahm gelegt hat. Log anbei.

Nach der letzten Zeile des Log-Ausschnitts ging's irgendwie normal weiter, d.h. es kamen keine Fehlermeldungen mehr vor, aber YaCy blieb lahmgelegt, kein Zugriff mehr möglich bis zum Kill & Restart.

Was tun?
Dateianhänge
yacy00.log.zip
Logfile java.lang.OutOfMemoryErrors
(4.08 KiB) 26-mal heruntergeladen
Master One
 
Beiträge: 39
Registriert: Fr Feb 13, 2009 10:03 pm

Re: SVN 5620: java.lang.OutOfMemoryErrors legen YaCy lahm

Beitragvon Master One » Do Feb 19, 2009 5:02 pm

Ich habe die Speichereinstellung jetzt auf 1024MB gesetzt, mal sehen, wie lange YaCy diesmal in einem Stück durchläuft. Gibt es sonst noch irgendwelche Settings, die helfen könnten, diese java.lang.OutOfMemoryErrors zu vermeiden?
Master One
 
Beiträge: 39
Registriert: Fr Feb 13, 2009 10:03 pm

Re: SVN 5620: java.lang.OutOfMemoryErrors legen YaCy lahm

Beitragvon Orbiter » Do Feb 19, 2009 5:08 pm

wie gross ist dein Index? Machst du irgend etwas besonderes (robinson-peer mit Last?)
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: SVN 5620: java.lang.OutOfMemoryErrors legen YaCy lahm

Beitragvon Master One » Do Feb 19, 2009 5:40 pm

YaCy hat geschrieben:Der lokale Index enthält im Moment 2.167.465 inverse Wort Indexe
Der lokale Index enthält im Moment 4552001 URL-Referenzen

Ich mache damit mit nichts besonderes. YaCy befindet sich als Senior im Peer-to-Peer Modus, ist auf unserem LAN Gateway-Server installiert, und dient dem LAN als Proxy. Ich hab's ja praktisch erst seit vorgestern in Betrieb, und mußte wegen dieser OutOfMemoryErrors die Speicherzuweisung erst von 128MB auf 512MB, und nun auf 1024MB erhöhen, da jeweils nach einiger Zeit einfach Schluß war, und kein Zugriff mehr auf YaCy möglich war. An erweiterten Einstellungen habe ich bislang nichts verdreht, drum die Frage, ob man es da noch weitere Dinge einzustellen gibt, um diese OutOfMemoryErrors zu vermeiden.
Master One
 
Beiträge: 39
Registriert: Fr Feb 13, 2009 10:03 pm

Re: SVN 5620: java.lang.OutOfMemoryErrors legen YaCy lahm

Beitragvon Master One » Mo Feb 23, 2009 9:57 am

Also seit ich die Speicherzuteilung auf 1024MB erhöht habe, läuft es besser, aber dennoch scheint es immer noch Spitzen zu geben, die dann den Zugriff (Webinterface, Proxy) total lahmlegen. Ich habe jetzt jeweils auf die aktuelle SVN Version aktualisiert, und mußte zwischendurch ein oder zweimal einen Zwangs-Kill durchführen.

Derzeitiger Stand:
YaCy 0.720/05632 hat geschrieben:Der lokale Index enthält im Moment 4.205.327 inverse Wort Indexe
Der lokale Index enthält im Moment 9354021 URL-Referenzen

Immer noch unklar: Wieviel Speicher benötigt YaCy, und was kann/muß man per Konfiguration für eine bestimmte Speicherausstattung beschränken?

Ich werde meinen Firewall-Gateway-Server nun von 3GB auf 8GB RAM aufrüsten, und YaCy dann 2048MB RAM zuteilen. Ich auch noch vor, drei weitere Computer an jeweils eigenem ADSL-Zugang mit YaCy auszustatten, um das Netz zu unterstützen, allerdings werden diese nur über insg. 512/1024/2048MB RAM verfügen, d.h. ich muß diese YaCy Installationen dann zurecht stutzen, damit die nicht dauern absemmeln.

Wie ist das denn für den Desktop-Einsatz vorgesehen? Ich meine, in der Default-Konfiguration wird YaCy ja lediglich 128MB zugewiesen, und damit scheint man ja nicht weit zu kommen. Sollte YaCy sich nicht selbst beschränken, um mit der verfügbaren Speichermenge auszukommen, ohne daß es ständig zu OutOfMemory Fehlern kommt?
Master One
 
Beiträge: 39
Registriert: Fr Feb 13, 2009 10:03 pm

Re: SVN 5620: java.lang.OutOfMemoryErrors legen YaCy lahm

Beitragvon via-strass » Di Feb 24, 2009 3:08 pm

Hi there, sorry for the English :)

I have just set up Yacy on my Debian linux machine which has 1024MB memory.

I was able to configure Yacy with no problem using the web interface. When i tried to use the search page the web server didnt respond and the connection timed out. Then i found that trying to go back and reload other pages of the admin interface also timed out or loaded very slowly.

The same thing happened both times when i restarted yacy. Yacy used ~100% CPU but was responsive, until i tried to use the search page, when it became unresponsive (at least i think that's when it stopped responding.)

in each of the logs there are several errors like this:
E 2009/02/24 13:46:56 HTTPD Unexpected Error. java.lang.OutOfMemoryError
java.lang.OutOfMemoryError
<<No stacktrace available>>

The second log (when i closed Yacy using ./stopYacy.sh) the last few lines in the logs are this error repeated 7 or 8 times.

I also noticed a weird estimate for RAM, in all 3 logs, dont know if this has anything to do with it:
I 2009/02/24 13:43:15 ECOTABLE initialization of /home/base3/c/yacy/DATA/INDEX/f
reeworld/NETWORK/news.db: available RAM: 8796093022186MB, allocating space for 0
entries

The third time i started yacy is still running at the moment I copied the log, but without serving any pages at all, and also without using much CPU, seemingly

I wasn't able to post a full log since it seems the BB doesnt like a post that long, but i will provide them if you want.

Danke scho:n,
via-strass
via-strass
 

Re: SVN 5620: java.lang.OutOfMemoryErrors legen YaCy lahm

Beitragvon Lotus » Mi Feb 25, 2009 9:06 pm

If YaCy starts with OutOfMemory, you have to adjust the memeory allocation manually in DATA/SETTINGS/yacy.conf
The variable is called "javastart_Xmx" and has to be set to "Xmx<memory in megabytes>m". You should then also accept this setting once more on the webinterface since there is also an Xms variable.

Grundsätzlich:
Für das Problem des "vollaufens" gibt es ja noch immer keine endgültige Lösung. Zur Vermeidung wäre es doch auch Hilfreich DHT nur anzunehmen, wenn eine bestimmte Menge RAM frei ist. Mit ca. 50 MB lassen sich nach meiner Erfahrung auch noch Snippets für die Suche erzeugen. Somit wäre das schonmal ein Minimal-Wert.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: SVN 5620: java.lang.OutOfMemoryErrors legen YaCy lahm

Beitragvon dulcedo » Do Feb 26, 2009 9:03 am

Ist im anderen Thread zuhause, aber dort schreibe ich nur noch alleine viewtopic.php?f=5&t=1756

Bei dem Peer mit wirklich viel Reserve, er hat 2GB zugeqwiesen und 'braucht' eigentlich nur die Hälfte, trotzdem nach längerem Betrieb das Problem dass Java wohl der Speicher ausgeht.
Wenn ich alleine Crawle geht es meistens, auch bei sehr grossen Crawls, er fällt dann nur während des Crawl Junior-Status zurück, das ist verschmerzbar.

Sobald ich dann noch remote-crawle geht nach einer Weile gar nichts mehr weil ca. 800MB einfach 'zulaufen'. Entweder der Indexer, oder aber der Loader, und wenn der beim Maximalwert hängt kommen nur noch diese Fehlermeldungen:
D 2009/02/23 10:36:06 CRAWLER GlobalCrawl: too many processes in loader queue, dismissed (cacheLoader=30)
D 2009/02/23 10:36:07 CRAWLER CoreCrawl: too many processes in loader queue, dismissed (cacheLoader=30)

Und wie schon paarmal angemerkt nimmt sich der Indexer immer ca doppelt so viel Einträge als erlaubt: wenn 80 erlaubt um die 150-200.
Der Loader brav die voreingestellten 30 aber wenn er die erreicht ist Ende und er blockiert alles.

Hilft das?

Wenn nicht bitte sagen was ich hier reinstellen soll, ich teste das nun schon fast 3 Wochen mit dem selben Peer und selber Version, irgendwann brauche ich den Rechner auch wieder.
dulcedo
 
Beiträge: 1006
Registriert: Do Okt 16, 2008 6:36 pm
Wohnort: Bei Karlsruhe

Re: SVN 5620: java.lang.OutOfMemoryErrors legen YaCy lahm

Beitragvon thq » Do Feb 26, 2009 11:18 am

Ich crawle zwar nicht, aber ich wurde auf der PerformanceQueues_p.html untern den Crawler Pool runtersetzen, eigentlich sollten da 3-5 reichen. Würde das zumindest mal testen.
thq
 
Beiträge: 651
Registriert: So Jul 08, 2007 12:23 pm

Re: SVN 5620: java.lang.OutOfMemoryErrors legen YaCy lahm

Beitragvon mikemolti » Sa Feb 28, 2009 10:18 am

thq hat geschrieben:Ich crawle zwar nicht, aber ich wurde auf der PerformanceQueues_p.html untern den Crawler Pool runtersetzen, eigentlich sollten da 3-5 reichen. Würde das zumindest mal testen.


Danke für den Tipp.
Die 0.720/05658 und die oben genannte Einstellung und es scheint wieder stabiler zu laufen (jetzt schon fast 12 h, davor nur 10Min - 1 h).

Gruß

mikemolti
mikemolti
 
Beiträge: 1
Registriert: So Jan 25, 2009 11:24 pm

Re: SVN 5620: java.lang.OutOfMemoryErrors legen YaCy lahm

Beitragvon Copro » Sa Feb 28, 2009 4:15 pm

Kann ich nur bestätigen. Nach dem Upgrade auf 0.720/05658 und dem Heruntersetzen des Crawler Pool Wertes laufen jetzt beide wieder auferstandenen yacy Instanzen auch bei mir wieder problemlos und das schon länger als einen Tag im Gegensatz zu vorher teilweise nur wenigen Stunden.
Copro
 
Beiträge: 207
Registriert: Do Dez 13, 2007 3:37 am

Re: SVN 5620: java.lang.OutOfMemoryErrors legen YaCy lahm

Beitragvon dulcedo » So Mär 01, 2009 4:39 am

thq, ebenfalls positiv, auf 5 runtergesetzt.

Kann es sein dass schnelle Maschinen einen niedrigeren Wert brauchen als langsame?
Das würde einiges erklären und leuchtet mir auch ein.

Das sollte man dann wohl bei der Installation berücksichtigen, niedrig ansetzen und dazuschreiben man kann es erhöhen.

Die einzigen Fehler die ich nun noch beim gelegentlichen Durchsehen finde sind solche:
(Am Datum zu sehen dass wohl sehr wenige, ich schaue nur immer mal ins 00, hat wohl oft mit robots.txt zu tun)

Code: Alles auswählen
************ Start Thread Dump Sat Feb 28 20:04:43 CET 2009 *******************

YaCy Version: 0.720/05620
Total Memory = 2024734720
Used  Memory = 1184826624
Free  Memory = 839908096


THREADS WITH STATES: BLOCKED


THREADS WITH STATES: RUNNABLE

Thread= Thread-169319 id=391269 RUNNABLE
Thread= Thread-169318 id=391267 RUNNABLE
Thread= Thread-169316 id=391263 RUNNABLE
...


------------------------------------------------------
E 2009/02/28 20:02:18 BUSYTHREAD Runtime Error in serverInstantThread.job, thread

'de.anomic.crawler.CrawlQueues.coreCrawlJob': null; target exception: null
java.lang.ArrayIndexOutOfBoundsException
   at de.anomic.kelondro.blob.BLOBHeap.flushBuffer(BLOBHeap.java:175)
   at de.anomic.kelondro.blob.BLOBHeap.put(BLOBHeap.java:265)
   at de.anomic.kelondro.blob.MapView.put(MapView.java:149)
   at de.anomic.crawler.RobotsTxt.addEntry(RobotsTxt.java:253)
   at de.anomic.crawler.RobotsTxt.addEntry(RobotsTxt.java:246)
   at de.anomic.crawler.RobotsTxt.getEntry(RobotsTxt.java:211)
   at de.anomic.crawler.RobotsTxt.crawlDelayMillis(RobotsTxt.java:229)
   at de.anomic.crawler.CrawlEntry.waitingRemaining(CrawlEntry.java:324)
   at de.anomic.crawler.Balancer.pop(Balancer.java:583)
   at de.anomic.crawler.NoticedURL.pop(NoticedURL.java:220)
   at de.anomic.crawler.NoticedURL.pop(NoticedURL.java:190)
   at de.anomic.crawler.NoticedURL.shift(NoticedURL.java:198)
   at de.anomic.crawler.CrawlQueues.coreCrawlJob(CrawlQueues.java:179)
   at sun.reflect.GeneratedMethodAccessor10.invoke(Unknown Source)
   at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
   at java.lang.reflect.Method.invoke(Method.java:597)
   at de.anomic.server.serverInstantBusyThread.job(serverInstantBusyThread.java:96)
   at de.anomic.server.serverAbstractBusyThread.run(serverAbstractBusyThread.java:143)

D 2009/02/28 20:02:20 CRAWLER CoreCrawl: too many processes in indexing queue, dismissed (sbQueueSize=81)
---------------------------

I 2009/02/27 17:20:19 PLASMA dhtTransferJob: no selection, too many entries in transmission cloud: 68

I 2009/02/27 17:20:19 PLASMA dhtTransferJob: result from dequeueing: true

I 2009/02/27 17:20:19 INDEX TRANSFER DISPATCHER starting new index transmission request to DuadN2noMuAA

W 2009/02/27 17:20:19 FILEHANDLER Unexpected error while processing query.
Session: Session_84.154.222.181:62594#0
Query:   /yacy/transfer.html
Client:  84.154.222.181
Reason:  java.io.IOException: FileUploadException Stream ended unexpectedly
java.io.IOException: FileUploadException Stream ended unexpectedly
   at de.anomic.http.httpd.parseMultipart(httpd.java:909)
   at de.anomic.http.httpdFileHandler.doResponse(httpdFileHandler.java:351)
   at de.anomic.http.httpdFileHandler.doPost(httpdFileHandler.java:247)
   at de.anomic.http.httpd.POST(httpd.java:629)
   at sun.reflect.GeneratedMethodAccessor14.invoke(Unknown Source)
   at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
   at java.lang.reflect.Method.invoke(Method.java:597)
   at de.anomic.server.serverCore$Session.listen(serverCore.java:738)
   at de.anomic.server.serverCore$Session.run(serverCore.java:618)

I 2009/02/27 17:20:19 INDEX TRANSFER DISPATCHER Index transfer of 6 words [buaC6yvaO2oV .. DuadN2noMuAA] and 16 URLs

to peer yacy-suche_de:DvgzXMfS8oDp in 0 seconds successful (95 words/s)

I 2009/02/27 17:20:19 INDEX TRANSFER DISPATCHER Transfer finished of chunk to target DvgzXMfS8oDp/yacy-suche_de
E 2009/02/27 17:20:35 BUSYTHREAD Runtime Error in serverInstantThread.job, thread

'de.anomic.crawler.CrawlQueues.coreCrawlJob': null; target exception: null
java.lang.ArrayIndexOutOfBoundsException
   at de.anomic.kelondro.blob.BLOBHeap.flushBuffer(BLOBHeap.java:175)
   at de.anomic.kelondro.blob.BLOBHeap.put(BLOBHeap.java:265)
   at de.anomic.kelondro.blob.MapView.put(MapView.java:149)
   at de.anomic.crawler.RobotsTxt.addEntry(RobotsTxt.java:253)
   at de.anomic.crawler.RobotsTxt.addEntry(RobotsTxt.java:246)
   at de.anomic.crawler.RobotsTxt.getEntry(RobotsTxt.java:211)
   at de.anomic.crawler.RobotsTxt.crawlDelayMillis(RobotsTxt.java:229)
   at de.anomic.crawler.CrawlEntry.waitingRemaining(CrawlEntry.java:324)
   at de.anomic.crawler.Balancer.pop(Balancer.java:583)
   at de.anomic.crawler.NoticedURL.pop(NoticedURL.java:220)
   at de.anomic.crawler.NoticedURL.pop(NoticedURL.java:190)
   at de.anomic.crawler.NoticedURL.shift(NoticedURL.java:198)
   at de.anomic.crawler.CrawlQueues.coreCrawlJob(CrawlQueues.java:179)
   at sun.reflect.GeneratedMethodAccessor10.invoke(Unknown Source)
   at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
   at java.lang.reflect.Method.invoke(Method.java:597)
   at de.anomic.server.serverInstantBusyThread.job(serverInstantBusyThread.java:96)
   at de.anomic.server.serverAbstractBusyThread.run(serverAbstractBusyThread.java:143)

--------------------
D 2009/02/27 17:20:23 ROBOTS Robots.txt successfully loaded from URL 'http://m.news.com.au/robots.txt' in 687 ms.

E 2009/02/27 17:20:23 BUSYTHREAD Runtime Error in serverInstantThread.job, thread

'de.anomic.crawler.CrawlQueues.coreCrawlJob': null; target exception: null
java.lang.ArrayIndexOutOfBoundsException
   at de.anomic.kelondro.blob.BLOBHeap.flushBuffer(BLOBHeap.java:175)
   at de.anomic.kelondro.blob.BLOBHeap.put(BLOBHeap.java:265)
   at de.anomic.kelondro.blob.MapView.put(MapView.java:149)
   at de.anomic.crawler.RobotsTxt.addEntry(RobotsTxt.java:253)
   at de.anomic.crawler.RobotsTxt.addEntry(RobotsTxt.java:246)
   at de.anomic.crawler.RobotsTxt.getEntry(RobotsTxt.java:211)
   at de.anomic.crawler.RobotsTxt.crawlDelayMillis(RobotsTxt.java:229)
   at de.anomic.crawler.CrawlEntry.waitingRemaining(CrawlEntry.java:324)
   at de.anomic.crawler.Balancer.pop(Balancer.java:583)
   at de.anomic.crawler.NoticedURL.pop(NoticedURL.java:220)
   at de.anomic.crawler.NoticedURL.pop(NoticedURL.java:189)
   at de.anomic.crawler.CrawlQueues.coreCrawlJob(CrawlQueues.java:195)
   at sun.reflect.GeneratedMethodAccessor10.invoke(Unknown Source)
   at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
   at java.lang.reflect.Method.invoke(Method.java:597)
   at de.anomic.server.serverInstantBusyThread.job(serverInstantBusyThread.java:96)
   at de.anomic.server.serverAbstractBusyThread.run(serverAbstractBusyThread.java:143)

--------------------

E 2009/02/27 15:47:43 FILEHANDLER INTERNAL ERROR: java.lang.reflect.InvocationTargetException:null target exception

at /home/vmadmin/yacy/htroot/yacy/urls.class: java.lang.ArrayIndexOutOfBoundsException:null
java.lang.reflect.InvocationTargetException
   at sun.reflect.GeneratedMethodAccessor128.invoke(Unknown Source)
   at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
   at java.lang.reflect.Method.invoke(Method.java:597)
   at de.anomic.http.httpdFileHandler.invokeServlet(httpdFileHandler.java:1171)
   at de.anomic.http.httpdFileHandler.doResponse(httpdFileHandler.java:750)
   at de.anomic.http.httpdFileHandler.doPost(httpdFileHandler.java:247)
   at de.anomic.http.httpd.POST(httpd.java:629)
   at sun.reflect.GeneratedMethodAccessor14.invoke(Unknown Source)
   at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
   at java.lang.reflect.Method.invoke(Method.java:597)
   at de.anomic.server.serverCore$Session.listen(serverCore.java:738)
   at de.anomic.server.serverCore$Session.run(serverCore.java:618)
Caused by: java.lang.ArrayIndexOutOfBoundsException
   at de.anomic.kelondro.blob.BLOBHeap.flushBuffer(BLOBHeap.java:175)
   at de.anomic.kelondro.blob.BLOBHeap.put(BLOBHeap.java:265)
   at de.anomic.kelondro.blob.MapView.put(MapView.java:149)
   at de.anomic.crawler.RobotsTxt.addEntry(RobotsTxt.java:253)
   at de.anomic.crawler.RobotsTxt.addEntry(RobotsTxt.java:246)
   at de.anomic.crawler.RobotsTxt.getEntry(RobotsTxt.java:211)
   at de.anomic.crawler.RobotsTxt.crawlDelayMillis(RobotsTxt.java:229)
   at de.anomic.crawler.CrawlEntry.waitingRemaining(CrawlEntry.java:324)
   at de.anomic.crawler.Balancer.pop(Balancer.java:583)
   at de.anomic.crawler.NoticedURL.pop(NoticedURL.java:220)
   at de.anomic.crawler.NoticedURL.pop(NoticedURL.java:190)
   at urls.respond(urls.java:71)
   ... 12 more
--------------

2009/02/27 14:38:29 INDEX TRANSFER DISPATCHER starting new index transmission request to CySVzZm_oiAA

E 2009/02/27 14:38:29 BUSYTHREAD Runtime Error in serverInstantThread.job, thread

'de.anomic.crawler.CrawlQueues.coreCrawlJob': null; target exception: null
java.lang.ArrayIndexOutOfBoundsException
   at de.anomic.kelondro.blob.BLOBHeap.flushBuffer(BLOBHeap.java:175)
   at de.anomic.kelondro.blob.BLOBHeap.put(BLOBHeap.java:265)
   at de.anomic.kelondro.blob.MapView.put(MapView.java:149)
   at de.anomic.crawler.RobotsTxt.addEntry(RobotsTxt.java:253)
   at de.anomic.crawler.RobotsTxt.getEntry(RobotsTxt.java:201)
   at de.anomic.crawler.RobotsTxt.crawlDelayMillis(RobotsTxt.java:229)
   at de.anomic.crawler.CrawlEntry.waitingRemaining(CrawlEntry.java:324)
   at de.anomic.crawler.Balancer.pop(Balancer.java:583)
   at de.anomic.crawler.NoticedURL.pop(NoticedURL.java:220)
   at de.anomic.crawler.NoticedURL.pop(NoticedURL.java:189)
   at de.anomic.crawler.CrawlQueues.coreCrawlJob(CrawlQueues.java:195)
   at sun.reflect.GeneratedMethodAccessor10.invoke(Unknown Source)
   at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
   at java.lang.reflect.Method.invoke(Method.java:597)
   at de.anomic.server.serverInstantBusyThread.job(serverInstantBusyThread.java:96)
   at de.anomic.server.serverAbstractBusyThread.run(serverAbstractBusyThread.java:143)
---------------------------------
D 2009/02/26 16:31:25 ROBOTS Robots.txt successfully loaded from URL 'http://www.idealist.org/robots.txt' in 366 ms.

E 2009/02/26 16:31:25 BUSYTHREAD Runtime Error in serverInstantThread.job, thread

'de.anomic.crawler.CrawlQueues.coreCrawlJob': null; target exception: null
java.lang.ArrayIndexOutOfBoundsException
   at de.anomic.kelondro.blob.BLOBHeap.flushBuffer(BLOBHeap.java:175)
   at de.anomic.kelondro.blob.BLOBHeap.put(BLOBHeap.java:265)
   at de.anomic.kelondro.blob.MapView.put(MapView.java:149)
   at de.anomic.crawler.RobotsTxt.addEntry(RobotsTxt.java:253)
   at de.anomic.crawler.RobotsTxt.addEntry(RobotsTxt.java:246)
   at de.anomic.crawler.RobotsTxt.getEntry(RobotsTxt.java:211)
   at de.anomic.crawler.RobotsTxt.crawlDelayMillis(RobotsTxt.java:229)
   at de.anomic.crawler.CrawlEntry.waitingRemaining(CrawlEntry.java:324)
   at de.anomic.crawler.Balancer.pop(Balancer.java:583)
   at de.anomic.crawler.NoticedURL.pop(NoticedURL.java:220)
   at de.anomic.crawler.NoticedURL.pop(NoticedURL.java:190)
   at de.anomic.crawler.NoticedURL.shift(NoticedURL.java:198)
   at de.anomic.crawler.CrawlQueues.coreCrawlJob(CrawlQueues.java:179)
   at sun.reflect.GeneratedMethodAccessor10.invoke(Unknown Source)
   at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
   at java.lang.reflect.Method.invoke(Method.java:597)
   at de.anomic.server.serverInstantBusyThread.job(serverInstantBusyThread.java:96)
   at de.anomic.server.serverAbstractBusyThread.run(serverAbstractBusyThread.java:143)

I 2009/02/26 16:31:26 INDEX TRANSFER DISPATCHER Index transfer of 8 words [Zj8XHArxMXBt .. 9j9ewml-OQAA] and 73 URLs

to peer nicazoid:-TsG5MnUdvAA in 5 seconds successful (1 words/s)

I 2009/02/26 16:31:26 INDEX TRANSFER DISPATCHER Transfer finished of chunk to target -TsG5MnUdvAA/nicazoid
dulcedo
 
Beiträge: 1006
Registriert: Do Okt 16, 2008 6:36 pm
Wohnort: Bei Karlsruhe


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: Bing [Bot] und 1 Gast