[closed] NullPointerException bei Proxy-Crawling

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

[closed] NullPointerException bei Proxy-Crawling

Beitragvon datenritter » Mi Jan 13, 2010 7:11 pm

Das passiert in einer (frisch installierten) stable-Version, sowie mit einer (schon "gebrauchten") letzten dev-Version, wenn ich Proxy-Crawling eingeschaltet habe und eine Seite über den Proxy lade:

Code: Alles auswählen
I 2010/01/13 19:07:31 CRAWLER omitting de-queue/local: stack is empty
I 2010/01/13 19:07:33 CRAWLER omitting de-queue/local: stack is empty
I 2010/01/13 19:07:35 CRAWLER omitting de-queue/local: stack is empty
java.lang.NullPointerException                                       
        at de.anomic.http.server.HTTPDemon.error(HTTPDemon.java:255)
        at de.anomic.server.serverCore$Session.listen(serverCore.java:768)
        at de.anomic.server.serverCore$Session.run(serverCore.java:624)   
E 2010/01/13 19:07:37 SERVER command execution, target exception null for client 192.168.115.30
java.lang.reflect.InvocationTargetException                                                   
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)                         
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)       
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
        at java.lang.reflect.Method.invoke(Method.java:597)                                     
        at de.anomic.server.serverCore$Session.listen(serverCore.java:733)                     
        at de.anomic.server.serverCore$Session.run(serverCore.java:624)                         
Caused by: java.lang.AssertionError                                                             
        at de.anomic.crawler.ZURL.newEntry(ZURL.java:111)                                       
        at de.anomic.search.Switchboard.addURLtoErrorDB(Switchboard.java:2048)                 
        at de.anomic.search.Switchboard.toIndexer(Switchboard.java:1182)                       
        at de.anomic.http.server.HTTPDProxyHandler.fulfillRequestFromWeb(HTTPDProxyHandler.java:585)
        at de.anomic.http.server.HTTPDProxyHandler.doGet(HTTPDProxyHandler.java:387)               
        at de.anomic.http.server.HTTPDemon.GET(HTTPDemon.java:504)                                 
        ... 6 more                                                                                 
E 2010/01/13 19:07:37 HTTPD Unexpected Error. java.lang.AssertionError                             
java.lang.AssertionError                                                                           
        at de.anomic.crawler.ZURL.newEntry(ZURL.java:111)                                           
        at de.anomic.search.Switchboard.addURLtoErrorDB(Switchboard.java:2048)                     
        at de.anomic.search.Switchboard.toIndexer(Switchboard.java:1182)                           
        at de.anomic.http.server.HTTPDProxyHandler.fulfillRequestFromWeb(HTTPDProxyHandler.java:585)
        at de.anomic.http.server.HTTPDProxyHandler.doGet(HTTPDProxyHandler.java:387)               
        at de.anomic.http.server.HTTPDemon.GET(HTTPDemon.java:504)                                 
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)                             
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)           
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)   
        at java.lang.reflect.Method.invoke(Method.java:597)                                         
        at de.anomic.server.serverCore$Session.listen(serverCore.java:733)                         
        at de.anomic.server.serverCore$Session.run(serverCore.java:624)                             
I 2010/01/13 19:07:37 CRAWLER omitting de-queue/local: stack is empty                               
I 2010/01/13 19:07:39 CRAWLER omitting de-queue/local: stack is empty                               
I 2010/01/13 19:07:41 CRAWLER omitting de-queue/local: stack is empty                               
I 2010/01/13 19:07:43 CRAWLER omitting de-queue/local: stack is empty                               
java.lang.NullPointerException                                                                     
        at de.anomic.http.server.HTTPDemon.error(HTTPDemon.java:255)                               
        at de.anomic.server.serverCore$Session.listen(serverCore.java:768)                         
        at de.anomic.server.serverCore$Session.run(serverCore.java:624)                             
E 2010/01/13 19:07:45 SERVER command execution, target exception null for client 192.168.115.30     
java.lang.reflect.InvocationTargetException                                                         
        at sun.reflect.GeneratedMethodAccessor2.invoke(Unknown Source)                             
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)   
        at java.lang.reflect.Method.invoke(Method.java:597)                                         
        at de.anomic.server.serverCore$Session.listen(serverCore.java:733)                         
        at de.anomic.server.serverCore$Session.run(serverCore.java:624)                             
Caused by: java.lang.AssertionError                                                                 
        at de.anomic.crawler.ZURL.newEntry(ZURL.java:111)                                           
        at de.anomic.search.Switchboard.addURLtoErrorDB(Switchboard.java:2048)                     
        at de.anomic.search.Switchboard.toIndexer(Switchboard.java:1182)                           
        at de.anomic.http.server.HTTPDProxyHandler.fulfillRequestFromWeb(HTTPDProxyHandler.java:585)
        at de.anomic.http.server.HTTPDProxyHandler.doGet(HTTPDProxyHandler.java:387)               
        at de.anomic.http.server.HTTPDemon.GET(HTTPDemon.java:504)                                 
        ... 5 more                                                                                 
E 2010/01/13 19:07:45 HTTPD Unexpected Error. java.lang.AssertionError                             
java.lang.AssertionError                                                                           
        at de.anomic.crawler.ZURL.newEntry(ZURL.java:111)                                           
        at de.anomic.search.Switchboard.addURLtoErrorDB(Switchboard.java:2048)                     
        at de.anomic.search.Switchboard.toIndexer(Switchboard.java:1182)                           
        at de.anomic.http.server.HTTPDProxyHandler.fulfillRequestFromWeb(HTTPDProxyHandler.java:585)
        at de.anomic.http.server.HTTPDProxyHandler.doGet(HTTPDProxyHandler.java:387)               
        at de.anomic.http.server.HTTPDemon.GET(HTTPDemon.java:504)                                 
        at sun.reflect.GeneratedMethodAccessor2.invoke(Unknown Source)                             
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)   
        at java.lang.reflect.Method.invoke(Method.java:597)                                         
        at de.anomic.server.serverCore$Session.listen(serverCore.java:733)                         
        at de.anomic.server.serverCore$Session.run(serverCore.java:624)                             
java.lang.NullPointerException                                                                     
        at de.anomic.http.server.HTTPDemon.error(HTTPDemon.java:255)                               
        at de.anomic.server.serverCore$Session.listen(serverCore.java:768)                         
        at de.anomic.server.serverCore$Session.run(serverCore.java:624)                             
java.lang.NullPointerException                                                                     
        at de.anomic.http.server.HTTPDemon.error(HTTPDemon.java:255)                               
        at de.anomic.server.serverCore$Session.listen(serverCore.java:768)                         
        at de.anomic.server.serverCore$Session.run(serverCore.java:624)                             
E 2010/01/13 19:07:45 SERVER command execution, target exception null for client 192.168.115.30     
java.lang.reflect.InvocationTargetException                                                         
        at sun.reflect.GeneratedMethodAccessor2.invoke(Unknown Source)                             
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)   
        at java.lang.reflect.Method.invoke(Method.java:597)                                         
        at de.anomic.server.serverCore$Session.listen(serverCore.java:733)                         
        at de.anomic.server.serverCore$Session.run(serverCore.java:624)                             
Caused by: java.lang.AssertionError                                                                 
        at de.anomic.crawler.ZURL.newEntry(ZURL.java:111)                                           
        at de.anomic.search.Switchboard.addURLtoErrorDB(Switchboard.java:2048)                     
        at de.anomic.search.Switchboard.toIndexer(Switchboard.java:1182)                           
        at de.anomic.http.server.HTTPDProxyHandler.fulfillRequestFromWeb(HTTPDProxyHandler.java:585)
        at de.anomic.http.server.HTTPDProxyHandler.doGet(HTTPDProxyHandler.java:387)               
        at de.anomic.http.server.HTTPDemon.GET(HTTPDemon.java:504)                                 
        ... 5 more                                                                                 
E 2010/01/13 19:07:45 HTTPD Unexpected Error. java.lang.AssertionError                             
java.lang.AssertionError                                                                           
        at de.anomic.crawler.ZURL.newEntry(ZURL.java:111)                                           
        at de.anomic.search.Switchboard.addURLtoErrorDB(Switchboard.java:2048)                     
        at de.anomic.search.Switchboard.toIndexer(Switchboard.java:1182)                           
        at de.anomic.http.server.HTTPDProxyHandler.fulfillRequestFromWeb(HTTPDProxyHandler.java:585)
        at de.anomic.http.server.HTTPDProxyHandler.doGet(HTTPDProxyHandler.java:387)               
        at de.anomic.http.server.HTTPDemon.GET(HTTPDemon.java:504)                                 
        at sun.reflect.GeneratedMethodAccessor2.invoke(Unknown Source)                             
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)   
        at java.lang.reflect.Method.invoke(Method.java:597)                                         
        at de.anomic.server.serverCore$Session.listen(serverCore.java:733)                         
        at de.anomic.server.serverCore$Session.run(serverCore.java:624)                             
E 2010/01/13 19:07:45 SERVER command execution, target exception null for client 192.168.115.30     
java.lang.reflect.InvocationTargetException                                                         
        at sun.reflect.GeneratedMethodAccessor2.invoke(Unknown Source)                             
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)   
        at java.lang.reflect.Method.invoke(Method.java:597)                                         
        at de.anomic.server.serverCore$Session.listen(serverCore.java:733)                         
        at de.anomic.server.serverCore$Session.run(serverCore.java:624)                             
Caused by: java.lang.AssertionError                                                                 
        at de.anomic.crawler.ZURL.newEntry(ZURL.java:111)                                           
        at de.anomic.search.Switchboard.addURLtoErrorDB(Switchboard.java:2048)                     
        at de.anomic.search.Switchboard.toIndexer(Switchboard.java:1182)                           
        at de.anomic.http.server.HTTPDProxyHandler.fulfillRequestFromWeb(HTTPDProxyHandler.java:585)
        at de.anomic.http.server.HTTPDProxyHandler.doGet(HTTPDProxyHandler.java:387)               
        at de.anomic.http.server.HTTPDemon.GET(HTTPDemon.java:504)                                 
        ... 5 more                                                                                 
E 2010/01/13 19:07:45 HTTPD Unexpected Error. java.lang.AssertionError                             
java.lang.AssertionError                                                                           
        at de.anomic.crawler.ZURL.newEntry(ZURL.java:111)                                           
        at de.anomic.search.Switchboard.addURLtoErrorDB(Switchboard.java:2048)                     
        at de.anomic.search.Switchboard.toIndexer(Switchboard.java:1182)                           
        at de.anomic.http.server.HTTPDProxyHandler.fulfillRequestFromWeb(HTTPDProxyHandler.java:585)
        at de.anomic.http.server.HTTPDProxyHandler.doGet(HTTPDProxyHandler.java:387)               
        at de.anomic.http.server.HTTPDemon.GET(HTTPDemon.java:504)                                 
        at sun.reflect.GeneratedMethodAccessor2.invoke(Unknown Source)                             
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)   
        at java.lang.reflect.Method.invoke(Method.java:597)                                         
        at de.anomic.server.serverCore$Session.listen(serverCore.java:733)                         
        at de.anomic.server.serverCore$Session.run(serverCore.java:624)                             
java.lang.NullPointerException                                                                     
        at de.anomic.http.server.HTTPDemon.error(HTTPDemon.java:255)                               
        at de.anomic.server.serverCore$Session.listen(serverCore.java:768)                         
        at de.anomic.server.serverCore$Session.run(serverCore.java:624)                             
E 2010/01/13 19:07:45 SERVER command execution, target exception null for client 192.168.115.30     
java.lang.reflect.InvocationTargetException                                                         
        at sun.reflect.GeneratedMethodAccessor2.invoke(Unknown Source)                             
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)   
        at java.lang.reflect.Method.invoke(Method.java:597)                                         
        at de.anomic.server.serverCore$Session.listen(serverCore.java:733)                         
        at de.anomic.server.serverCore$Session.run(serverCore.java:624)                             
Caused by: java.lang.AssertionError                                                                 
        at de.anomic.crawler.ZURL.newEntry(ZURL.java:111)                                           
        at de.anomic.search.Switchboard.addURLtoErrorDB(Switchboard.java:2048)                     
        at de.anomic.search.Switchboard.toIndexer(Switchboard.java:1182)                           
        at de.anomic.http.server.HTTPDProxyHandler.fulfillRequestFromWeb(HTTPDProxyHandler.java:585)
        at de.anomic.http.server.HTTPDProxyHandler.doGet(HTTPDProxyHandler.java:387)               
        at de.anomic.http.server.HTTPDemon.GET(HTTPDemon.java:504)                                 
        ... 5 more                                                                                 
E 2010/01/13 19:07:45 HTTPD Unexpected Error. java.lang.AssertionError                             
java.lang.AssertionError                                                                           
        at de.anomic.crawler.ZURL.newEntry(ZURL.java:111)                                           
        at de.anomic.search.Switchboard.addURLtoErrorDB(Switchboard.java:2048)                     
        at de.anomic.search.Switchboard.toIndexer(Switchboard.java:1182)                           
        at de.anomic.http.server.HTTPDProxyHandler.fulfillRequestFromWeb(HTTPDProxyHandler.java:585)
        at de.anomic.http.server.HTTPDProxyHandler.doGet(HTTPDProxyHandler.java:387)               
        at de.anomic.http.server.HTTPDemon.GET(HTTPDemon.java:504)                                 
        at sun.reflect.GeneratedMethodAccessor2.invoke(Unknown Source)                             
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)   
        at java.lang.reflect.Method.invoke(Method.java:597)                                         
        at de.anomic.server.serverCore$Session.listen(serverCore.java:733)                         
        at de.anomic.server.serverCore$Session.run(serverCore.java:624)                             
java.lang.NullPointerException                                                                     
        at de.anomic.http.server.HTTPDemon.error(HTTPDemon.java:255)                               
        at de.anomic.server.serverCore$Session.listen(serverCore.java:768)                         
        at de.anomic.server.serverCore$Session.run(serverCore.java:624)                             
java.lang.NullPointerException                                                                     
        at de.anomic.http.server.HTTPDemon.error(HTTPDemon.java:255)                               
        at de.anomic.server.serverCore$Session.listen(serverCore.java:768)                         
        at de.anomic.server.serverCore$Session.run(serverCore.java:624)                             
java.lang.NullPointerException                                                                     
        at de.anomic.http.server.HTTPDemon.error(HTTPDemon.java:255)                               
        at de.anomic.server.serverCore$Session.listen(serverCore.java:768)                         
        at de.anomic.server.serverCore$Session.run(serverCore.java:624)                             
E 2010/01/13 19:07:45 SERVER command execution, target exception null for client 192.168.115.30     
java.lang.reflect.InvocationTargetException                                                         
        at sun.reflect.GeneratedMethodAccessor2.invoke(Unknown Source)                             
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)   
        at java.lang.reflect.Method.invoke(Method.java:597)                                         
        at de.anomic.server.serverCore$Session.listen(serverCore.java:733)                         
        at de.anomic.server.serverCore$Session.run(serverCore.java:624)                             
Caused by: java.lang.AssertionError                                                                 
        at de.anomic.crawler.ZURL.newEntry(ZURL.java:111)                                           
        at de.anomic.search.Switchboard.addURLtoErrorDB(Switchboard.java:2048)                     
        at de.anomic.search.Switchboard.toIndexer(Switchboard.java:1182)                           
        at de.anomic.http.server.HTTPDProxyHandler.fulfillRequestFromWeb(HTTPDProxyHandler.java:585)
        at de.anomic.http.server.HTTPDProxyHandler.doGet(HTTPDProxyHandler.java:387)               
        at de.anomic.http.server.HTTPDemon.GET(HTTPDemon.java:504)                                 
        ... 5 more                                                                                 
E 2010/01/13 19:07:45 HTTPD Unexpected Error. java.lang.AssertionError                             
java.lang.AssertionError                                                                           
        at de.anomic.crawler.ZURL.newEntry(ZURL.java:111)                                           
        at de.anomic.search.Switchboard.addURLtoErrorDB(Switchboard.java:2048)                     
        at de.anomic.search.Switchboard.toIndexer(Switchboard.java:1182)                           
        at de.anomic.http.server.HTTPDProxyHandler.fulfillRequestFromWeb(HTTPDProxyHandler.java:585)
        at de.anomic.http.server.HTTPDProxyHandler.doGet(HTTPDProxyHandler.java:387)               
        at de.anomic.http.server.HTTPDemon.GET(HTTPDemon.java:504)                                 
        at sun.reflect.GeneratedMethodAccessor2.invoke(Unknown Source)                             
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)   
        at java.lang.reflect.Method.invoke(Method.java:597)                                         
        at de.anomic.server.serverCore$Session.listen(serverCore.java:733)                         
        at de.anomic.server.serverCore$Session.run(serverCore.java:624)                             
E 2010/01/13 19:07:45 SERVER command execution, target exception null for client 192.168.115.30     
java.lang.reflect.InvocationTargetException                                                         
        at sun.reflect.GeneratedMethodAccessor2.invoke(Unknown Source)                             
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)   
        at java.lang.reflect.Method.invoke(Method.java:597)                                         
        at de.anomic.server.serverCore$Session.listen(serverCore.java:733)                         
        at de.anomic.server.serverCore$Session.run(serverCore.java:624)                             
Caused by: java.lang.AssertionError                                                                 
        at de.anomic.crawler.ZURL.newEntry(ZURL.java:111)                                           
        at de.anomic.search.Switchboard.addURLtoErrorDB(Switchboard.java:2048)                     
        at de.anomic.search.Switchboard.toIndexer(Switchboard.java:1182)                           
        at de.anomic.http.server.HTTPDProxyHandler.fulfillRequestFromWeb(HTTPDProxyHandler.java:585)
        at de.anomic.http.server.HTTPDProxyHandler.doGet(HTTPDProxyHandler.java:387)               
        at de.anomic.http.server.HTTPDemon.GET(HTTPDemon.java:504)                                 
        ... 5 more                                                                                 
E 2010/01/13 19:07:45 HTTPD Unexpected Error. java.lang.AssertionError                             
java.lang.AssertionError                                                                           
        at de.anomic.crawler.ZURL.newEntry(ZURL.java:111)                                           
        at de.anomic.search.Switchboard.addURLtoErrorDB(Switchboard.java:2048)                     
        at de.anomic.search.Switchboard.toIndexer(Switchboard.java:1182)                           
        at de.anomic.http.server.HTTPDProxyHandler.fulfillRequestFromWeb(HTTPDProxyHandler.java:585)
        at de.anomic.http.server.HTTPDProxyHandler.doGet(HTTPDProxyHandler.java:387)               
        at de.anomic.http.server.HTTPDemon.GET(HTTPDemon.java:504)                                 
        at sun.reflect.GeneratedMethodAccessor2.invoke(Unknown Source)                             
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)   
        at java.lang.reflect.Method.invoke(Method.java:597)                                         
        at de.anomic.server.serverCore$Session.listen(serverCore.java:733)                         
        at de.anomic.server.serverCore$Session.run(serverCore.java:624)                             
E 2010/01/13 19:07:45 SERVER command execution, target exception null for client 192.168.115.30     
java.lang.reflect.InvocationTargetException                                                         
        at sun.reflect.GeneratedMethodAccessor2.invoke(Unknown Source)                             
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)   
        at java.lang.reflect.Method.invoke(Method.java:597)                                         
        at de.anomic.server.serverCore$Session.listen(serverCore.java:733)                         
        at de.anomic.server.serverCore$Session.run(serverCore.java:624)                             
Caused by: java.lang.AssertionError                                                                 
        at de.anomic.crawler.ZURL.newEntry(ZURL.java:111)                                           
        at de.anomic.search.Switchboard.addURLtoErrorDB(Switchboard.java:2048)                     
        at de.anomic.search.Switchboard.toIndexer(Switchboard.java:1182)                           
        at de.anomic.http.server.HTTPDProxyHandler.fulfillRequestFromWeb(HTTPDProxyHandler.java:585)
        at de.anomic.http.server.HTTPDProxyHandler.doGet(HTTPDProxyHandler.java:387)               
        at de.anomic.http.server.HTTPDemon.GET(HTTPDemon.java:504)                                 
        ... 5 more                                                                                 
E 2010/01/13 19:07:45 HTTPD Unexpected Error. java.lang.AssertionError                             
java.lang.AssertionError                                                                           
        at de.anomic.crawler.ZURL.newEntry(ZURL.java:111)                                           
        at de.anomic.search.Switchboard.addURLtoErrorDB(Switchboard.java:2048)                     
        at de.anomic.search.Switchboard.toIndexer(Switchboard.java:1182)                           
        at de.anomic.http.server.HTTPDProxyHandler.fulfillRequestFromWeb(HTTPDProxyHandler.java:585)
        at de.anomic.http.server.HTTPDProxyHandler.doGet(HTTPDProxyHandler.java:387)               
        at de.anomic.http.server.HTTPDemon.GET(HTTPDemon.java:504)                                 
        at sun.reflect.GeneratedMethodAccessor2.invoke(Unknown Source)                             
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)   
        at java.lang.reflect.Method.invoke(Method.java:597)                                         
        at de.anomic.server.serverCore$Session.listen(serverCore.java:733)                         
        at de.anomic.server.serverCore$Session.run(serverCore.java:624)                             
java.lang.NullPointerException                                                                     
        at de.anomic.http.server.HTTPDemon.error(HTTPDemon.java:255)                               
        at de.anomic.server.serverCore$Session.listen(serverCore.java:768)                         
        at de.anomic.server.serverCore$Session.run(serverCore.java:624)                             
E 2010/01/13 19:07:45 SERVER command execution, target exception null for client 192.168.115.30     
java.lang.reflect.InvocationTargetException                                                         
        at sun.reflect.GeneratedMethodAccessor2.invoke(Unknown Source)                             
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)   
        at java.lang.reflect.Method.invoke(Method.java:597)                                         
        at de.anomic.server.serverCore$Session.listen(serverCore.java:733)                         
        at de.anomic.server.serverCore$Session.run(serverCore.java:624)                             
Caused by: java.lang.AssertionError                                                                 
        at de.anomic.crawler.ZURL.newEntry(ZURL.java:111)                                           
        at de.anomic.search.Switchboard.addURLtoErrorDB(Switchboard.java:2048)                     
        at de.anomic.search.Switchboard.toIndexer(Switchboard.java:1182)                           
        at de.anomic.http.server.HTTPDProxyHandler.fulfillRequestFromWeb(HTTPDProxyHandler.java:585)
        at de.anomic.http.server.HTTPDProxyHandler.doGet(HTTPDProxyHandler.java:387)               
        at de.anomic.http.server.HTTPDemon.GET(HTTPDemon.java:504)                                 
        ... 5 more                                                                                 
E 2010/01/13 19:07:45 HTTPD Unexpected Error. java.lang.AssertionError                             
java.lang.AssertionError                                                                           
        at de.anomic.crawler.ZURL.newEntry(ZURL.java:111)                                           
        at de.anomic.search.Switchboard.addURLtoErrorDB(Switchboard.java:2048)                     
        at de.anomic.search.Switchboard.toIndexer(Switchboard.java:1182)                           
        at de.anomic.http.server.HTTPDProxyHandler.fulfillRequestFromWeb(HTTPDProxyHandler.java:585)
        at de.anomic.http.server.HTTPDProxyHandler.doGet(HTTPDProxyHandler.java:387)               
        at de.anomic.http.server.HTTPDemon.GET(HTTPDemon.java:504)                                 
        at sun.reflect.GeneratedMethodAccessor2.invoke(Unknown Source)                             
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)   
        at java.lang.reflect.Method.invoke(Method.java:597)                                         
        at de.anomic.server.serverCore$Session.listen(serverCore.java:733)                         
        at de.anomic.server.serverCore$Session.run(serverCore.java:624)                             
I 2010/01/13 19:07:45 CRAWLER omitting de-queue/local: stack is empty                               
E 2010/01/13 19:07:46 SERVER command execution, target exception null for client 192.168.115.30     
java.lang.reflect.InvocationTargetException                                                         
        at sun.reflect.GeneratedMethodAccessor2.invoke(Unknown Source)                             
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)   
        at java.lang.reflect.Method.invoke(Method.java:597)                                         
        at de.anomic.server.serverCore$Session.listen(serverCore.java:733)                         
        at de.anomic.server.serverCore$Session.run(serverCore.java:624)                             
Caused by: java.lang.AssertionError                                                                 
        at de.anomic.crawler.ZURL.newEntry(ZURL.java:111)                                           
        at de.anomic.search.Switchboard.addURLtoErrorDB(Switchboard.java:2048)                     
        at de.anomic.search.Switchboard.toIndexer(Switchboard.java:1182)                           
        at de.anomic.http.server.HTTPDProxyHandler.fulfillRequestFromWeb(HTTPDProxyHandler.java:585)
        at de.anomic.http.server.HTTPDProxyHandler.doGet(HTTPDProxyHandler.java:387)               
        at de.anomic.http.server.HTTPDemon.GET(HTTPDemon.java:504)                                 
        ... 5 more                                                                                 
E 2010/01/13 19:07:46 HTTPD Unexpected Error. java.lang.AssertionError                             
java.lang.AssertionError                                                                           
        at de.anomic.crawler.ZURL.newEntry(ZURL.java:111)                                           
        at de.anomic.search.Switchboard.addURLtoErrorDB(Switchboard.java:2048)                     
        at de.anomic.search.Switchboard.toIndexer(Switchboard.java:1182)                           
        at de.anomic.http.server.HTTPDProxyHandler.fulfillRequestFromWeb(HTTPDProxyHandler.java:585)
        at de.anomic.http.server.HTTPDProxyHandler.doGet(HTTPDProxyHandler.java:387)               
        at de.anomic.http.server.HTTPDemon.GET(HTTPDemon.java:504)                                 
        at sun.reflect.GeneratedMethodAccessor2.invoke(Unknown Source)                             
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)   
        at java.lang.reflect.Method.invoke(Method.java:597)                                         
        at de.anomic.server.serverCore$Session.listen(serverCore.java:733)                         
        at de.anomic.server.serverCore$Session.run(serverCore.java:624)                             
java.lang.NullPointerException                                                                     
        at de.anomic.http.server.HTTPDemon.error(HTTPDemon.java:255)                               
        at de.anomic.server.serverCore$Session.listen(serverCore.java:768)                         
        at de.anomic.server.serverCore$Session.run(serverCore.java:624)                             
E 2010/01/13 19:07:46 SERVER command execution, target exception null for client 192.168.115.30     
java.lang.reflect.InvocationTargetException                                                         
        at sun.reflect.GeneratedMethodAccessor2.invoke(Unknown Source)                             
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)   
        at java.lang.reflect.Method.invoke(Method.java:597)                                         
        at de.anomic.server.serverCore$Session.listen(serverCore.java:733)                         
        at de.anomic.server.serverCore$Session.run(serverCore.java:624)                             
Caused by: java.lang.AssertionError                                                                 
        at de.anomic.crawler.ZURL.newEntry(ZURL.java:111)                                           
        at de.anomic.search.Switchboard.addURLtoErrorDB(Switchboard.java:2048)                     
        at de.anomic.search.Switchboard.toIndexer(Switchboard.java:1182)                           
        at de.anomic.http.server.HTTPDProxyHandler.fulfillRequestFromWeb(HTTPDProxyHandler.java:585)
        at de.anomic.http.server.HTTPDProxyHandler.doGet(HTTPDProxyHandler.java:387)               
        at de.anomic.http.server.HTTPDemon.GET(HTTPDemon.java:504)                                 
        ... 5 more                                                                                 
E 2010/01/13 19:07:46 HTTPD Unexpected Error. java.lang.AssertionError                             
java.lang.AssertionError                                                                           
        at de.anomic.crawler.ZURL.newEntry(ZURL.java:111)                                           
        at de.anomic.search.Switchboard.addURLtoErrorDB(Switchboard.java:2048)                     
        at de.anomic.search.Switchboard.toIndexer(Switchboard.java:1182)                           
        at de.anomic.http.server.HTTPDProxyHandler.fulfillRequestFromWeb(HTTPDProxyHandler.java:585)
        at de.anomic.http.server.HTTPDProxyHandler.doGet(HTTPDProxyHandler.java:387)               
        at de.anomic.http.server.HTTPDemon.GET(HTTPDemon.java:504)                                 
        at sun.reflect.GeneratedMethodAccessor2.invoke(Unknown Source)                             
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)   
        at java.lang.reflect.Method.invoke(Method.java:597)                                         
        at de.anomic.server.serverCore$Session.listen(serverCore.java:733)                         
        at de.anomic.server.serverCore$Session.run(serverCore.java:624)                             
java.lang.NullPointerException                                                                     
        at de.anomic.http.server.HTTPDemon.error(HTTPDemon.java:255)                               
        at de.anomic.server.serverCore$Session.listen(serverCore.java:768)                         
        at de.anomic.server.serverCore$Session.run(serverCore.java:624)                             
E 2010/01/13 19:07:46 SERVER command execution, target exception null for client 192.168.115.30     
java.lang.reflect.InvocationTargetException                                                         
        at sun.reflect.GeneratedMethodAccessor2.invoke(Unknown Source)                             
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)   
        at java.lang.reflect.Method.invoke(Method.java:597)                                         
        at de.anomic.server.serverCore$Session.listen(serverCore.java:733)                         
        at de.anomic.server.serverCore$Session.run(serverCore.java:624)                             
Caused by: java.lang.AssertionError                                                                 
        at de.anomic.crawler.ZURL.newEntry(ZURL.java:111)                                           
        at de.anomic.search.Switchboard.addURLtoErrorDB(Switchboard.java:2048)                     
        at de.anomic.search.Switchboard.toIndexer(Switchboard.java:1182)                           
        at de.anomic.http.server.HTTPDProxyHandler.fulfillRequestFromWeb(HTTPDProxyHandler.java:585)
        at de.anomic.http.server.HTTPDProxyHandler.doGet(HTTPDProxyHandler.java:387)               
        at de.anomic.http.server.HTTPDemon.GET(HTTPDemon.java:504)                                 
        ... 5 more                                                                                 
E 2010/01/13 19:07:46 HTTPD Unexpected Error. java.lang.AssertionError                             
java.lang.AssertionError                                                                           
        at de.anomic.crawler.ZURL.newEntry(ZURL.java:111)                                           
        at de.anomic.search.Switchboard.addURLtoErrorDB(Switchboard.java:2048)                     
        at de.anomic.search.Switchboard.toIndexer(Switchboard.java:1182)                           
        at de.anomic.http.server.HTTPDProxyHandler.fulfillRequestFromWeb(HTTPDProxyHandler.java:585)
        at de.anomic.http.server.HTTPDProxyHandler.doGet(HTTPDProxyHandler.java:387)               
        at de.anomic.http.server.HTTPDemon.GET(HTTPDemon.java:504)                                 
        at sun.reflect.GeneratedMethodAccessor2.invoke(Unknown Source)                             
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)   
        at java.lang.reflect.Method.invoke(Method.java:597)                                         
        at de.anomic.server.serverCore$Session.listen(serverCore.java:733)                         
        at de.anomic.server.serverCore$Session.run(serverCore.java:624)                             
java.lang.NullPointerException                                                                     
        at de.anomic.http.server.HTTPDemon.error(HTTPDemon.java:255)                               
        at de.anomic.server.serverCore$Session.listen(serverCore.java:768)                         
        at de.anomic.server.serverCore$Session.run(serverCore.java:624)                             
E 2010/01/13 19:07:46 SERVER command execution, target exception null for client 192.168.115.30     
java.lang.reflect.InvocationTargetException                                                         
        at sun.reflect.GeneratedMethodAccessor2.invoke(Unknown Source)                             
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)   
        at java.lang.reflect.Method.invoke(Method.java:597)                                         
        at de.anomic.server.serverCore$Session.listen(serverCore.java:733)                         
        at de.anomic.server.serverCore$Session.run(serverCore.java:624)                             
Caused by: java.lang.AssertionError                                                                 
        at de.anomic.crawler.ZURL.newEntry(ZURL.java:111)                                           
        at de.anomic.search.Switchboard.addURLtoErrorDB(Switchboard.java:2048)                     
        at de.anomic.search.Switchboard.toIndexer(Switchboard.java:1182)                           
        at de.anomic.http.server.HTTPDProxyHandler.fulfillRequestFromWeb(HTTPDProxyHandler.java:585)
        at de.anomic.http.server.HTTPDProxyHandler.doGet(HTTPDProxyHandler.java:387)               
        at de.anomic.http.server.HTTPDemon.GET(HTTPDemon.java:504)                                 
        ... 5 more                                                                                 
E 2010/01/13 19:07:46 HTTPD Unexpected Error. java.lang.AssertionError                             
java.lang.AssertionError                                                                           
        at de.anomic.crawler.ZURL.newEntry(ZURL.java:111)                                           
        at de.anomic.search.Switchboard.addURLtoErrorDB(Switchboard.java:2048)                     
        at de.anomic.search.Switchboard.toIndexer(Switchboard.java:1182)                           
        at de.anomic.http.server.HTTPDProxyHandler.fulfillRequestFromWeb(HTTPDProxyHandler.java:585)
        at de.anomic.http.server.HTTPDProxyHandler.doGet(HTTPDProxyHandler.java:387)               
        at de.anomic.http.server.HTTPDemon.GET(HTTPDemon.java:504)                                 
        at sun.reflect.GeneratedMethodAccessor2.invoke(Unknown Source)                             
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)   
        at java.lang.reflect.Method.invoke(Method.java:597)                                         
        at de.anomic.server.serverCore$Session.listen(serverCore.java:733)                         
        at de.anomic.server.serverCore$Session.run(serverCore.java:624)                             
java.lang.NullPointerException                                                                     
        at de.anomic.http.server.HTTPDemon.error(HTTPDemon.java:255)                               
        at de.anomic.server.serverCore$Session.listen(serverCore.java:768)                         
        at de.anomic.server.serverCore$Session.run(serverCore.java:624)                             
E 2010/01/13 19:07:46 SERVER command execution, target exception null for client 192.168.115.30     
java.lang.reflect.InvocationTargetException                                                         
        at sun.reflect.GeneratedMethodAccessor2.invoke(Unknown Source)                             
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)   
        at java.lang.reflect.Method.invoke(Method.java:597)                                         
        at de.anomic.server.serverCore$Session.listen(serverCore.java:733)                         
        at de.anomic.server.serverCore$Session.run(serverCore.java:624)                             
Caused by: java.lang.AssertionError                                                                 
        at de.anomic.crawler.ZURL.newEntry(ZURL.java:111)                                           
        at de.anomic.search.Switchboard.addURLtoErrorDB(Switchboard.java:2048)                     
        at de.anomic.search.Switchboard.toIndexer(Switchboard.java:1182)                           
        at de.anomic.http.server.HTTPDProxyHandler.fulfillRequestFromWeb(HTTPDProxyHandler.java:585)
        at de.anomic.http.server.HTTPDProxyHandler.doGet(HTTPDProxyHandler.java:387)               
        at de.anomic.http.server.HTTPDemon.GET(HTTPDemon.java:504)                                 
        ... 5 more                                                                                 
E 2010/01/13 19:07:46 HTTPD Unexpected Error. java.lang.AssertionError                             
java.lang.AssertionError                                                                           
        at de.anomic.crawler.ZURL.newEntry(ZURL.java:111)                                           
        at de.anomic.search.Switchboard.addURLtoErrorDB(Switchboard.java:2048)                     
        at de.anomic.search.Switchboard.toIndexer(Switchboard.java:1182)                           
        at de.anomic.http.server.HTTPDProxyHandler.fulfillRequestFromWeb(HTTPDProxyHandler.java:585)
        at de.anomic.http.server.HTTPDProxyHandler.doGet(HTTPDProxyHandler.java:387)               
        at de.anomic.http.server.HTTPDemon.GET(HTTPDemon.java:504)                                 
        at sun.reflect.GeneratedMethodAccessor2.invoke(Unknown Source)                             
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)   
        at java.lang.reflect.Method.invoke(Method.java:597)                                         
        at de.anomic.server.serverCore$Session.listen(serverCore.java:733)                         
        at de.anomic.server.serverCore$Session.run(serverCore.java:624)                             
java.lang.NullPointerException                                                                     
        at de.anomic.http.server.HTTPDemon.error(HTTPDemon.java:255)                               
        at de.anomic.server.serverCore$Session.listen(serverCore.java:768)                         
        at de.anomic.server.serverCore$Session.run(serverCore.java:624)                             
E 2010/01/13 19:07:46 SERVER command execution, target exception null for client 192.168.115.30     
java.lang.reflect.InvocationTargetException                                                         
        at sun.reflect.GeneratedMethodAccessor2.invoke(Unknown Source)                             
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)   
        at java.lang.reflect.Method.invoke(Method.java:597)                                         
        at de.anomic.server.serverCore$Session.listen(serverCore.java:733)                         
        at de.anomic.server.serverCore$Session.run(serverCore.java:624)                             
Caused by: java.lang.AssertionError                                                                 
        at de.anomic.crawler.ZURL.newEntry(ZURL.java:111)                                           
        at de.anomic.search.Switchboard.addURLtoErrorDB(Switchboard.java:2048)                     
        at de.anomic.search.Switchboard.toIndexer(Switchboard.java:1182)                           
        at de.anomic.http.server.HTTPDProxyHandler.fulfillRequestFromWeb(HTTPDProxyHandler.java:585)
        at de.anomic.http.server.HTTPDProxyHandler.doGet(HTTPDProxyHandler.java:387)               
        at de.anomic.http.server.HTTPDemon.GET(HTTPDemon.java:504)                                 
        ... 5 more                                                                                 
E 2010/01/13 19:07:46 HTTPD Unexpected Error. java.lang.AssertionError                             
java.lang.AssertionError                                                                           
        at de.anomic.crawler.ZURL.newEntry(ZURL.java:111)                                           
        at de.anomic.search.Switchboard.addURLtoErrorDB(Switchboard.java:2048)                     
        at de.anomic.search.Switchboard.toIndexer(Switchboard.java:1182)                           
        at de.anomic.http.server.HTTPDProxyHandler.fulfillRequestFromWeb(HTTPDProxyHandler.java:585)
        at de.anomic.http.server.HTTPDProxyHandler.doGet(HTTPDProxyHandler.java:387)               
        at de.anomic.http.server.HTTPDemon.GET(HTTPDemon.java:504)                                 
        at sun.reflect.GeneratedMethodAccessor2.invoke(Unknown Source)                             
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)   
        at java.lang.reflect.Method.invoke(Method.java:597)                                         
        at de.anomic.server.serverCore$Session.listen(serverCore.java:733)                         
        at de.anomic.server.serverCore$Session.run(serverCore.java:624)                             
java.lang.NullPointerException
        at de.anomic.http.server.HTTPDemon.error(HTTPDemon.java:255)
        at de.anomic.server.serverCore$Session.listen(serverCore.java:768)
        at de.anomic.server.serverCore$Session.run(serverCore.java:624)
I 2010/01/13 19:07:47 CRAWLER omitting de-queue/local: stack is empty
I 2010/01/13 19:07:49 CRAWLER omitting de-queue/local: stack is empty


Java ist die neueste Version aus Debian testing. Der stable-Version habe ich 256MB zugewiesen, statt nur 180 (default).
datenritter
 
Beiträge: 43
Registriert: So Sep 20, 2009 2:13 pm

Re: NullPointerException bei Proxy-Crawling

Beitragvon Orbiter » Mi Jan 13, 2010 7:41 pm

fix in SVN 6580
Orbiter
 
Beiträge: 5797
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: NullPointerException bei Proxy-Crawling

Beitragvon datenritter » Do Jan 14, 2010 1:27 am

So, neueste (signed) Version jetzt, mit altem Datenbestand. Scheint schneller geworden zu sein. (Oder ist der Index einfach nur aufgeräumt worden?)

Jedenfalls: Er crawlt nicht.
Ergebnisse der Proxy Indexierung: leer.
Preloading ist abgestellt - im Terminal erscheint gelegentlich mal ein Bild von einer nicht angeklickten Webseite.
Crawler Puffer: Alle auf Null (während der Prxy-Nutzung)

Crawling manuell aktiviert, weil eine Meldung erscheint: "Der freie Festplattenspeicher ist geringer als..." - nix.

Die Grenze auf 10 MB gesetzt -> Yacy behauptet stoisch, diese (immer genau die eingestellte) sei unterschritten.
datenritter
 
Beiträge: 43
Registriert: So Sep 20, 2009 2:13 pm

Re: NullPointerException bei Proxy-Crawling

Beitragvon datenritter » Do Jan 14, 2010 1:35 am

Achja:

Code: Alles auswählen
I 2010/01/14 01:28:24 CRAWLER omitting de-queue/local: stack is empty
I 2010/01/14 01:28:26 PLASMA Excluded 0 words in URL http://nichtlustig.de/toondb/100111.html
LANGUAGE-BY-STATISTICS: http://nichtlustig.de/toondb/100111.html CONFLICTING: de (the language given by the TLD is de), corrected using the TLD
W 2010/01/14 01:28:26 StackTrace this.current = text.urlmd.20100113161039623.table                                                             
java.lang.AssertionError: this.current = text.urlmd.20100113161039623.table                                                                   
        at net.yacy.kelondro.table.SplitTable.put(SplitTable.java:353)                                                                         
        at net.yacy.kelondro.index.Cache.put(Cache.java:303)                                                                                   
        at de.anomic.search.MetadataRepository.store(MetadataRepository.java:159)                                                             
        at de.anomic.search.Segment.storeDocument(Segment.java:324)                                                                           
        at de.anomic.search.Switchboard.storeDocumentIndex(Switchboard.java:1747)                                                             
        at de.anomic.search.Switchboard.storeDocumentIndex(Switchboard.java:1729)                                                             
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)                                                                         
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)                                                       
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)                                               
        at java.lang.reflect.Method.invoke(Method.java:597)                                                                                   
        at net.yacy.kelondro.workflow.InstantBlockingThread.job(InstantBlockingThread.java:103)                                               
        at net.yacy.kelondro.workflow.AbstractBlockingThread.run(AbstractBlockingThread.java:66)                                               
        at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:441)                                                             
        at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303)                                                                 
        at java.util.concurrent.FutureTask.run(FutureTask.java:138)                                                                           
        at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)                                                 
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)                                                     
        at java.lang.Thread.run(Thread.java:619)                                                                                               
W 2010/01/14 01:28:26 StackTrace null                                                                                                         
java.lang.reflect.InvocationTargetException                                                                                                   
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)                                                                         
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)                                                       
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)                                               
        at java.lang.reflect.Method.invoke(Method.java:597)                                                                                   
        at net.yacy.kelondro.workflow.InstantBlockingThread.job(InstantBlockingThread.java:103)                                               
        at net.yacy.kelondro.workflow.AbstractBlockingThread.run(AbstractBlockingThread.java:66)
        at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:441)
        at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303)
        at java.util.concurrent.FutureTask.run(FutureTask.java:138)
        at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)
        at java.lang.Thread.run(Thread.java:619)
Caused by: java.lang.AssertionError: this.current = text.urlmd.20100113161039623.table
        at net.yacy.kelondro.table.SplitTable.put(SplitTable.java:353)
        at net.yacy.kelondro.index.Cache.put(Cache.java:303)
        at de.anomic.search.MetadataRepository.store(MetadataRepository.java:159)
        at de.anomic.search.Segment.storeDocument(Segment.java:324)
        at de.anomic.search.Switchboard.storeDocumentIndex(Switchboard.java:1747)
        at de.anomic.search.Switchboard.storeDocumentIndex(Switchboard.java:1729)
        ... 12 more
E 2010/01/14 01:28:26 BLOCKINGTHREAD Runtime Error in serverInstantThread.job, thread 'java.lang.reflect.Method.storeDocumentIndex.17': null; target exception: this.current = text.urlmd.20100113161039623.table
java.lang.AssertionError: this.current = text.urlmd.20100113161039623.table
        at net.yacy.kelondro.table.SplitTable.put(SplitTable.java:353)
        at net.yacy.kelondro.index.Cache.put(Cache.java:303)
        at de.anomic.search.MetadataRepository.store(MetadataRepository.java:159)
        at de.anomic.search.Segment.storeDocument(Segment.java:324)
        at de.anomic.search.Switchboard.storeDocumentIndex(Switchboard.java:1747)
        at de.anomic.search.Switchboard.storeDocumentIndex(Switchboard.java:1729)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
        at java.lang.reflect.Method.invoke(Method.java:597)
        at net.yacy.kelondro.workflow.InstantBlockingThread.job(InstantBlockingThread.java:103)
        at net.yacy.kelondro.workflow.AbstractBlockingThread.run(AbstractBlockingThread.java:66)
        at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:441)
        at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303)
        at java.util.concurrent.FutureTask.run(FutureTask.java:138)
        at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)
        at java.lang.Thread.run(Thread.java:619)
I 2010/01/14 01:28:26 CRAWLER omitting de-queue/local: stack is empty
datenritter
 
Beiträge: 43
Registriert: So Sep 20, 2009 2:13 pm

Re: NullPointerException bei Proxy-Crawling

Beitragvon datenritter » Do Jan 14, 2010 1:51 am

Eigentlich weiß yacy es beser:
Code: Alles auswählen
I 2010/01/14 01:50:03 RESOURCE OBSERVER df of Volume /: 302 MB
datenritter
 
Beiträge: 43
Registriert: So Sep 20, 2009 2:13 pm

Re: NullPointerException bei Proxy-Crawling

Beitragvon datenritter » Do Jan 14, 2010 2:06 am

Das war 6581. Versuche 6582... crawlt scheinbar immer noch nicht bei Nutzung als Proxy.
datenritter
 
Beiträge: 43
Registriert: So Sep 20, 2009 2:13 pm

Re: NullPointerException bei Proxy-Crawling

Beitragvon sixcooler » Do Jan 14, 2010 2:59 am

Neben dem Festplattenlimmit das Du wohl in /Performance_p.html eingestellt hast gibt es noch im yacy/DATA/SETTINGS/yacy.conf
disk.free.hardlimit = 1000 (MB)

Gegen das größere der beiden wird geprüft das yacy nicht die Festplatte überfüllt und wohlmöglich andere Systemteile behindert.
sixcooler
 
Beiträge: 494
Registriert: Do Aug 14, 2008 5:22 pm

Re: NullPointerException bei Proxy-Crawling

Beitragvon datenritter » Do Jan 14, 2010 1:21 pm

Version 6583.

Partition vergößert. Meldung im Status verschwindet, trotzdem scheinbar kein oder nur partielles Proxy-Crawling. (Warum "partiell"? - nichtlustig.de funktioniert scheinbar, Bilder sind im Terminal zu sehen, aber es taucht nicht nicht in CrawlResults.html?process=4 auf, und auch nicht im Ereignis-Terminal oder Domain-Monitor, nicht in Status.html... andere URLs gehen komischerweise gar nicht, z.B. flickr.com. Suche nach "nichtlustig" liefert nur Ergebnisse alter Crawls.)

Tja, und dann sind da immer noch Assertion Errors:

Code: Alles auswählen
I 2010/01/14 13:12:30 CRAWLER omitting de-queue/local: stack is empty
I 2010/01/14 13:12:32 PLASMA Excluded 0 words in URL http://nichtlustig.de/toondb/100111.html
LANGUAGE-BY-STATISTICS: http://nichtlustig.de/toondb/100111.html CONFLICTING: de (the language given by the TLD is de), corrected using the TLD
W 2010/01/14 13:12:32 StackTrace this.current = text.urlmd.20100113161039623.table                                                             
java.lang.AssertionError: this.current = text.urlmd.20100113161039623.table                                                                   
        at net.yacy.kelondro.table.SplitTable.put(SplitTable.java:353)                                                                         
        at net.yacy.kelondro.index.Cache.put(Cache.java:303)                                                                                   
        at de.anomic.search.MetadataRepository.store(MetadataRepository.java:159)                                                             
        at de.anomic.search.Segment.storeDocument(Segment.java:324)                                                                           
        at de.anomic.search.Switchboard.storeDocumentIndex(Switchboard.java:1747)                                                             
        at de.anomic.search.Switchboard.storeDocumentIndex(Switchboard.java:1729)                                                             
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)                                                                         
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)                                                       
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)                                               
        at java.lang.reflect.Method.invoke(Method.java:597)                                                                                   
        at net.yacy.kelondro.workflow.InstantBlockingThread.job(InstantBlockingThread.java:103)                                               
        at net.yacy.kelondro.workflow.AbstractBlockingThread.run(AbstractBlockingThread.java:66)                                               
        at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:441)                                                             
        at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303)                                                                 
        at java.util.concurrent.FutureTask.run(FutureTask.java:138)                                                                           
        at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)                                                 
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)                                                     
        at java.lang.Thread.run(Thread.java:619)                                                                                               
W 2010/01/14 13:12:32 StackTrace null                                                                                                         
java.lang.reflect.InvocationTargetException                                                                                                   
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)                                                                         
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)                                                       
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)                                               
        at java.lang.reflect.Method.invoke(Method.java:597)                                                                                   
        at net.yacy.kelondro.workflow.InstantBlockingThread.job(InstantBlockingThread.java:103)                                               
        at net.yacy.kelondro.workflow.AbstractBlockingThread.run(AbstractBlockingThread.java:66)                                               
        at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:441)
        at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303)
        at java.util.concurrent.FutureTask.run(FutureTask.java:138)
        at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)
        at java.lang.Thread.run(Thread.java:619)
Caused by: java.lang.AssertionError: this.current = text.urlmd.20100113161039623.table
        at net.yacy.kelondro.table.SplitTable.put(SplitTable.java:353)
        at net.yacy.kelondro.index.Cache.put(Cache.java:303)
        at de.anomic.search.MetadataRepository.store(MetadataRepository.java:159)
        at de.anomic.search.Segment.storeDocument(Segment.java:324)
        at de.anomic.search.Switchboard.storeDocumentIndex(Switchboard.java:1747)
        at de.anomic.search.Switchboard.storeDocumentIndex(Switchboard.java:1729)
        ... 12 more
E 2010/01/14 13:12:32 BLOCKINGTHREAD Runtime Error in serverInstantThread.job, thread 'java.lang.reflect.Method.storeDocumentIndex.17': null; target exception: this.current = text.urlmd.20100113161039623.table
java.lang.AssertionError: this.current = text.urlmd.20100113161039623.table
        at net.yacy.kelondro.table.SplitTable.put(SplitTable.java:353)
        at net.yacy.kelondro.index.Cache.put(Cache.java:303)
        at de.anomic.search.MetadataRepository.store(MetadataRepository.java:159)
        at de.anomic.search.Segment.storeDocument(Segment.java:324)
        at de.anomic.search.Switchboard.storeDocumentIndex(Switchboard.java:1747)
        at de.anomic.search.Switchboard.storeDocumentIndex(Switchboard.java:1729)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
        at java.lang.reflect.Method.invoke(Method.java:597)
        at net.yacy.kelondro.workflow.InstantBlockingThread.job(InstantBlockingThread.java:103)
        at net.yacy.kelondro.workflow.AbstractBlockingThread.run(AbstractBlockingThread.java:66)
        at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:441)
        at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303)
        at java.util.concurrent.FutureTask.run(FutureTask.java:138)
        at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)
        at java.lang.Thread.run(Thread.java:619)
I 2010/01/14 13:12:32 CRAWLER omitting de-queue/local: stack is empty
NEXTORIGIN=http://nichtlustig.de/sys_img/start/toon_upperlayer2.png
I 2010/01/14 13:12:34 CRAWLER omitting de-queue/local: stack is empty
I 2010/01/14 13:12:36 CRAWLER omitting de-queue/local: stack is empty
I 2010/01/14 13:12:38 CRAWLER omitting de-queue/local: stack is empty
NEXTORIGIN=http://www.nichtlustig.de/comics/full/100111.jpg
I 2010/01/14 13:12:40 CRAWLER omitting de-queue/local: stack is empty
Zuletzt geändert von datenritter am Do Jan 14, 2010 1:37 pm, insgesamt 1-mal geändert.
datenritter
 
Beiträge: 43
Registriert: So Sep 20, 2009 2:13 pm

Re: NullPointerException bei Proxy-Crawling

Beitragvon datenritter » Do Jan 14, 2010 1:33 pm

Achso: Ich habe das bei beiden Installationen (die frische und die mit dem vorhandenen Index), und das Filesystem habe ich geprüft (waren Fehler, behoben.)

Und ich habe das Update auf 6583 nach dem fsck gemacht.
datenritter
 
Beiträge: 43
Registriert: So Sep 20, 2009 2:13 pm

Re: NullPointerException bei Proxy-Crawling

Beitragvon datenritter » Do Jan 14, 2010 1:53 pm

Ach seufz, manuell gestarteter Crawl geht auch nicht.

Code: Alles auswählen
D 2010/01/14 13:51:22 ROBOTS Trying to download the robots.txt file from URL 'http://hackaday.com/robots.txt'.                                                                     
I 2010/01/14 13:51:22 CRAWLER omitting de-queue/local: stack is empty                                                                                                             
D 2010/01/14 13:51:22 ROBOTS Robots.txt successfully loaded from URL 'http://hackaday.com/robots.txt' in 347 ms.                                                                   
I 2010/01/14 13:51:24 CRAWLER omitting de-queue/local: stack is empty                                                                                                             
I 2010/01/14 13:51:26 CRAWLER omitting de-queue/local: stack is empty                                                                                                             
I 2010/01/14 13:51:28 CRAWLER omitting de-queue/local: stack is empty                                                                                                             
I 2010/01/14 13:51:30 CRAWLSTART-URL http://localhost:8080/Crawler_p.html?crawlingDomMaxPages=10000&bookmarkFolder=/crawlStart&intention=&range=domain&indexMedia=on&sitemapURL=http://hackaday.com/sitemap.xml&crawlingQ=on&crawlingIfOlderUnit=month&cachePolicy=nocache&indexText=on&crawlingMode=url&crawlingURL=http://hackaday.com&crawlingFile=&bookmarkTitle=Hack%20a%20Day&mustnotmatch=&crawlingDomFilterDepth=1&crawlingFile%24file=&crawlingstart=Start%20New%20Crawl&mustmatch=.*&crawlingIfOlderNumber=3&crawlingDepth=2                   
I 2010/01/14 13:51:30 CRAWLER omitting de-queue/local: stack is empty                                                                                                             
I 2010/01/14 13:51:31 PLASMA CRAWL: ADDED 163 LINKS FROM http://hackaday.com/, STACKING TIME = 140, PARSING TIME = 109                                                             
I 2010/01/14 13:51:31 PLASMA Excluded 0 words in URL http://hackaday.com/                                                                                                         
LANGUAGE-BY-STATISTICS: http://hackaday.com/ CONFLICTING: en (the language given by the TLD is en), corrected using the TLD                                                       
W 2010/01/14 13:51:31 StackTrace this.current = text.urlmd.20100113180721219.table                                                                                                 
java.lang.AssertionError: this.current = text.urlmd.20100113180721219.table                                                                                                       
        at net.yacy.kelondro.table.SplitTable.put(SplitTable.java:353)                                                                                                             
        at net.yacy.kelondro.index.Cache.put(Cache.java:303)                                                                                                                       
        at de.anomic.search.MetadataRepository.store(MetadataRepository.java:159)                                                                                                 
        at de.anomic.search.Segment.storeDocument(Segment.java:324)                                                                                                               
        at de.anomic.search.Switchboard.storeDocumentIndex(Switchboard.java:1747)                                                                                                 
        at de.anomic.search.Switchboard.storeDocumentIndex(Switchboard.java:1729)                                                                                                 
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)                                                                                                             
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)                                                                                           
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)                                                                                   
        at java.lang.reflect.Method.invoke(Method.java:597)                                                                                                                       
        at net.yacy.kelondro.workflow.InstantBlockingThread.job(InstantBlockingThread.java:103)                                                                                   
        at net.yacy.kelondro.workflow.AbstractBlockingThread.run(AbstractBlockingThread.java:66)                                                                                   
        at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:441)                                                                                                 
        at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303)                                                                                                     
        at java.util.concurrent.FutureTask.run(FutureTask.java:138)                                                                                                               
        at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)                                                                                     
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)                                                                                         
        at java.lang.Thread.run(Thread.java:619)                                                                                                                                   
W 2010/01/14 13:51:31 StackTrace null                                                                                                                                             
java.lang.reflect.InvocationTargetException                                                                                                                                       
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)                                                                                                             
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)                                                                                           
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)                                                                                   
        at java.lang.reflect.Method.invoke(Method.java:597)                                                                                                                       
        at net.yacy.kelondro.workflow.InstantBlockingThread.job(InstantBlockingThread.java:103)                                                                                   
        at net.yacy.kelondro.workflow.AbstractBlockingThread.run(AbstractBlockingThread.java:66)                                                                                   
        at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:441)                                                                                                 
        at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303)                                                                                                     
        at java.util.concurrent.FutureTask.run(FutureTask.java:138)                                                                                                               
        at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)                                                                                     
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)                                                                                         
        at java.lang.Thread.run(Thread.java:619)                                                                                                                                   
Caused by: java.lang.AssertionError: this.current = text.urlmd.20100113180721219.table                                                                                             
        at net.yacy.kelondro.table.SplitTable.put(SplitTable.java:353)                                                                                                             
        at net.yacy.kelondro.index.Cache.put(Cache.java:303)                                                                                                                       
        at de.anomic.search.MetadataRepository.store(MetadataRepository.java:159)                                                                                                 
        at de.anomic.search.Segment.storeDocument(Segment.java:324)                                                                                                               
        at de.anomic.search.Switchboard.storeDocumentIndex(Switchboard.java:1747)                                                                                                 
        at de.anomic.search.Switchboard.storeDocumentIndex(Switchboard.java:1729)                                                                                                 
        ... 12 more                                                                                                                                                               
E 2010/01/14 13:51:31 BLOCKINGTHREAD Runtime Error in serverInstantThread.job, thread 'java.lang.reflect.Method.storeDocumentIndex.17': null; target exception: this.current = text.urlmd.20100113180721219.table                                                                                                                                                     
java.lang.AssertionError: this.current = text.urlmd.20100113180721219.table                                                                                                       
        at net.yacy.kelondro.table.SplitTable.put(SplitTable.java:353)                                                                                                             
        at net.yacy.kelondro.index.Cache.put(Cache.java:303)                                                                                                                       
        at de.anomic.search.MetadataRepository.store(MetadataRepository.java:159)                                                                                                 
        at de.anomic.search.Segment.storeDocument(Segment.java:324)                                                                                                               
        at de.anomic.search.Switchboard.storeDocumentIndex(Switchboard.java:1747)                                                                                                 
        at de.anomic.search.Switchboard.storeDocumentIndex(Switchboard.java:1729)                                                                                                 
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)                                                                                                             
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)                                                                                           
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)                                                                                   
        at java.lang.reflect.Method.invoke(Method.java:597)                                                                                                                       
        at net.yacy.kelondro.workflow.InstantBlockingThread.job(InstantBlockingThread.java:103)                                                                                   
        at net.yacy.kelondro.workflow.AbstractBlockingThread.run(AbstractBlockingThread.java:66)                                                                                   
        at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:441)                                                                                                 
        at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303)                                                                                                     
        at java.util.concurrent.FutureTask.run(FutureTask.java:138)                                                                                                               
        at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)                                                                                     
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)                                                                                         
        at java.lang.Thread.run(Thread.java:619)                                                                                                                                   
I 2010/01/14 13:51:32 CRAWLER omitting de-queue/local: stack is empty                                                                                                             
I 2010/01/14 13:51:33 PLASMA CRAWL: ADDED 163 LINKS FROM http://hackaday.com/, STACKING TIME = 105, PARSING TIME = 99                                                             
I 2010/01/14 13:51:33 PLASMA Excluded 0 words in URL http://hackaday.com/                                                                                                         
LANGUAGE-BY-STATISTICS: http://hackaday.com/ CONFLICTING: en (the language given by the TLD is en), corrected using the TLD                                                       
W 2010/01/14 13:51:33 StackTrace this.current = text.urlmd.20100113180721219.table                                                                                                 
java.lang.AssertionError: this.current = text.urlmd.20100113180721219.table                                                                                                       
        at net.yacy.kelondro.table.SplitTable.put(SplitTable.java:353)                                                                                                             
        at net.yacy.kelondro.index.Cache.put(Cache.java:303)                                                                                                                       
        at de.anomic.search.MetadataRepository.store(MetadataRepository.java:159)                                                                                                 
        at de.anomic.search.Segment.storeDocument(Segment.java:324)                                                                                                               
        at de.anomic.search.Switchboard.storeDocumentIndex(Switchboard.java:1747)                                                                                                 
        at de.anomic.search.Switchboard.storeDocumentIndex(Switchboard.java:1729)                                                                                                 
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)                                                                                                             
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)                                                                                           
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)                                                                                   
        at java.lang.reflect.Method.invoke(Method.java:597)                                                                                                                       
        at net.yacy.kelondro.workflow.InstantBlockingThread.job(InstantBlockingThread.java:103)                                                                                   
        at net.yacy.kelondro.workflow.AbstractBlockingThread.run(AbstractBlockingThread.java:66)                                                                                   
        at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:441)                                                                                                 
        at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303)                                                                                                     
        at java.util.concurrent.FutureTask.run(FutureTask.java:138)                                                                                                               
        at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)                                                                                     
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)                                                                                         
        at java.lang.Thread.run(Thread.java:619)                                                                                                                                   
W 2010/01/14 13:51:33 StackTrace null                                                                                                                                             
java.lang.reflect.InvocationTargetException                                                                                                                                       
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)                                                                                                             
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)                                                                                           
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)                                                                                   
        at java.lang.reflect.Method.invoke(Method.java:597)                                                                                                                       
        at net.yacy.kelondro.workflow.InstantBlockingThread.job(InstantBlockingThread.java:103)                                                                                   
        at net.yacy.kelondro.workflow.AbstractBlockingThread.run(AbstractBlockingThread.java:66)                                                                                   
        at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:441)                                                                                                 
        at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303)                                                                                                     
        at java.util.concurrent.FutureTask.run(FutureTask.java:138)                                                                                                               
        at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)                                                                                     
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)                                                                                         
        at java.lang.Thread.run(Thread.java:619)                                                                                                                                   
Caused by: java.lang.AssertionError: this.current = text.urlmd.20100113180721219.table                                                                                             
        at net.yacy.kelondro.table.SplitTable.put(SplitTable.java:353)                                                                                                             
        at net.yacy.kelondro.index.Cache.put(Cache.java:303)                                                                                                                       
        at de.anomic.search.MetadataRepository.store(MetadataRepository.java:159)                                                                                                 
        at de.anomic.search.Segment.storeDocument(Segment.java:324)                                                                                                               
        at de.anomic.search.Switchboard.storeDocumentIndex(Switchboard.java:1747)                                                                                                 
        at de.anomic.search.Switchboard.storeDocumentIndex(Switchboard.java:1729)                                                                                                 
        ... 12 more                                                                                                                                                               
E 2010/01/14 13:51:33 BLOCKINGTHREAD Runtime Error in serverInstantThread.job, thread 'java.lang.reflect.Method.storeDocumentIndex.17': null; target exception: this.current = text.urlmd.20100113180721219.table                                                                                                                                                     
java.lang.AssertionError: this.current = text.urlmd.20100113180721219.table                                                                                                       
        at net.yacy.kelondro.table.SplitTable.put(SplitTable.java:353)                                                                                                             
        at net.yacy.kelondro.index.Cache.put(Cache.java:303)                                                                                                                       
        at de.anomic.search.MetadataRepository.store(MetadataRepository.java:159)                                                                                                 
        at de.anomic.search.Segment.storeDocument(Segment.java:324)                                                                                                               
        at de.anomic.search.Switchboard.storeDocumentIndex(Switchboard.java:1747)                                                                                                 
        at de.anomic.search.Switchboard.storeDocumentIndex(Switchboard.java:1729)                                                                                                 
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)                                                                                                             
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)                                                                                           
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)                                                                                   
        at java.lang.reflect.Method.invoke(Method.java:597)                                                                                                                       
        at net.yacy.kelondro.workflow.InstantBlockingThread.job(InstantBlockingThread.java:103)                                                                                   
        at net.yacy.kelondro.workflow.AbstractBlockingThread.run(AbstractBlockingThread.java:66)                                                                                   
        at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:441)                                                                                                 
        at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303)                                                                                                     
        at java.util.concurrent.FutureTask.run(FutureTask.java:138)                                                                                                               
        at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)                                                                                     
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)                                                                                         
        at java.lang.Thread.run(Thread.java:619)                                                                                                                                   
I 2010/01/14 13:51:34 CRAWLER omitting de-queue/local: stack is empty                                                                                                             
I 2010/01/14 13:51:36 PLASMA Excluded 0 words in URL http://hackaday.com/                                                                                                         
LANGUAGE-BY-STATISTICS: http://hackaday.com/ CONFLICTING: en (the language given by the TLD is en), corrected using the TLD                                                       
W 2010/01/14 13:51:36 StackTrace this.current = text.urlmd.20100113180721219.table                                                                                                 
java.lang.AssertionError: this.current = text.urlmd.20100113180721219.table                                                                                                       
        at net.yacy.kelondro.table.SplitTable.put(SplitTable.java:353)                                                                                                             
        at net.yacy.kelondro.index.Cache.put(Cache.java:303)                                                                                                                       
        at de.anomic.search.MetadataRepository.store(MetadataRepository.java:159)                                                                                                 
        at de.anomic.search.Segment.storeDocument(Segment.java:324)                                                                                                               
        at de.anomic.search.Switchboard.storeDocumentIndex(Switchboard.java:1747)                                                                                                 
        at de.anomic.search.Switchboard.storeDocumentIndex(Switchboard.java:1729)                                                                                                 
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)                                                                                                             
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)                                                                                           
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)                                                                                   
        at java.lang.reflect.Method.invoke(Method.java:597)                                                                                                                       
        at net.yacy.kelondro.workflow.InstantBlockingThread.job(InstantBlockingThread.java:103)                                                                                   
        at net.yacy.kelondro.workflow.AbstractBlockingThread.run(AbstractBlockingThread.java:66)                                                                                   
        at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:441)                                                                                                 
        at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303)                                                                                                     
        at java.util.concurrent.FutureTask.run(FutureTask.java:138)                                                                                                               
        at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)                                                                                     
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)                                                                                         
        at java.lang.Thread.run(Thread.java:619)                                                                                                                                   
W 2010/01/14 13:51:36 StackTrace null                                                                                                                                             
java.lang.reflect.InvocationTargetException                                                                                                                                       
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)                                                                                                             
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)                                                                                           
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)                                                                                   
        at java.lang.reflect.Method.invoke(Method.java:597)                                                                                                                       
        at net.yacy.kelondro.workflow.InstantBlockingThread.job(InstantBlockingThread.java:103)                                                                                   
        at net.yacy.kelondro.workflow.AbstractBlockingThread.run(AbstractBlockingThread.java:66)                                                                                   
        at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:441)                                                                                                 
        at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303)                                                                                                     
        at java.util.concurrent.FutureTask.run(FutureTask.java:138)                                                                                                               
        at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)                                                                                     
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)                                                                                         
        at java.lang.Thread.run(Thread.java:619)                                                                                                                                   
Caused by: java.lang.AssertionError: this.current = text.urlmd.20100113180721219.table                                                                                             
        at net.yacy.kelondro.table.SplitTable.put(SplitTable.java:353)                                                                                                             
        at net.yacy.kelondro.index.Cache.put(Cache.java:303)                                                                                                                       
        at de.anomic.search.MetadataRepository.store(MetadataRepository.java:159)                                                                                                 
        at de.anomic.search.Segment.storeDocument(Segment.java:324)
        at de.anomic.search.Switchboard.storeDocumentIndex(Switchboard.java:1747)
        at de.anomic.search.Switchboard.storeDocumentIndex(Switchboard.java:1729)
        ... 12 more
E 2010/01/14 13:51:36 BLOCKINGTHREAD Runtime Error in serverInstantThread.job, thread 'java.lang.reflect.Method.storeDocumentIndex.17': null; target exception: this.current = text.urlmd.20100113180721219.table
java.lang.AssertionError: this.current = text.urlmd.20100113180721219.table
        at net.yacy.kelondro.table.SplitTable.put(SplitTable.java:353)
        at net.yacy.kelondro.index.Cache.put(Cache.java:303)
        at de.anomic.search.MetadataRepository.store(MetadataRepository.java:159)
        at de.anomic.search.Segment.storeDocument(Segment.java:324)
        at de.anomic.search.Switchboard.storeDocumentIndex(Switchboard.java:1747)
        at de.anomic.search.Switchboard.storeDocumentIndex(Switchboard.java:1729)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
        at java.lang.reflect.Method.invoke(Method.java:597)
        at net.yacy.kelondro.workflow.InstantBlockingThread.job(InstantBlockingThread.java:103)
        at net.yacy.kelondro.workflow.AbstractBlockingThread.run(AbstractBlockingThread.java:66)
        at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:441)
        at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303)
        at java.util.concurrent.FutureTask.run(FutureTask.java:138)
        at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)
        at java.lang.Thread.run(Thread.java:619)
I 2010/01/14 13:51:36 CRAWLER omitting de-queue/local: stack is empty
datenritter
 
Beiträge: 43
Registriert: So Sep 20, 2009 2:13 pm

Re: NullPointerException bei Proxy-Crawling

Beitragvon Orbiter » Do Jan 14, 2010 2:40 pm

fix in SVN 6585

bevor du den startest: kannst du bitte gucken wie groß die Datei
DATA/INDEX/freeworld/SEGMENTS/default/text.urlmd.20100113180721219.table
bei dir momentan noch ist? Ich schätze die ist 0 Bytes groß, das würde den Fehler erklären.
Orbiter
 
Beiträge: 5797
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: NullPointerException bei Proxy-Crawling

Beitragvon datenritter » Do Jan 14, 2010 4:48 pm

Ja, die Datei text.urlmd.20100113180721219.table ist 0 Byte groß.

In meiner "gebrauchten" Installation habe ich eine 0 Byte große Datei text.urlmd.20100113161039623.table.

Allerdings liegen die nicht unter freeworld (da habe ich kein Verzeichnis SEGMENTS), sondern unter webportal.

Was soll ich jetzt tun?
datenritter
 
Beiträge: 43
Registriert: So Sep 20, 2009 2:13 pm

Re: NullPointerException bei Proxy-Crawling

Beitragvon Orbiter » Do Jan 14, 2010 5:10 pm

ein update machen mit dem eingebauten updater ... aber das geht ja nicht weil bei dir YaCy nicht startet.
Wenn du die Datei löschst sollte es gehen. Geht ja nichts verloren, die ist ja 0 byte groß...
Orbiter
 
Beiträge: 5797
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: NullPointerException bei Proxy-Crawling

Beitragvon datenritter » Do Jan 14, 2010 6:04 pm

Klar kann ich yacy starten. Die Exceptions treten im Betrieb auf, wenn ich den Crawler anschmeiße.

Wobei... moment... jetzt, nach dem Update habe ich ein Problem mit dem Starten:

Code: Alles auswählen
I 2010/01/14 18:02:01 HeapReader finished index generation for /home/yacy/yacy/DATA/INDEX/webportal/SEGMENTS/default/text.index.20100113161423418.blob, 4799 entries, 0 gaps.
I 2010/01/14 18:02:02 kelondroSplitTable opening partial eco table /home/yacy/yacy/DATA/INDEX/webportal/SEGMENTS/default/text.urlmd.20090921112453292.table
I 2010/01/14 18:02:02 TABLE initialization of text.urlmd.20090921112453292.table. table copy: no, available RAM: 205MB, needed: 389MB, allocating space for 152160 entries
I 2010/01/14 18:02:02 TABLE /home/yacy/yacy/DATA/INDEX/webportal/SEGMENTS/default/text.urlmd.20090921112453292.table: TABLE /home/yacy/yacy/DATA/INDEX/webportal/SEGMENTS/default/text.urlmd.20090921112453292.table has table copy DISABLED
I 2010/01/14 18:02:02 TABLE initializing RAM index for TABLE text.urlmd.20090921112453292.table, please wait


CPU 99%, und das war's dann erstmal. (Nach 8 Minuten habe ich den Prozess abgebrochen.)
datenritter
 
Beiträge: 43
Registriert: So Sep 20, 2009 2:13 pm

Re: NullPointerException bei Proxy-Crawling

Beitragvon dulcedo » Do Jan 14, 2010 7:37 pm

Wenn er gerade eine von den grössen Index-Dateien neu schreibt oder zusammenfügt kann das auch beim Systemstart und dem Herunterfahren eine ganze Weile (zig Minuten) dauern, lass ihn am besten mal ein paar Stunden laufen.

@orbiter: In solchen fällen geht ein "blinder" automatischer Neustart auch schief, dauert dieser Vorgang zu lang wird dann beim Restart, ohne eine genaue Prüfung ob Instanz beendet, eine zweite zusätzlich gestartet. Der YaCy-eigene httpd reagiert in dem Fall nicht um Abfragen aufs log oder andere Statusdateien zu erlauben.
dulcedo
 
Beiträge: 1006
Registriert: Do Okt 16, 2008 6:36 pm
Wohnort: Bei Karlsruhe

Re: NullPointerException bei Proxy-Crawling

Beitragvon datenritter » Do Jan 14, 2010 8:24 pm

Ok, ich hatte gerade nach 140 Minuten abgebrochen. Dann lass ich den jetzt mal über Nacht laufen...
datenritter
 
Beiträge: 43
Registriert: So Sep 20, 2009 2:13 pm

Re: NullPointerException bei Proxy-Crawling

Beitragvon Orbiter » Fr Jan 15, 2010 12:04 am

nicht laufen lassen, das ist ein deadlock, konnte das hier sauber nachstellen.
Fix fertig, ist in SVN 6587
Orbiter
 
Beiträge: 5797
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: NullPointerException bei Proxy-Crawling

Beitragvon datenritter » Fr Jan 15, 2010 1:50 pm

Ja, jetzt geht es.
datenritter
 
Beiträge: 43
Registriert: So Sep 20, 2009 2:13 pm


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: Bing [Bot] und 1 Gast

cron