Lesezeichen legen YaCy lahm

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Lesezeichen legen YaCy lahm

Beitragvon Anmibe » Di Dez 16, 2008 11:51 am

Ich hatte eine Lesezeichendatei mit 19 Veweisen, aber die Seite http://localhost:8080/Bookmarks.html lässt sich nicht mehr aufrufen (SVN 5392):
Code: Alles auswählen
YaCy - Distributed Web Indexing - Administration

Problems with request: GET http://localpeer/Bookmarks.html

500 Internal Server Error

Unexpected error while processing query.
Session: Session_127.0.0.1:54634#0
Query: /Bookmarks.html
Client: localhost
Reason: java.lang.reflect.InvocationTargetException

Exception occured: java.lang.reflect.InvocationTargetException

TRACE:
      java.lang.reflect.InvocationTargetException
   at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
   at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
   at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
   at java.lang.reflect.Method.invoke(Method.java:585)
   at de.anomic.http.httpdFileHandler.invokeServlet(httpdFileHandler.java:1018)
   at de.anomic.http.httpdFileHandler.doResponse(httpdFileHandler.java:602)
   at de.anomic.http.httpdFileHandler.doGet(httpdFileHandler.java:243)
   at de.anomic.http.httpd.GET(httpd.java:487)
   at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
   at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
   at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
   at java.lang.reflect.Method.invoke(Method.java:585)
   at de.anomic.server.serverCore$Session.listen(serverCore.java:762)
   at de.anomic.server.serverCore$Session.run(serverCore.java:626)
Caused by: java.lang.NullPointerException
   at de.anomic.data.bookmarksDB.storeTag(bookmarksDB.java:541)
   at de.anomic.data.bookmarksDB.flushTagCache(bookmarksDB.java:561)
   at de.anomic.data.bookmarksDB$tagIterator.(bookmarksDB.java:1296)
   at de.anomic.data.bookmarksDB.tagIterator(bookmarksDB.java:584)
   at de.anomic.data.bookmarksDB.getTagIterator(bookmarksDB.java:600)
   at de.anomic.data.bookmarksDB.getTagIterator(bookmarksDB.java:613)
   at Bookmarks.printTagList(Bookmarks.java:354)
   at Bookmarks.respond(Bookmarks.java:255)
   ... 14 more
Generated Tue, 16 Dec 2008 10:21:41 GMT by Anmibe.yacy

Das Ganze wird noch erschwert, weil nach dem Seitenaufruf nicht nur die Fehlermeldung kommt, sondern kurz danach auch das Log nur noch folgende Einträge enthält:
> CRAWLER CoreCrawl: too many processes in indexing queue, dismissed (sbQueueSize=87).

Ob ein direkter Zusammenhang besteht kann nicht sagen, aber ich erinnere mich, dass ein neuer Lesezeicheneitrag das Letzte war, was ich an meinem alten Peer machte, bevor er mit STARTUP FATAL ERROR: -122 nach einem Neustart nicht mehr hochkam. Allerdings hat dort das einfache Löschen der Bookmark* keinen Abhilfe geschaffen.
Anmibe
 
Beiträge: 48
Registriert: Mo Nov 24, 2008 12:44 pm
Wohnort: Berlin

Re: Lesezeichen legen YaCy lahm

Beitragvon Lotus » Di Dez 16, 2008 2:36 pm

r5393 sollte wieder gehen.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: Lesezeichen legen YaCy lahm

Beitragvon Anmibe » Di Dez 16, 2008 4:44 pm

Lotus hat geschrieben:r5393 sollte wieder gehen.

Kann ich leider nicht bestätigen (ich habe ürbigens meine bookmarks bereits entsorgt gehabt, und neue anlegen lassen, so dass 5393, neue, leere Dateien vorgefunden hat):
Code: Alles auswählen
YaCy - Distributed Web Indexing - Administration

Problems with request: GET http://localpeer/Bookmarks.html

500 Internal Server Error

Unexpected error while processing query.
Session: Session_127.0.0.1:51938#14
Query: /Bookmarks.html
Client: localhost
Reason: java.lang.reflect.InvocationTargetException

Exception occured: java.lang.reflect.InvocationTargetException

TRACE:
      java.lang.reflect.InvocationTargetException
   at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
   at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
   at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
   at java.lang.reflect.Method.invoke(Method.java:585)
   at de.anomic.http.httpdFileHandler.invokeServlet(httpdFileHandler.java:1018)
   at de.anomic.http.httpdFileHandler.doResponse(httpdFileHandler.java:602)
   at de.anomic.http.httpdFileHandler.doGet(httpdFileHandler.java:243)
   at de.anomic.http.httpd.GET(httpd.java:487)
   at sun.reflect.GeneratedMethodAccessor5.invoke(Unknown Source)
   at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
   at java.lang.reflect.Method.invoke(Method.java:585)
   at de.anomic.server.serverCore$Session.listen(serverCore.java:762)
   at de.anomic.server.serverCore$Session.run(serverCore.java:626)
Caused by: java.lang.NullPointerException
   at Bookmarks.recurseFolders(Bookmarks.java:403)
   at Bookmarks.recurseFolders(Bookmarks.java:414)
   at Bookmarks.recurseFolders(Bookmarks.java:407)
   at Bookmarks.recurseFolders(Bookmarks.java:407)
   at Bookmarks.respond(Bookmarks.java:341)
   ... 13 more
Generated Tue, 16 Dec 2008 15:36:22 GMT by Anmibe.yacy


Vorhin waren es noch ...14 more, jetzt sind es ...13 more, immerhin ein Fortschritt ;-)
Anmibe
 
Beiträge: 48
Registriert: Mo Nov 24, 2008 12:44 pm
Wohnort: Berlin

Re: Lesezeichen legen YaCy lahm

Beitragvon Lotus » Di Dez 16, 2008 9:56 pm

Nächster Versuch in r5349. Bitte durchhalten du hast eine gute DB um jetzt den Code zu verbessern.

Ich habe ein break eingesetzt um Seiteneffekte durch falsche Nummerierung zu umgehen. Das könnte jedoch unter Umständen dazu führen, dass nicht alle Bookmarks angezeigt werden.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: Lesezeichen legen YaCy lahm

Beitragvon Huppi » Mi Dez 17, 2008 1:14 pm

Auf dem MotoYaCy-Peer mit sehr großer Bookmarks-DB macht 5392 keine Probleme.
Huppi
 
Beiträge: 898
Registriert: Fr Jun 29, 2007 9:49 am
Wohnort: Kürten

Re: Lesezeichen legen YaCy lahm

Beitragvon Anmibe » Mi Dez 17, 2008 5:09 pm

Lotus hat geschrieben:Nächster Versuch in r5349. Bitte durchhalten du hast eine gute DB um jetzt den Code zu verbessern.

Nur der Vollständigkeithalber: Du meinst r5394 anstatt r5349.
Also mit r5394 wurden alle Lesezeichen korrekt angezeigt, es konnte eingegeben werden udn anchträgöich bearbeitet werden. Auch die Ordnerstruktur im Kasten blieb offen (hat sich sonst bei mir immer gleich wiedergeschlossen).
Bis zu dem Zeitpunkt wo ich ein Lesezeichen wollte lief auch alles gut. Ab dem Moment kann ich nicht mehr auf die Lesezeichenseite zugreifen, aber nach einem Neustart von YaCy mit vollen Ressourcen klappte es wieder.

Huppi hat geschrieben:Auf dem MotoYaCy-Peer mit sehr großer Bookmarks-DB macht 5392 keine Probleme.

So etwas tummelte sich in meinem Hinterkopf, als ich den Thread aufmachte, nämlich dass entweder die Anderen keine Proleme haben oder die Lesezeichenseite nicht benutzt wird.
P.S.: Nur interessehalber, wie groß ist groß bei der Bookmarks.DB (Größenordnung 100, 1.000, 10.000, >)

Allgemeines:
Ich schreibe hier einfach mal meine Meinung zu ein paar Dingen, also nicht persönlich nehmen. Vielleicht sind alle anderen ja vollkomen anderer Meinung, denn bisher scheint es keinen gestört zu haben.
Wenn ich ehrlich bin ist mir die ganze Lesezeichenverwaltung in YaCy zu sperrig, ich würde sie nur als Übersicht für einige persönliche Ankerpunkte im Zusammenhang mit YaCy und für eine Übersicht der Startpunkte nutzen wollen. Warum mir das Ganze zu sperrig ist, ist im Grunde dasselbe warum ich Foren nicht sonderlich mag: Viel zu viel Geklicke, nur halbe Informationen, permanente Seitenwechsel. Ich persönlich bin mehr ein Listenbearbeiter. Das ist für meinen Kopf schneller, übersichtlicher und weniger fehlerträchtig.
Beispiel:
1.) Lesezeichen, dann drei Ankreuzfelder für Recrawl tgl., wöchentl., mtl., eines für Startpunkt, Einagbefeld für Schlagworte usw.
In einer solchen Darstellung sehe ich auf einen Schlag ein Dutzend Einstellungen, fällt da eine raus, fällt das sofort auf.
2.) Die Reihenfolge der Schlagworte ist irgendwie nicht durchschaubar. alphabetisch fände ich deutlich besser.
3.) Rumgeklicke: Beim Bearbeiten von mehreren Lesezeichen auf einer Seite >1: Lesezeichen bearbeiten anklicken, Felder ändern, bearbeiten drücken (wieso heißt der Knopf eigentlich bearbeiten und nicht speichern?), auf Seitenaufbau warten (Lesezeichen steht jetzt an Platz 1, warum eigentlich?), wieder auf die andere Seite wechseln (sofern durch die Reihenfolge nicht die Seitenzahl verändert wurde), nächstes Lesezeichen ändern usw. Das Alles nur um evtl. ein paar neue CrawlStartpunkte in einem einzigen Punkt zu verändern. Vielleicht bin ja anders gestrickt, aber mich persönlich nervt ein solcher Arbeitsablauf. Wie seht Ihr das hier?
4.) Ich muss zugeben, dass ich erst heute morgen die für mich merkwürdige Darstellung der Tags angefangen habe zu begreifen. Da bei mir nicht alle sondern, sondern dort nur ein oder zwei Tags erschienen war mir nie klar wass das soll. Seit der Version 5394 erscheinen dort alle Schlagworte und anscheinend sind sie nach Häufigkeit sortiert. Häufigstes zuerst und groß, dann kleiner werdend. Gut, kann so machen, aber ist dies wirklich ein Mehrwert bei vielen Schlagworten? (Abgesehen davon verliert ein Schlagwort mit zunehmender Häufigkeit an Gebrauchswert, da die Anzahl der Fundstellen rapide zunimmt, d.h. groß und fett = wichtig = zutreffend ist nicht unbedingt eine zwingende Folge). Wenn ich eine Auswahl treffen will, muss ich im Prinzip erst alle durchlesen, da ich nicht weiß wo ich es finde. Jetzt gibt es noch das Aufklappmenü. Nun DropDown-Menüs sind wieder eine eigene Kategorie. Bestens geeignet wenn ich mehr als zwei Möglichkeiten habe, aber wenn es viele werden wird es ganz schnell unpraktisch. Bsp. Aus welchem Land kommen sie: Dort folgt dann meist ein Menü mit den rd. 150 Einträgen, gleiches gilt für die erreichbaren YaCy-Peers. Wie sieht das eigentlich aus, wenn YaCy mal wirklich anfängt zu wachsen, soll dann das Menü hunderte oder tausende von Einträgen bereithalten? Alles was bei diesen Aufklappmenüs über rd. 50 Einträge hinausgehen kann, muss meiner Ansicht nach von vornherein anders gelöst werden. Abgesehen von dem Fakt, dass auf der Seite die Daten redudant vorgehalten werden (Links & Menü), bei gleichzeitigem öfteren Ressourcenmangel von YaCy.
Wenn YaCy wirklich mal auf breiter Front zur Anwendung kommen soll, dann gilt KISS (keep it simple and stupid). Lieber später noch eine separate, vernünftige Statistikseite verfügbar machen.
Anmibe
 
Beiträge: 48
Registriert: Mo Nov 24, 2008 12:44 pm
Wohnort: Berlin

Re: Lesezeichen legen YaCy lahm

Beitragvon Huppi » Mi Dez 17, 2008 7:05 pm

So aus dem Kopf hat die Bookmarks-DB auf MotoYaCy etwas 300 Lesezeichen.
http://huppi.dyndns.org:8081

Tatsächlich reagiert der Peer aber aktuell etwas lahm. Ob das an den Bookmarks liegt?
Huppi
 
Beiträge: 898
Registriert: Fr Jun 29, 2007 9:49 am
Wohnort: Kürten

Re: Lesezeichen legen YaCy lahm

Beitragvon Anmibe » Mi Dez 17, 2008 8:30 pm

Huppi hat geschrieben:So aus dem Kopf hat die Bookmarks-DB auf MotoYaCy etwas 300 Lesezeichen.
http://huppi.dyndns.org:8081

Tatsächlich reagiert der Peer aber aktuell etwas lahm. Ob das an den Bookmarks liegt?

Kann ich nichts zu sagen, aber wenn dort viele autorecrawls sind, bleibt das nicht ohne Einfluss.

Noch etwas anderes funktioniert bei mir nicht richtig: Der Bookmarkexport.
Rufe ich http://localhost:8080/Bookmarks.rss (oder xml) auf wird ein funktionierender RSS erstellt, aber nur von den ersten zehn Lesezeichen. Selbst wenn ich 100 Lesezeichen auf einer Seite einstelle (ich habe allerdings nur knapp 20) wird nur ein RSS mit den ersten zehn Lesezeichen erstellt.

Sprachinkosistenz: Im linken Menü ist von Lesezeichen die Rede, aber auf den Bookmarks-Seiten wird dann Mal von Lesezeichen (bspw. Importiere XML-Lesezeichen, Lesezeichen hinzufügen) oder Bookmarks (bspw. Import HTML Bookmarks, Bookmarks (RSS)) die Rede. Wäre eine einheitliche Sprachregelung nicht sinnvoll?
Anmibe
 
Beiträge: 48
Registriert: Mo Nov 24, 2008 12:44 pm
Wohnort: Berlin

Re: Lesezeichen legen YaCy lahm

Beitragvon apfelmaennchen » Mi Dez 17, 2008 9:30 pm

Also ich melde mich einfach mal, da ich ja zumindest zwischenzeitlich viel an den Lesezeichen/Bookmarks gemacht habe.
Meine bookmarks.db auf meinem Entwicklungspeer enthält 405 Einträge mit 368 Tags (@Huppi: bei Dir sind es 410 Bookmarks und 362 Tags).
Die Anzeige in YaCy ist übrigens falsch, hier werden für meinen Peer 750 Bookmakrs als Ergebnis der Funktion bookmarksDB.bookmarksSize() gemeldet, welche seinerseits kelondroMap.size() bzw. kelondroBLOB.size() ausgibt. Was hier genau passiert habe ich bisher noch nicht weiter analysiert, zeigt aber, dass die eigentlich DB größer ist als man das auf den ersten Blick annehmen würde (ggf. eine Frage für Orbiter).
Die Grundperformance der Bookmarks ist nicht überwältigend, aber auf meinem Peer noch erträglich.
Problematisch ist nach wie vor die Verwaltung von wenigen Lesezeichen mit extrem vielen Tags, insb. wenn der Tag-Index nicht mehr in den RAM-Cache passt und von Platte gelesen werden muss. Ziel meiner bisherigen Anpassungen war eben, die vorhandene Lesezeichenverwaltung mit einfachen Mitteln überhaupt nutzbar zu machen.

Anmibe hat geschrieben:Noch etwas anderes funktioniert bei mir nicht richtig: Der Bookmarkexport.
Rufe ich http://localhost:8080/Bookmarks.rss (oder xml) auf wird ein funktionierender RSS erstellt, aber nur von den ersten zehn Lesezeichen. Selbst wenn ich 100 Lesezeichen auf einer Seite einstelle (ich habe allerdings nur knapp 20) wird nur ein RSS mit den ersten zehn Lesezeichen erstellt.


Auf meinem Peer funktioniert das einwandfrei:
RSS: /Bookmarks.rss?tag=&start=0&num=50 ==> liefert bei mir exakt 50 Lesezeichen als RSS Feed ab
XML: /xml/bookmarks/posts/all.xml ==> liefert alle Einträge als XML Posts ab
XBEL: /xml/bookmarks/xbel/xbel.xml ==> liefert alle Einträge innerhalb der Folderstruktur ab

Zumindest den XBEL Export habe ich im Wiki http://yacy-websuche.de/wiki/index.php/ ... kmarksXBEL dokumentiert.

Falls es hier Probleme gibt, bitte mal die betroffene bookmarks.db, bookmarkTags.db und bookmarkDates.db an mich schicken, dann schaue ich mir das an. Oft liegt es an einem "unverdaulichen" Tag-Eintrag in der DB.

Das "alte" Interface für die Lesezeichen/Bookmarks habe ich nicht mehr weiterentwickelt, da ich eher versucht habe diese Funktion im Rich Client einzubinden. Leider habe ich das aus beruflichen Gründen nie ganz fertig bekommen. Insofern habe ich auf kosmetische Dinge wie die korrekte Übersetzung auch nicht geachtet - sorry.

@Lotus: theoretisch dürfte es an der Stelle, wo Du das break eingenaut hast gar keine Null Zuweisung stattfinden, ich prüfe das bei Gelegenheit aber nochmals.

Gruß!
apfelmaennchen
apfelmaennchen
 
Beiträge: 429
Registriert: Mo Aug 20, 2007 7:06 pm

Re: Lesezeichen legen YaCy lahm

Beitragvon Anmibe » Mi Jan 21, 2009 7:59 pm

Hallo,

irgendwie steckt bei mir wohl der Teufel drin. Ich komme seit einiger Zeit wieder nicht an die Lesezeichen ran:
Code: Alles auswählen
YaCy - Distributed Web Indexing - Administration

Problems with request: GET http://localpeer/Bookmarks.html

500 Internal Server Error

Unexpected error while processing query.
Session: Session_127.0.0.1:49254#1
Query: /Bookmarks.html
Client: localhost
Reason: java.lang.reflect.InvocationTargetException

Exception occured: java.lang.reflect.InvocationTargetException

TRACE:
      java.lang.reflect.InvocationTargetException
   at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
   at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
   at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
   at java.lang.reflect.Method.invoke(Method.java:585)
   at de.anomic.http.httpdFileHandler.invokeServlet(httpdFileHandler.java:1182)
   at de.anomic.http.httpdFileHandler.doResponse(httpdFileHandler.java:764)
   at de.anomic.http.httpdFileHandler.doGet(httpdFileHandler.java:252)
   at de.anomic.http.httpd.GET(httpd.java:488)
   at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
   at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
   at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
   at java.lang.reflect.Method.invoke(Method.java:585)
   at de.anomic.server.serverCore$Session.listen(serverCore.java:762)
   at de.anomic.server.serverCore$Session.run(serverCore.java:626)
Caused by: de.anomic.kelondro.kelondroException: nodeIterator.init: start node does not exist (handle null) in db '/Applications/Kommunikation/yacy/DATA/WORK/bookmarks.db'
   at de.anomic.kelondro.kelondroTree$nodeIterator.init(kelondroTree.java:868)
   at de.anomic.kelondro.kelondroTree$nodeIterator.(kelondroTree.java:797)
   at de.anomic.kelondro.kelondroTree.rowMap(kelondroTree.java:967)
   at de.anomic.kelondro.kelondroTree$rowIterator.(kelondroTree.java:1021)
   at de.anomic.kelondro.kelondroTree.rows(kelondroTree.java:1000)
   at de.anomic.kelondro.kelondroCache.rows(kelondroCache.java:438)
   at de.anomic.kelondro.kelondroBLOBTree.keys(kelondroBLOBTree.java:234)
   at de.anomic.kelondro.kelondroMap.keys(kelondroMap.java:244)
   at de.anomic.data.bookmarksDB$bookmarkIterator.(bookmarksDB.java:1331)
   at de.anomic.data.bookmarksDB.bookmarkIterator(bookmarksDB.java:435)
   at de.anomic.data.bookmarksDB.getBookmarksIterator(bookmarksDB.java:443)
   at Bookmarks.respond(Bookmarks.java:275)
   ... 14 more
Anmibe
 
Beiträge: 48
Registriert: Mo Nov 24, 2008 12:44 pm
Wohnort: Berlin

Re: Lesezeichen legen YaCy lahm

Beitragvon Huppi » Do Jan 22, 2009 12:12 am

Ich kann's bei mir gerade nicht testen. Die Peers ruhen, weil ich meine Netzwerk-Verkabelung erneuere.
Ursache ist ganz trivial: neuer Flachbild-Fernseher will in's Wohnzimmer integriert werden. Gute Gelegenheit, auch mal andere Altlasten aufzuarbeiten ;-)
Huppi
 
Beiträge: 898
Registriert: Fr Jun 29, 2007 9:49 am
Wohnort: Kürten

Re: Lesezeichen legen YaCy lahm

Beitragvon apfelmaennchen » Do Jan 22, 2009 7:24 am

Also an den Lesezeichen hat sich im Grundsatz nix verändert, ggf. mal den Zugriff über den Rich Client testen, da hier ein anderes Servlet zum Einsatz kommt. Die Fehlermeldung lässt allerdings auf eine korrupte bookmarksDB schließen, da es scheinbar Schwierigkeiten mit in der Methode getBookmarksIterator gibt.

Wie immer das Angebot, mir die DB mal zuzuschicken, dann schaue ich mir die Sache an...

Gruß!
apfelmaennchen
apfelmaennchen
 
Beiträge: 429
Registriert: Mo Aug 20, 2007 7:06 pm

Re: Lesezeichen legen YaCy lahm

Beitragvon Anmibe » Do Jan 22, 2009 6:28 pm

apfelmaennchen hat geschrieben:Wie immer das Angebot, mir die DB mal zuzuschicken, dann schaue ich mir die Sache an...

Zip (8 kB) anbei mit:
bookmarkDates.db
bookmarks.db
bookmarkTags.db
Die DB selber enthält kanpp 20 Einträge.

Gruß
Dateianhänge
Bookmark DB Peer Anmibe.zip
(6.07 KiB) 28-mal heruntergeladen
Anmibe
 
Beiträge: 48
Registriert: Mo Nov 24, 2008 12:44 pm
Wohnort: Berlin


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 4 Gäste

cron