Neuster GIT-Code startet nicht mit alten Queues

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Neuster GIT-Code startet nicht mit alten Queues

Beitragvon Quix0r » Mi Apr 25, 2012 7:06 pm

Der neuste GIT-Code startet nicht mehr mit alten Queues (ich habe die Dateien urlNoticeXXXStack9.db nach urlNoticeXXXStackA.db umbenannt) bzw. importiert diese nicht. Es kommt zwar der HInweis, dass die Groesse (irgent eine interne?) nicht stimmt und repariert wurde, dennoch erhalte ich aber eine IndexOutOfBoundsException. Mehr dazu in den Logfiles.
Dateianhänge
logs.zip
Logs mit alten, umbenannten Stacks
(18.42 KiB) 51-mal heruntergeladen
Quix0r
 
Beiträge: 1347
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: Neuster GIT-Code startet nicht mit alten Queues

Beitragvon Orbiter » Mi Apr 25, 2012 8:13 pm

geneau weil die alten Queues nicht mit dem neuen Code starten habe ich den Namen ja geändert....
Ja richtig. Wenn man ein Update macht sind die Crawl Queues futsch. Der Index ist aber ok. Tut mir leid für diese Inkompatibiliät aber ich dachte es sei nicht so schlimm. Einfach den Crawl über die API nochmal starten.
Orbiter
 
Beiträge: 5798
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Neuster GIT-Code startet nicht mit alten Queues

Beitragvon Quix0r » Mi Apr 25, 2012 10:16 pm

Achso, hmm. Dadurch sind ~ 10 Mio. URLs in den Queues geschrottet. :( Falls du einen Converter bauen willst, kann ich dir meine Queues gerne zusenden. Dazu muesste eine lesende Klasse geschrieben werden, die alle Formate kennt und die dann "Fall-Durch-maessig" ausprobiert werden, bis ein Format erkannt werden kann. Die schreibende Klasse schreibt dann immer im neuen Format (bedient sich an den Schreibmethoden aus den bestehenden Queue-Klassen).

Leider kann ich das nicht programmieren, da ich selber in einer 1-Euro-Massnahme stecke und abends vieles eigenes vor mir habe... :? :cry:
Quix0r
 
Beiträge: 1347
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: Neuster GIT-Code startet nicht mit alten Queues

Beitragvon Orbiter » Mi Apr 25, 2012 11:31 pm

sorry ... bei index-Datenstrukturänderungen baue ich immer eine Migration, bei Datenstrukturen die den Peer steuern nie, das ist viel Arbeit. Da ist ja nicht umsonst ein Namenssuffix von 9 vorher gewesen .. da gabs schon 10 Revisionen vor dem 'A'. Ich empfehle einen Rücksprung auf eine ältere Version und dann die Crawl Queue abarbeiten, das dürfte das einfachste sein!
Orbiter
 
Beiträge: 5798
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 3 Gäste