[CLOSED] Revision 6167: Keine Migration?

Ideen und Vorschläge sind willkommen.

[CLOSED] Revision 6167: Keine Migration?

Beitragvon Quix0r » Do Jul 02, 2009 8:34 pm

Im Commit-Log lese ich folgendes:
There is no migration. All crawls must be restarted.

Ich hab aber gerade ueber 600.000 URLs im Queue, die wären dann alle weg. Nee, da mache ich kein Update. Oder bitte Migration einbauen.

Letzteres möchte ich euch auch an's Herz legen, damit die User mit noch ReCollections leichter auf die neuste Revision updaten können. Die User können nicht wissen, dass sie 0.8 und dann 0.9x nehmen müssen - einer hat schon im Forum gefragt. Also updaten sie direkt auf die 0.9 und peng, alles weg. Bitte mal drüber nachdenken.

Edit: Oder einfach rüberschieben?
Zuletzt geändert von Quix0r am Mo Jan 25, 2010 10:36 am, insgesamt 1-mal geändert.
Quix0r
 
Beiträge: 1347
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: Revision 6167: Keine Migration?

Beitragvon Orbiter » Do Jul 02, 2009 9:15 pm

du kannst die Dateien einfach von PLASMA nach INDEX/freeworld/QUEUES schieben

oder einen neuen Crawl starten, die bisher indexierten werden ja wegen dem doublecheck nicht wieder geladen.
Orbiter
 
Beiträge: 5798
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Revision 6167: Keine Migration?

Beitragvon Quix0r » Do Jul 02, 2009 9:33 pm

Dann reicht also aus, das startYaCy.sh/bat/command zu erweitern (ungetestet, nach dem cd-Befehl):
Code: Alles auswählen
if test -e "DATA/PLASMADB/"; then
echo "Migrating old crawler queues, please wait ... (may take long)"
mkdir --parent DATA/INDEX/freeworld/QUEUES
mv DATA/PLASMADB/* DATA/INDEX/freeworld/QUEUES/ || exit 2
echo "Migration done."
fi

Sollte so prinzipiell gehen. [s]Was ist mit webStructure.map?[/s]

Edit: Ist dann so einfacher. :)
Zuletzt geändert von Quix0r am Fr Jul 03, 2009 11:00 am, insgesamt 1-mal geändert.
Quix0r
 
Beiträge: 1347
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: Revision 6167: Keine Migration?

Beitragvon Orbiter » Fr Jul 03, 2009 8:31 am

Quix0r hat geschrieben: Was ist mit webStructure.map?

Orbiter hat geschrieben:du kannst die Dateien einfach von PLASMA nach INDEX/freeworld/QUEUES schieben

Es stehen sowieso noch weitere Architekturänderungen in dem Bereich an, die aber nur sehr aufwendig zu migrieren wären. Ohne die Verlagerung der Files aus PLASMA sind bisher alle laufenden Crawls bei einem Wechsel der Netzdefinition gecrasht, was noch viel mehr kacke war als ein Fehlen der Migration hier.
Orbiter
 
Beiträge: 5798
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Revision 6167: Keine Migration?

Beitragvon Quix0r » Fr Jul 03, 2009 11:02 am

Hab mal das Script-Snippet angepasst. Einach nur * und alles wird verschoben. :)
Quix0r
 
Beiträge: 1347
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: Revision 6167: Keine Migration?

Beitragvon Quix0r » Fr Jul 03, 2009 12:00 pm

Hab zum Glück nicht daheim, sondern nur hier geupdatet und verschoben. Die Web-Structure-Datei verschoben, erzeugt Exceptions:
E 2009/07/03 12:57:11 FILEHANDLER INTERNAL ERROR: java.lang.reflect.InvocationTargetException:null target exception at /home/quix0r/yacy/htroot/WebStructurePicture_p.class: java.lang.AssertionError:null; java.awt.graphicsenv='sun.awt.X11GraphicsEnvironment'
java.lang.reflect.InvocationTargetException
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:616)
at de.anomic.http.httpdFileHandler.invokeServlet(httpdFileHandler.java:1171)
at de.anomic.http.httpdFileHandler.doResponse(httpdFileHandler.java:514)
at de.anomic.http.httpdFileHandler.doGet(httpdFileHandler.java:240)
at de.anomic.http.httpd.GET(httpd.java:490)
at sun.reflect.GeneratedMethodAccessor1.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:616)
at de.anomic.server.serverCore$Session.listen(serverCore.java:742)
at de.anomic.server.serverCore$Session.run(serverCore.java:621)
Caused by: java.lang.AssertionError
at WebStructurePicture_p.respond(WebStructurePicture_p.java:96)
... 13 more
java.lang.AssertionError
at WebStructurePicture_p.respond(WebStructurePicture_p.java:96)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:616)
at de.anomic.http.httpdFileHandler.invokeServlet(httpdFileHandler.java:1171)
at de.anomic.http.httpdFileHandler.doResponse(httpdFileHandler.java:514)
at de.anomic.http.httpdFileHandler.doGet(httpdFileHandler.java:240)
at de.anomic.http.httpd.GET(httpd.java:490)
at sun.reflect.GeneratedMethodAccessor1.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:616)
at de.anomic.server.serverCore$Session.listen(serverCore.java:742)
at de.anomic.server.serverCore$Session.run(serverCore.java:621)

Ich habe die Node runtergefahren, den Tar-Ball entpackt, alle Dateien aus PLASMADB/ nach INDEX/freeworld/QUEUE/ verschoben und gestartet.
Quix0r
 
Beiträge: 1347
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: Revision 6167: Keine Migration?

Beitragvon Quix0r » Di Jul 14, 2009 9:40 pm

Wurde die mittlerweile gefixt? das Assert kam nun seit einigen Revisionen auch nicht mehr vor, dafuer aber eine andere waehrend des Startens.
Quix0r
 
Beiträge: 1347
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld


Zurück zu Wunschliste

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast