Migration 1.3 -> 1.4

Keine Scheu, hier darf alles gefragt und diskutiert werden. Das ist das Forum für YaCy-Anfänger. Hier kann man 'wo muss man klicken' fragen und sich über Grundlagen zur Suchmaschinentechnik unterhalten.
Forumsregeln
Hier werden Fragen beantwortet und wir versuchen die Probleme von YaCy-Newbies zu klären. Bitte beantwortete Fragen im YaCy-Wiki http://wiki.yacy.de dokumentieren!

Migration 1.3 -> 1.4

Beitragvon Seitenreiter » Sa Mai 18, 2013 6:36 pm

Hi,
ich habe seid längerem mal wieder Yacy angeschaut und auf einem seperaten Rechner die neueste 1.4 installiert. Lief ganz gut und ein bißchen wurde ja auch schon die Oberfläche aufgeräumt :)

Nun würde ich gerne meinen Node auf dem Desktop reaktivieren, der noch 1.3/9000 hat. Leider fährt er nicht mehr hoch, da er zu wenig RAM bekommt. Durch viele Importe ist die Größe von /DATA auch auf 40GB angewachsen.
Daher meine Frage, wie kriege ich möglichst viel von meiner Arbeit gerettet, ohne die neue Version gleich wieder mit zu viel Schrott zu belasten?

Danke schon mal :)
Seitenreiter
 
Beiträge: 120
Registriert: Di Jul 28, 2009 2:45 pm

Re: Migration 1.3 -> 1.4

Beitragvon Seitenreiter » Do Mai 23, 2013 9:03 pm

Gibt es da wirklich gar keine Erfahrungen?
So wie ich das oberflächlich gelesen habe, hat sich etwas mit der SOLR-Einbindung verändert und ist nicht mehr wirklich abwärts-kompatibel?
Seitenreiter
 
Beiträge: 120
Registriert: Di Jul 28, 2009 2:45 pm

Re: Migration 1.3 -> 1.4

Beitragvon reger » Do Mai 23, 2013 11:00 pm

Hi,

stimmt, da hat sich einiges geändert. Aber die 1.4 kannst Du problemlos drüberinstallieren ohne Datenverlust (voll abwärtskompatibel und Daten werden automatisch migriert).

Wenn Du erstmal mit kleinem Index anfangen möchtest, könntest Du das Verzeichnis
DATA/INDEX/freeworld/SEGMENTS/default verschieben (backup und löschen) um datenmäßig bei Null anzufangen
und bei Bedarf später wieder restoren.

cu
reger
 
Beiträge: 46
Registriert: Mi Jan 02, 2013 9:23 am

Re: Migration 1.3 -> 1.4

Beitragvon David » Fr Mai 24, 2013 12:06 am

Vielleicht kannst du ihn wieder starten, nachdem du den Inhalt des HTCACHE-Ordners gelöscht hast. Dieser Cache frisst ja auch RAM, enthält aber keine Indexdaten.
David
 
Beiträge: 170
Registriert: Di Mär 05, 2013 5:35 pm

Re: Migration 1.3 -> 1.4

Beitragvon Seitenreiter » Sa Mai 25, 2013 8:15 pm

Ok, ich habe mal geupdated und einmal ist der Server auch durchgestartet. Allerdings gab es dabei zahlreiche Fehler, wie etwa, dass der Status Monitor nicht angezeigt wurde.

Nun kommt Yacy aber gar nicht mehr hoch und steht ewig bei diesen Zeilen:
S 2013/05/25 21:01:24 SWITCHBOARD Initializing Crawl Profiles
I 2013/05/25 21:01:28 HeapReader saturation of crawlProfilesActive.heap.ExKEJFZvQkIQ.idx: keylength = 4, vallength = 4, size = 51224, maximum saving for index-compression = 0 MB, exact saving for value-compression = 0 MB
I 2013/05/25 21:01:32 HeapReader using a dump of the index of /home/matthias/Arbeitsfläche/yacy/DATA/INDEX/freeworld/QUEUES/crawlProfilesActive.heap.
I 2013/05/25 21:01:32 HeapReader BLOB /home/matthias/Arbeitsfläche/yacy/DATA/INDEX/freeworld/QUEUES/crawlProfilesActive.heap: merged 0 free records
I 2013/05/25 21:01:32 Heap initializing heap /home/matthias/Arbeitsfläche/yacy/DATA/INDEX/freeworld/QUEUES/crawlProfilesActive.heap


Manchmal bleibt er auch hier stehen:
I 2013/05/25 21:42:22 RICELL-shrink4/rewrite unmountOldest()
I 2013/05/25 21:42:22 IODispatcher appended rewrite job of file text.index.20120811153622774.blob to text.index.20130525194222843.blob
I 2013/05/25 21:42:26 kelondroSplitTable opening partial eco table /home/matthias/Arbeitsfläche/yacy/DATA/INDEX/freeworld/SEGMENTS/default/text.urlmd.20120327094920437.table
I 2013/05/25 21:42:30 TABLE initialization of text.urlmd.20120327094920437.table. table copy: yes, available RAM: 373MB, needed: 403MB, allocating space for 325970 entries
I 2013/05/25 21:42:30 TABLE /home/matthias/Arbeitsfläche/yacy/DATA/INDEX/freeworld/SEGMENTS/default/text.urlmd.20120327094920437.table: TABLE /home/matthias/Arbeitsfläche/yacy/DATA/INDEX/freeworld/SEGMENTS/default/text.urlmd.20120327094920437.table has table copy ENABLED
I 2013/05/25 21:42:30 TABLE initializing RAM index for TABLE text.urlmd.20120327094920437.table, please wait.
I 2013/05/25 21:52:39 kelondroSplitTable opening partial eco table /home/matthias/Arbeitsfläche/yacy/DATA/INDEX/freeworld/SEGMENTS/default/text.urlmd.20120427171658970.table
I 2013/05/25 21:52:44 TABLE initialization of text.urlmd.20120427171658970.table. table copy: yes, available RAM: 282MB, needed: 297MB, allocating space for 156400 entries
I 2013/05/25 21:52:44 TABLE /home/matthias/Arbeitsfläche/yacy/DATA/INDEX/freeworld/SEGMENTS/default/text.urlmd.20120427171658970.table: TABLE /home/matthias/Arbeitsfläche/yacy/DATA/INDEX/freeworld/SEGMENTS/default/text.urlmd.20120427171658970.table has table copy ENABLED
I 2013/05/25 21:52:44 TABLE initializing RAM index for TABLE text.urlmd.20120427171658970.table, please wait.


Der Peer ist zwar auch ganz schön voll (16Mio Links), aber sollte doch zumindest startfähig sein?
Seitenreiter
 
Beiträge: 120
Registriert: Di Jul 28, 2009 2:45 pm

Re: Migration 1.3 -> 1.4

Beitragvon Seitenreiter » Do Mai 30, 2013 7:23 pm

Sorry wenn ich nerve, aber wie denkt ihr kriege ich den Peer wieder am einfachsten ans laufen? Kann ich ihm irgendwie per Config Datei noch mehr RAM zuweisen, damit er wenigstens erst mal wieder startet?
Seitenreiter
 
Beiträge: 120
Registriert: Di Jul 28, 2009 2:45 pm

Re: Migration 1.3 -> 1.4

Beitragvon PCA42 » Do Mai 30, 2013 9:25 pm

Wenn der Peer unter Linux läuft, ist ein passendes Skript im Ordner vorhanden: "reconfigureYACY.sh".
Dort Option 1 und mehr Speicher zuweisen.

Sonst ist das etwas umständlicher:
in der Datei "DATA/SETTINGS/yacy.conf" den Wert "javastart_Xmx" anpassen.
PCA42
 
Beiträge: 621
Registriert: Mi Jan 23, 2008 4:19 pm
Wohnort: @Home

Re: Migration 1.3 -> 1.4

Beitragvon Seitenreiter » Fr Mai 31, 2013 9:38 pm

Ach mist, da hatte ich wohl Tomaten auf den Augen, entschuldigt :(
Der Server startet nun, aber sämtliche Status-Anzeigen bleiben leer.

Das Log hat auch so einige komische Einträge, lässt sich da aus der Ferne sagen, was bei der Migration schief gelaufen ist?
...
I 2013/05/31 22:24:18 TABLE initializing RAM index for TABLE text.urlmd.20120811153401801.table, please wait.
I 2013/05/31 22:24:27 org.apache.solr.core.CoreContainer Loading CoreContainer using Solr Home: '/home/matthias/Arbeitsfläche/yacy/DATA/INDEX/freeworld/SEGMENTS/solr_40'
I 2013/05/31 22:24:28 org.apache.solr.core.SolrResourceLoader new SolrResourceLoader for directory: '/home/matthias/Arbeitsfläche/yacy/DATA/INDEX/freeworld/SEGMENTS/solr_40/'
I 2013/05/31 22:24:32 org.apache.solr.core.CoreContainer Creating SolrCore '' using instanceDir: /home/matthias/Arbeitsfläche/yacy/DATA/INDEX/freeworld/SEGMENTS/solr_40/collection1
I 2013/05/31 22:24:32 org.apache.solr.core.SolrResourceLoader new SolrResourceLoader for directory: '/home/matthias/Arbeitsfläche/yacy/DATA/INDEX/freeworld/SEGMENTS/solr_40/collection1/'
I 2013/05/31 22:24:32 org.apache.solr.core.SolrConfig Adding specified lib dirs to ClassLoader
E 2013/05/31 22:24:32 org.apache.solr.core.CoreContainer org.apache.solr.common.SolrException: Invalid luceneMatchVersion 'LUCENE_40', valid values are: [LUCENE_20, LUCENE_21, LUCENE_22, LUCENE_23, LUCENE_24, LUCENE_29, LUCENE_30, LUCENE_31, LUCENE_32, LUCENE_33, LUCENE_34, LUCENE_35, LUCENE_36, LUCENE_CURRENT] or a string in format 'V.V'
at org.apache.solr.core.Config.parseLuceneVersionString(Config.java:353)
at org.apache.solr.core.Config.getLuceneVersion(Config.java:337)
at org.apache.solr.core.SolrConfig.<init>(SolrConfig.java:140)
at org.apache.solr.core.CoreContainer.create(CoreContainer.java:455)
at org.apache.solr.core.CoreContainer.load(CoreContainer.java:335)
at org.apache.solr.core.CoreContainer.load(CoreContainer.java:219)
at org.apache.solr.core.CoreContainer.<init>(CoreContainer.java:109)
at net.yacy.cora.federate.solr.instance.EmbeddedInstance.<init>(EmbeddedInstance.java:82)
at net.yacy.search.index.Fulltext.connectLocalSolr(Fulltext.java:176)
at net.yacy.search.Switchboard.<init>(Switchboard.java:488)
at net.yacy.yacy.startup(yacy.java:225)
at net.yacy.yacy.main(yacy.java:655)
Caused by: java.lang.IllegalArgumentException: No enum const class org.apache.lucene.util.Version.LUCENE_40
at java.lang.Enum.valueOf(Enum.java:214)
at org.apache.lucene.util.Version.valueOf(Version.java:33)
at org.apache.solr.core.Config.parseLuceneVersionString(Config.java:351)
... 11 more

I 2013/05/31 22:24:32 org.apache.solr.core.CoreContainer Creating SolrCore 'webgraph' using instanceDir: /home/matthias/Arbeitsfläche/yacy/DATA/INDEX/freeworld/SEGMENTS/solr_40/webgraph
I 2013/05/31 22:24:32 org.apache.solr.core.SolrResourceLoader new SolrResourceLoader for directory: '/home/matthias/Arbeitsfläche/yacy/DATA/INDEX/freeworld/SEGMENTS/solr_40/webgraph/'
I 2013/05/31 22:24:33 org.apache.solr.core.SolrConfig Adding specified lib dirs to ClassLoader
E 2013/05/31 22:24:33 org.apache.solr.core.CoreContainer org.apache.solr.common.SolrException: Invalid luceneMatchVersion 'LUCENE_40', valid values are: [LUCENE_20, LUCENE_21, LUCENE_22, LUCENE_23, LUCENE_24, LUCENE_29, LUCENE_30, LUCENE_31, LUCENE_32, LUCENE_33, LUCENE_34, LUCENE_35, LUCENE_36, LUCENE_CURRENT] or a string in format 'V.V'
at org.apache.solr.core.Config.parseLuceneVersionString(Config.java:353)
at org.apache.solr.core.Config.getLuceneVersion(Config.java:337)
at org.apache.solr.core.SolrConfig.<init>(SolrConfig.java:140)
at org.apache.solr.core.CoreContainer.create(CoreContainer.java:455)
at org.apache.solr.core.CoreContainer.load(CoreContainer.java:335)
at org.apache.solr.core.CoreContainer.load(CoreContainer.java:219)
at org.apache.solr.core.CoreContainer.<init>(CoreContainer.java:109)
at net.yacy.cora.federate.solr.instance.EmbeddedInstance.<init>(EmbeddedInstance.java:82)
at net.yacy.search.index.Fulltext.connectLocalSolr(Fulltext.java:176)
at net.yacy.search.Switchboard.<init>(Switchboard.java:488)
at net.yacy.yacy.startup(yacy.java:225)
at net.yacy.yacy.main(yacy.java:655)
Caused by: java.lang.IllegalArgumentException: No enum const class org.apache.lucene.util.Version.LUCENE_40
at java.lang.Enum.valueOf(Enum.java:214)
at org.apache.lucene.util.Version.valueOf(Version.java:33)
at org.apache.solr.core.Config.parseLuceneVersionString(Config.java:351)
... 11 more

I 2013/05/31 22:24:33 SolrEmbeddedInstance detected default solr core: collection1
W 2013/05/31 22:24:33 StackTrace cannot get the default core; available = 596460016, free = 596460016
java.io.IOException: cannot get the default core; available = 596460016, free = 596460016
at net.yacy.cora.federate.solr.instance.EmbeddedInstance.<init>(EmbeddedInstance.java:92)
at net.yacy.search.index.Fulltext.connectLocalSolr(Fulltext.java:176)
at net.yacy.search.Switchboard.<init>(Switchboard.java:488)
at net.yacy.yacy.startup(yacy.java:225)
at net.yacy.yacy.main(yacy.java:655)
...
Tabellen und Switchboard fahren hoch
...
W 2013/05/31 22:25:12 StackTrace null
java.lang.reflect.InvocationTargetException
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:616)
at net.yacy.kelondro.workflow.InstantBusyThread.job(InstantBusyThread.java:107)
at net.yacy.kelondro.workflow.AbstractBusyThread.run(AbstractBusyThread.java:165)
Caused by: java.lang.NullPointerException
at net.yacy.search.index.Fulltext.collectionSize(Fulltext.java:270)
at net.yacy.search.index.Segment.URLCount(Segment.java:267)
at net.yacy.search.Switchboard.updateMySeed(Switchboard.java:3519)
at net.yacy.peers.Network.peerPing(Network.java:196)
... 6 more
(der ganze Block 4x)
...
I 2013/05/31 22:25:21 HTCACHE storing content of url http://blogs.openstreetmap.org/atom.xml, 179691 bytes
W 2013/05/31 22:25:22 StackTrace null
java.lang.NullPointerException
at net.yacy.search.index.Fulltext.exists(Fulltext.java:736)
at net.yacy.search.index.Segment.exists(Segment.java:302)
at net.yacy.search.Switchboard.urlExists(Switchboard.java:1589)
at net.yacy.crawler.retrieval.RSSLoader.indexAllRssFeed(RSSLoader.java:94)
at Load_RSS_p.respond(Load_RSS_p.java:290)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:616)
at net.yacy.server.http.HTTPDFileHandler.invokeServlet(HTTPDFileHandler.java:1419)
at net.yacy.server.http.HTTPDFileHandler.doResponse(HTTPDFileHandler.java:953)
at net.yacy.server.http.HTTPDFileHandler.doGet(HTTPDFileHandler.java:250)
at net.yacy.server.http.HTTPDemon.GET(HTTPDemon.java:403)
at sun.reflect.GeneratedMethodAccessor2.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:616)
at net.yacy.server.serverCore$Session.listen(serverCore.java:767)
at net.yacy.server.serverCore$Session.run(serverCore.java:658)
(der Block auch wieder ein paar Mal)
Seitenreiter
 
Beiträge: 120
Registriert: Di Jul 28, 2009 2:45 pm

Re: Migration 1.3 -> 1.4

Beitragvon Orbiter » Fr Mai 31, 2013 11:17 pm

hallo,
also da ist was faul. Es gab von 1.3 nach 1.4 eine Solr-Versionsmigration, die multi-core-Fähigkeit einschliesst. In diesem Kontext wurde das Solr-Verzeichnis auf solr_40 umbenannt. Nun sagt dein Log aber: "Invalid luceneMatchVersion 'LUCENE_40'" was mir irgendwie sagt, dass du da gerade versuchst ein bereits migriertes Vezeichnis mit einer alten Version zu laden. Bist du ganz sicher dass da tatsächlich die neueste Version von YaCy läuft?
Weiterhin gibts bei mir ein Problem, in der aktuellen dev-Version die Zeilen des Fehlers nachzuvollziehen, das ist nun alles anders. Ich empfehle folgende Vorgehensweise:
- die neueste Version von http://kaskelix.de/update/ auspacken, und das DATA-Verzeichnis dort reinlegen, dann starten. Wenn es dann Fehler gibt, kann ich das fixen. In diesem Fall bitte wieder das Log hier posten.
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main


Zurück zu Hilfe für Einsteiger und Anwender

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast

cron