corrupter Solr index fix

Support für Fragen zu Solr im Allgemeinen und der Verwendung des in YaCy eingebetteten Solr
Forumsregeln
Hier sind Fragen zu Solr im Allgemeinen und der Verwendung des in YaCy eingebetteten Solr im speziellen gewünscht!

corrupter Solr index fix

Beitragvon sixcooler » Mo Jul 22, 2013 10:55 pm

Hallo,

da ich einen corrupten Solr index auf einem Peer hatte, will ich hier mal festhalten wie man das 'reparieren' kann.

YaCy herunterfahren und mit dem User unter dem YaCy läuft in das YaCy-Verzeichniss gehen und
Code: Alles auswählen
java -cp 'lib/*' org.apache.lucene.index.CheckIndex DATA/INDEX/freeworld/SEGMENTS/solr_40/collection1/data/index/ -fix

ausführen.

cu, sixcooler.
sixcooler
 
Beiträge: 494
Registriert: Do Aug 14, 2008 5:22 pm

Re: corrupter Solr index fix

Beitragvon Orbiter » Di Jul 23, 2013 9:21 am

ah, das ist hochinteressant! Wie bist du darauf gekommen?

Das hat mich dann dazu gebracht alle Klassen in org.apache.lucene.index darauf zu untersuchen ob es da noch mehr main()-Methoden drin gibt die man gebrauchen könnte und siehe da, hab folgendes gefunden:

Code: Alles auswählen
java -cp 'lib/*' org.apache.lucene.index.IndexUpgrader DATA/INDEX/freeworld/SEGMENTS/solr_40/collection1/data/index/ -verbose

macht ein Index Upgrade. Das sollte aber dann YaCy-intern aufgerufen werden, genau wie das index fix auch! Was passiert denn wenn man mit einem kaputten Solr Index startet? (d.h.: bei welcher Exception baue ich ein automatischen Fix ein) Hast du noch den kaputten Solr Index?
Orbiter
 
Beiträge: 5798
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: corrupter Solr index fix

Beitragvon sixcooler » Di Jul 23, 2013 11:50 am

Das hatte ich in irgendeinem Forum gefunden.
Leider hab ich weder den corrupten Index noch Logoutput dazu.
Glaube mich aber zu erinnern das u.a. im EmbeddedSolrConnector:138 (getResponseByParams) der letzte Teil aus YaCy im Trace war.
Ganz sicher knallte es aber bei SolrServerConnector.commit und SolrServerConnector.optimize.
sixcooler
 
Beiträge: 494
Registriert: Do Aug 14, 2008 5:22 pm

Re: corrupter Solr index fix

Beitragvon Quix0r » Do Jul 25, 2013 7:45 pm

Vielleicht koennen die zwei Calls in startYACY.sh/bat/command eingebaut werden? Z.B.:
Code: Alles auswählen
$ ./startYACY.sh -fix
$ ./startYACY.sh -upgrade


Die zwei Calls muessten dann sicherstellen, dass YaCy beendet wurde (z.B. die PID abfragen: /proc/<pid>/ ist da, dann laeuft der Peer).
Quix0r
 
Beiträge: 1347
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld


Zurück zu Solr Support

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 3 Gäste