Migration YaCy Metadaten -> Solr

Support für Fragen zu Solr im Allgemeinen und der Verwendung des in YaCy eingebetteten Solr
Forumsregeln
Hier sind Fragen zu Solr im Allgemeinen und der Verwendung des in YaCy eingebetteten Solr im speziellen gewünscht!

Migration YaCy Metadaten -> Solr

Beitragvon bbtuxi » Do Sep 06, 2012 3:54 pm

Ich hab irgendwo im Forum gelesen, dass die alten Daten irgendwie migriert werden zur neuen Solr Datenbank?

Wie genau läuft es ab? Kann man das alles auf einmal machen? Weil ich jetzt gar keine genauen Aussagen machen kann über Solr weil ich nicht weiß ob da noch irgendein Hintergrund Prozess läuft der die Daten migriert?

grüße
bbtuxi
 
Beiträge: 50
Registriert: Fr Jan 16, 2009 10:28 pm

Re: Migration YaCy Metadaten -> Solr

Beitragvon Orbiter » Do Sep 06, 2012 8:09 pm

Die Migration läuft momentan 'schleichend' als stille Migration ab. Jedes Mal, wenn ein Datensatz aus der alten Metadata-DB gelesen wird, wird es nun dort auch gelöscht und zusätzlich nach Solr geschrieben. Einen 'Bulk-Transfer' gibts noch nicht.

Als Werkzeug dazu gibt es das Interface net.yacy.kelondro.data.meta.URIMetadata.java. Dazu gibts zwei Implementierungen, URIMetdataRow (altes Datenformat der Metadaten-DB) und URIMetadataNode (neues Format welches eigentlich ein gekapseltes org.apache.solr.common.SolrDocument ist). Beide Formate lassen sich ineinander transformieren, so dass die SolrDocuments zusammen mit dem Solr Schema (in Klasse net.yacy.search.index.YaCySchema definiert) für den Rest von YaCy gleich aussehen.

Ich wollte jetzt nicht jedem zumuten, die Migration manuell als langlaufenden Prozess durchführen zu müssen. Ihr könnt aber ganz leicht nachschauen was schon alles in Solr gelandet ist, mit Hilfe der neuen Solr API /solr/select?q=*:*

Die migrierten Metadaten unterscheiden sich von neuen Solr-Daten insbesondere dadurch, dass die alten Daten keine Volltextinfos im Solr-Index haben. Eine entsprechende Solr Query erlaubt es genau zu unterscheiden welche Daten migriert und welche neu sind:

/solr/select?q=-text_t:[* TO *]
zeigt nur die Records ohne Volltext, also migrierte Daten

/solr/select?q=text_t:[* TO *]
zeigt nur die Records mit Volltext, also neue Daten

bitte in beiden Fällen auf den Wert von numFound gucken, das ist die Gesamtzahl der möglichen Treffer.
Orbiter
 
Beiträge: 5787
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main


Zurück zu Solr Support

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste