Tool zum Datenbank auslesen

Keine Scheu, hier darf alles gefragt und diskutiert werden. Das ist das Forum für YaCy-Anfänger. Hier kann man 'wo muss man klicken' fragen und sich über Grundlagen zur Suchmaschinentechnik unterhalten.
Forumsregeln
Hier werden Fragen beantwortet und wir versuchen die Probleme von YaCy-Newbies zu klären. Bitte beantwortete Fragen im YaCy-Wiki http://wiki.yacy.de dokumentieren!

Tool zum Datenbank auslesen

Beitragvon Micki » Fr Mär 06, 2015 8:33 am

Gibt es ein Tool mit dem man die YaCy-Datenbank auslesen kann wenn die JVM zwar startet aber Yacy selber nicht mehr?
Würde gerne wenns geht einen Teil der Daten (8,005 Mio Documents) retten oder zumindest die Crawlaufträge. Leider ist das alles nicht in Klartext gespeichert.
Micki
 
Beiträge: 86
Registriert: Sa Feb 21, 2015 10:38 pm

Re: Tool zum Datenbank auslesen

Beitragvon Chris734 » Mo Mai 25, 2015 1:51 pm

Das würde mich auch interessieren - hast du das geschafft?
Chris734
 
Beiträge: 4
Registriert: Mo Mai 25, 2015 1:17 pm

Re: Tool zum Datenbank auslesen

Beitragvon LA_FORGE » Mi Mai 27, 2015 3:05 pm

Es gibt kein Tool in dem Sinne. Für Linux gibt es ein Skript, es liegt im /bin-Unterverzeichnis der YaCy-Distribution und heißt indexdump.sh

Da YaCy als Backend Solr/Lucene der Apache-Foundation nutzt, gibt es zahlreiche Anleitungen und Tools wie man mit den Daten jonglieren kann im Netz. Ich kopiere in so einem Fall einfach immer das komplette Unterverzeichnis /DATA/INDEX/freeworld/SEGMENTS/solr_4_10/collection1/ darin befinden sich alle Dateien der Datenbank.
LA_FORGE
 
Beiträge: 542
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Tool zum Datenbank auslesen

Beitragvon Orbiter » Mi Mai 27, 2015 4:45 pm

wahrscheinlich werde ich mich demnächst mal mit dem Dump-Thema beschäftigen
Orbiter
 
Beiträge: 5786
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Tool zum Datenbank auslesen

Beitragvon LA_FORGE » Do Mai 28, 2015 9:48 am

Genial! Es wäre super, wenn das mergen von Indexdaten möglich wäre, ohne dass der vorhandene Index überschrieben wird.
LA_FORGE
 
Beiträge: 542
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Tool zum Datenbank auslesen

Beitragvon Orbiter » Fr Mai 29, 2015 2:10 pm

hab gerade eine erste Version hochgeladen (1.83.9231), die exportieren kann. Du findest die Funktion in "Loaded URL Export" ganz unten, ist per default an. Das macht nun einen Solr-Export und ohne Zeilenende innerhalb eines Dokuments, aber mit Zeilenende an jedem <doc>-Ende. Das hat den Vorteil dass man z.B. mit grep Dokumente aus einem Dump selektieren kann.

Ziel ist es, diese Dumps auch wieder über Surrogates einlesen zu können. Ich mache mich jetzt erst an den Import, ggf. muss ich dann die Dump-Funktion wieder anpassen. Aber du kannst ja schon mal schauen ob es so bei dir geht.
Orbiter
 
Beiträge: 5786
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Tool zum Datenbank auslesen

Beitragvon Orbiter » Sa Mai 30, 2015 12:40 pm

gute Nachrichten: Import sollte nun gehen.
Dieser Topic ist irgendwie doppelt zu viewtopic.php?p=32049#p32049 daher schliesse ich den topic hier nun. Bitte dort fortsetzen.
Orbiter
 
Beiträge: 5786
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main


Zurück zu Hilfe für Einsteiger und Anwender

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast

cron