Ex- und Import von Crawls

Ideen und Vorschläge sind willkommen.

Ex- und Import von Crawls

Beitragvon Micki » Sa Mär 07, 2015 3:09 pm

Es wäre sehr vorteilhaft, wenn man die Crawls die man selber angelegt hat exportieren und bei Bedarf wieder importieren könnte. Wenn einem mal das System zusammen bricht wäre diese Basis wieder da.
Micki
 
Beiträge: 86
Registriert: Sa Feb 21, 2015 10:38 pm

Re: Ex- und Import von Crawls

Beitragvon Orbiter » Sa Mär 07, 2015 10:03 pm

ich arbeit seit ein paar Wochen an einem ganz anderen Projekt wo genau dieses Backup am von Anfang an dabei war. Näheres dazu in einer Woche. Das geht aber dort sehr gut, weil die Daten in relativ kleinen Paketen erzeugt werden.

Ggf. kann man das in YaCy auch so machen, wie aufwendig das ist kann ich aber noch nicht sagen.
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Ex- und Import von Crawls

Beitragvon Micki » Sa Jun 11, 2016 8:22 am

Schon ein Ergebnis für Yacy?
Micki
 
Beiträge: 86
Registriert: Sa Feb 21, 2015 10:38 pm

Re: Ex- und Import von Crawls

Beitragvon Orbiter » Mi Jul 06, 2016 10:37 am

Hierfür gibt es nun eine Lösung:
- man kann Index Dumps exportieren (letztes Commit hierzu: https://github.com/yacy/yacy_search_ser ... 1ede38088e )
- man kann diese Dumps auch wieder importieren (Commit: https://github.com/yacy/yacy_search_ser ... 746a6e2151 ) indem man das in diese API pusht.
Das schöne daran: man kann das auch Querbeet zwischen Peers machen.. und scripten.
Das ganze ist leider noch nicht sehr gut dokumentiert, ich wollte diese Funktionen im Kontext eines neuen Index Sharing Mechanismus' integrieren. Das ist leider noch nicht fertig. Export und Import sollte aber gehen.
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main


Zurück zu Wunschliste

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 3 Gäste