Index exportieren, sharen, remixen!

Ereignisse, Vorschläge und Aktionen

Index exportieren, sharen, remixen!

Beitragvon Orbiter » Do Mai 28, 2015 8:21 pm

Die Anfragen nach einem schönen Index Full Export häufen sich irgendwie gerade und ich will da auch was bauen. Wenn wir nun alle so schön einen full export machen können, können wir auch (über den Surrogat Import, so plane ich das nun) exportiere Indexe wieder konsolidieren.

Da fällt mir dann auch gleich ein, dass wir solche Daten dann einfach mal sharen sollten. Wie wärs wenn wir das mal ganz 'konservativ' über torrents machen? (wer jetzt torrent liest und 'illegal' denkt: nein - wir sind immer noch nur ganz legale Index sharer wie seit vielen Jahren - nur mal anders).

Oder hat jemand eine andere Idee fürs sharing? Ich gehe davon aus dass es 'Spender' mit über 20GB große Dateien gibt.
Orbiter
 
Beiträge: 5782
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Index exportieren, sharen, remixen!

Beitragvon LA_FORGE » Fr Mai 29, 2015 8:19 am

Die Idee finde ich großartig! Auch die Art der Verteilung. Da bin ich sofort dabei! Einen der Spender schreibt gerade an diesen Post :-)
LA_FORGE
 
Beiträge: 542
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Index exportieren, sharen, remixen!

Beitragvon Orbiter » Sa Mai 30, 2015 12:26 pm

der Index Import geht jetzt, hab einmal erfolgreich getestet, das heisst nicht dass es immer geht :twisted:

wie geht? - so:

- um einen Solr Dump zu exportieren, in /IndexControlURLs_p.html unter "Loaded URL Export" die Option "Full Data Records:XML (Rich and full Solr data)" anwählen und starten
- um einen Solr Dump zu importieren, ihn einfach nach DATA/SURROGATES/in/ kopieren. Das wird dann automatisch reingesogen.

Importierte Dumps landen in DATA/SURROGATES/out/, wer das nicht will muss dort regelmäßig löschen.

Größe der exportierten Daten im komprimierten Dump: ca. 10 KB pro Dokument im Index. Also für 1 Million Dokumente 10 GB
Orbiter
 
Beiträge: 5782
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Index exportieren, sharen, remixen!

Beitragvon LA_FORGE » Mo Jun 01, 2015 5:34 pm

Super klasse! Großartig gemacht! Vielen Dank!
LA_FORGE
 
Beiträge: 542
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Index exportieren, sharen, remixen!

Beitragvon Orbiter » Fr Jun 05, 2015 10:35 am

wir brauchen eine englische Wiki-Seite um das ganze besser bewerben zu können. https://twitter.com/yacy_search/status/ ... 5136626688
Hab ausserdem heute Morgen eine Änderung hochgeladen mit einer Änderung des Servlets: der Export ist nun nicht mehr im IndexControlURLs_p.html sondern in einem neuen Servlet IndexExport_p.html und prominenter verlinkt im Hauptmenü.

Kann jemand helfen eine englische Wiki-Seite zu machen? Das hier wäre auch guter Stoff um wieder mal ein Tutorial-Video zu machen.
Orbiter
 
Beiträge: 5782
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Index exportieren, sharen, remixen!

Beitragvon LA_FORGE » So Jun 07, 2015 2:56 pm

Ja klar!. Ich habe eine Kurzanleitung eingestellt.

@anderes Thema: Ich suche noch Hilfe hierbei.
LA_FORGE
 
Beiträge: 542
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Index exportieren, sharen, remixen!

Beitragvon Orbiter » Mi Jul 01, 2015 11:42 pm

Danke @LA_FORGE! Hab deine Anleitung schon letztens getwittert https://twitter.com/yacy_search/status/ ... 2931956736

Eine weitere Funktion habe ich eben eingecheckt: der Import kann nun auch lokal definierte Vokabularien nutzen, um mit diesen nachträglich Inhalte zu annotieren. Das ist wichtig weil importierte Dumps eben solche Vokabularien angeheftet haben können und bei einem Import zwar nützlich sein können, jedoch vom importierenden User nicht unbedingt gewollt sein können. Nun werden solche Navigationsmittel beim Import weggeworfen und durch eigene ersetzt. Das betrifft auch die Synonymdatenbank.
Orbiter
 
Beiträge: 5782
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Index exportieren, sharen, remixen!

Beitragvon promocore » Mo Feb 08, 2016 9:01 pm

Hallo, ich bin neu bei yacy und nutze es nun 2-3 Tagen. Gibt es noch Überlegungen zum Thema Index sharen?
Grad als Neuling dauert es doch einige Wochen, bis man ein etwas größeres Verzeichnis hat.
Mir würde da ein Indexshare auf jedenfall weiterhelfen.
promocore
 
Beiträge: 54
Registriert: Mo Feb 08, 2016 8:50 pm

Re: Index exportieren, sharen, remixen!

Beitragvon promocore » Mi Feb 10, 2016 12:26 am

Gibts denn überhaupt noch Interesse am sharen der Indexe?
Die Mittel hierfür könne ich bereitstellen. Dies macht aber ja nur Sinn, wenn jemand mit macht. ;)
promocore
 
Beiträge: 54
Registriert: Mo Feb 08, 2016 8:50 pm

Re: Index exportieren, sharen, remixen!

Beitragvon promocore » Do Feb 11, 2016 12:44 am

Ich hab jetzt einfach mal zum Testen meine Indexdatei veröffnentlicht (1,7 M)
Wer möchte, kann diese über meinen Tracker herunterladen und mit verteilen:
torrent download
Mal schauen was passiert....
Zuletzt geändert von promocore am Mi Feb 17, 2016 5:42 pm, insgesamt 2-mal geändert.
promocore
 
Beiträge: 54
Registriert: Mo Feb 08, 2016 8:50 pm

Re: Index exportieren, sharen, remixen!

Beitragvon bbtuxi » Sa Feb 13, 2016 1:45 pm

Ich lade es mal eben runter, hab zwar kein Yacy mehr laufen aber BitTorrent....
bbtuxi
 
Beiträge: 50
Registriert: Fr Jan 16, 2009 10:28 pm

Re: Index exportieren, sharen, remixen!

Beitragvon promocore » So Feb 14, 2016 12:14 pm

Ah super, bbtoxi.
Jetzt müssten nur noch anderen User auch die Index herunterladen:)
Leider ist bisher die Reaktion nicht groß.
Schön wäre es ja, wenn jemand anderes auch sein Index bereitstellen könnte.
Gibt es keinen, der dieses machen würde?
promocore
 
Beiträge: 54
Registriert: Mo Feb 08, 2016 8:50 pm

Re: Index exportieren, sharen, remixen!

Beitragvon ds810 » Mo Feb 15, 2016 10:49 pm

Ich verstehe den Sinn noch nicht ganz. Ich lasse ja den Server indexieren. Den Rest holt er sich mit der Zeit von den anderen Peers ab. Zusätzlich habe ich:
Code: Alles auswählen
Suchergebnis: crawl Links aller angezeigten Suchergebnisse

aktiviert.

Gruß
dS810
ds810
 
Beiträge: 52
Registriert: Mo Mär 16, 2015 8:03 pm
Wohnort: Fürth

Re: Index exportieren, sharen, remixen!

Beitragvon promocore » Di Feb 16, 2016 12:12 am

Wie genau Yacy vom Code her funktioniert, weiß ich nicht.
Ich würde aber sagen, dass das Yacy Netzwerk entlastet wird und freie Resourcen für andere Aufgaben frei werden, z.B. Verteilen der neuen Crawl Links.
Die atuelle gemeintschafliche Linksammlung wird größer, da die Dokumente eine höhere Redudanz haben.
Ein schnelleres Wachstum wäre demnach die Folge.

Ich selber habe z.B. einen höheren Upload, kann diesen aber nicht mit Yacy nutzen.
Wenn wir jetzt mit ein par Usern regelmäßig aktuelle Dokumenten-Torrents anbieten, hätte andere User eine nette Downloadquelle mit über 100Mbit.
promocore
 
Beiträge: 54
Registriert: Mo Feb 08, 2016 8:50 pm

Re: Index exportieren, sharen, remixen!

Beitragvon ds810 » Di Feb 16, 2016 12:57 am

Gut, schließe mich dem an.
ds810
 
Beiträge: 52
Registriert: Mo Mär 16, 2015 8:03 pm
Wohnort: Fürth

Re: Index exportieren, sharen, remixen!

Beitragvon promocore » Di Feb 16, 2016 3:04 pm

Super ds810,

möchtest du deinen Indexdatei auch sharen oder nur mitverteilen?
promocore
 
Beiträge: 54
Registriert: Mo Feb 08, 2016 8:50 pm

Re: Index exportieren, sharen, remixen!

Beitragvon promocore » Di Feb 16, 2016 6:07 pm

Ich habe einen neuen Thread aufgemacht mit allen Torrents, die Yacy betreffen.
Diese werde ich versuchen im ersten Post des Threads aktuell zu halten.

http://forum.yacy-websuche.de/viewtopic.php?f=15&t=5752
promocore
 
Beiträge: 54
Registriert: Mo Feb 08, 2016 8:50 pm

Re: Index exportieren, sharen, remixen!

Beitragvon Orbiter » Mi Feb 24, 2016 11:17 am

ich arbeite momentan an einem Automatismus, der einen Dump von alleine regelmäßig erstellt. Dabei wird im Dump nur das Delta von der Zeit des letzten Dumps bis zum aktuellen Zeitpunkt drin sein.
Ein weiterer Schrittt wäre es, diesen Dump automatisch per http freizugeben. Weitere Mechanismen kann dann jeder selber drüber bauen. Wie seht ihr das? Gibts was dagegen einzuwenden dass dies per default im p2p Netz freigegeben werden darf?
Orbiter
 
Beiträge: 5782
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Index exportieren, sharen, remixen!

Beitragvon promocore » Mi Feb 24, 2016 11:39 am

Hallo Orbiter,
Der Dump läge dann lokal beim User?

Generell wäre es gut, wenn man über die YaCy GUI irgendwie an externe Dumps kommen könnte.
Externe Quellen, wie die von mir angebotenen Torrent Downloads, werden aktuell nicht genutzt.
promocore
 
Beiträge: 54
Registriert: Mo Feb 08, 2016 8:50 pm

Re: Index exportieren, sharen, remixen!

Beitragvon Orbiter » Mi Feb 24, 2016 1:48 pm

der Dump würde automatisch ins http share gelegt werden. Bei einem Junior Peer bringt das nichts, ich überlege ob ich dafür eine API baue so dass ein Junior seinen Dump zu irgendeinem Senior pushen kann.
Orbiter
 
Beiträge: 5782
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Index exportieren, sharen, remixen!

Beitragvon promocore » Mi Feb 24, 2016 10:49 pm

Ich find die Idee gut!
promocore
 
Beiträge: 54
Registriert: Mo Feb 08, 2016 8:50 pm

Re: Index exportieren, sharen, remixen!

Beitragvon Orbiter » Do Feb 25, 2016 4:44 pm

Eine weitere offenen Frage ist, ob alle Senior peers auch den Index Upload per se akzeptieren sollen, ob hierfür die gleichen Regeln wie beim RWI upload gelten sollen oder ob das eine separate Konfiguration sein soll, die in der Netzdefinition eingestellt ist.

Eine noch weiter gehende Frage ist, wie ein remix dieser uploads dann erfolgen soll: sollen alle peers von allen anderen deren Index laden? Sicher nicht, das wäre eine komplett-Replikation. Aber für bestimmte kleinere Netze wäre das ggf. eine Option.
Orbiter
 
Beiträge: 5782
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Index exportieren, sharen, remixen!

Beitragvon promocore » Do Feb 25, 2016 5:27 pm

Wenn es geht, würde ich hierfür einen extra Punkt machen (default - on), da bei einem Voll Indexexport evt. teilweise Rückschlüsse auf die indexierten Inhalte der User geführt werden könnten. Vielleicht mag das der eine oder andere User nicht oder hat auch nur einfach Bedenken.

Zur Frage 2: Ich fänd es gut, wenn die User optional ihre Uploadgeschwindigkeit eintragen könnten und andere User diese für den Import sehen könnten, bzw den User für den Import dann auch direkt auswählen könnten.
Immerhin sind die Indexdaten relativ groß und ein User mit 128KB Upload wäre nicht der optimaler Partner.

Automatisiert würde meiner Meinung nach nur Sinn machen, wenn User mit einem schnellen Upload (z.B. Vdsl oder Server) global allen Usern den Index bereitstellt und nach und nach jeweils eine gewisse Anzahl Usern mit Indexdateien versorgt. Diese Funktion wäre dann default-off.

Edit: Eine weitere Idee wäre, dass alle User, die diese Globale Funktion einschalten, Dumps nur untereinander teilen und so eine kleinen Stamm an Usern bilden , die ein große Anzahl der Links beinhaltet und einen hohen Upload verfügen.
Also eine Replikation der Daten, jedoch beschränkt auf ein Teil der User.
promocore
 
Beiträge: 54
Registriert: Mo Feb 08, 2016 8:50 pm

Re: Index exportieren, sharen, remixen!

Beitragvon ds810 » Fr Feb 26, 2016 6:51 pm

promocore hat geschrieben:Super ds810,

möchtest du deinen Indexdatei auch sharen oder nur mitverteilen?


Ich verteile dein Index mit.
ds810
 
Beiträge: 52
Registriert: Mo Mär 16, 2015 8:03 pm
Wohnort: Fürth

Re: Index exportieren, sharen, remixen!

Beitragvon bbtuxi » Sa Feb 27, 2016 2:26 pm

Aber wenn man das ganze weiter spinnt , macht es da den RWI upload nicht überflüssig?

Kann man den normalen Austausch nicht irgendwie beschleunigen? Ich meine ich habe eine 3 Tb Festplatte und 10 mbit Upload, da könnte ich doch locker 2 TB an Index Daten innerhalb kurzer Zeit auf meinem Rechner speichern und nicht mühselig meine Kiste selber einen Index erstellen lassen.
bbtuxi
 
Beiträge: 50
Registriert: Fr Jan 16, 2009 10:28 pm

Re: Index exportieren, sharen, remixen!

Beitragvon promocore » So Feb 28, 2016 8:00 pm

Den Austausch zu beschleuningen wäre bestimmt auch eine gute Idee.
Könnte man sowas nicht über eine Preset-Auswahl machen?
- User mit hohen Upload und viel Festplattenspeicher
- User mit hohen Upload und wenig Festplattenspeicher
- usw.
promocore
 
Beiträge: 54
Registriert: Mo Feb 08, 2016 8:50 pm


Zurück zu Mitmachen

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast