Index Transfer geht nicht [rev 5934]

Ideen und Vorschläge sind willkommen.

Index Transfer geht nicht [rev 5934]

Beitragvon Low012 » Sa Mai 09, 2009 2:38 pm

Wenn ich die Index-Transfer-Seite aufrufe (http://localhost:8080/IndexTransfer_p.html), bekomme ich relativ viel -UNRESOLVED_PATTERN- zu sehen. Ich denke mal, das hängt mit dem neuen index zusammen, ich habe aber nicht genauer hingeschaut. Wenn das bis zum nächsten Release nicht repariert werden kann, wäre ich dafür, den Link auf diese Seite für das releas rauszunehmen und danach dann wieder für dei Developerversionen einzufügen, damit sich nicht die Leute, die selten im Forum sind, wundern, warum die Seite nicht funktioniert.
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: Index Transfer geht nicht [rev 5934]

Beitragvon Orbiter » Sa Mai 09, 2009 3:27 pm

ich hab eigentlich vor das ganz raus zu werfen, weil ein voller Index Transfer jetzt so laufen kann, dass man die Dateien einfach dazukopiert. Wäre das ok?
Orbiter
 
Beiträge: 5799
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Index Transfer geht nicht [rev 5934]

Beitragvon Low012 » Sa Mai 09, 2009 4:26 pm

Ich denke schon. Bei Bedarf könnten wir ja Servlets basteln, die komplette Dateien von einem Peer zu einem anderen übertragen bzw. Dateien anbieten, die man herunterladen kann. Wenn das jemand braucht...
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: Index Transfer geht nicht [rev 5934]

Beitragvon dulcedo » So Mai 10, 2009 6:26 am

Wäre praktisch weil nicht jeder eine shell für ein wget zur Verfügung hat. Im Zuge dessen vielleicht auch mal die Übertragung von Blacklisten prüfen, die funktioniert bei mir schon lange nicht mehr (p2p).
Gibt es im Wiki eine Anleitung/Douku zu dieser manuellen Index-Verschiebung, mir ist der Ablauf noch nicht ganz klar: nur physikalisch verschieben? Was passiert bei Kopie einer cell-Datei zu einem anderen Peer (ohne Löschung)?
dulcedo
 
Beiträge: 1006
Registriert: Do Okt 16, 2008 6:36 pm
Wohnort: Bei Karlsruhe

Re: Index Transfer geht nicht [rev 5934]

Beitragvon Low012 » So Mai 10, 2009 2:45 pm

dulcedo hat geschrieben:Im Zuge dessen vielleicht auch mal die Übertragung von Blacklisten prüfen, die funktioniert bei mir schon lange nicht mehr (p2p).

Was genau funktionier denn bei dir nicht? Ich habe es eben getestet und bis auf den "alles markieren"-Button hat es funktioniert. Ich habe Einträge vom Peer "Ananas" in meine Blacklist kopiert.
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: Index Transfer geht nicht [rev 5934]

Beitragvon thq » So Mai 10, 2009 4:23 pm

Wenn die wirklich einer benutzt sollte er die testen da mein Filter etwas anders arbeitet. Habe die heute etwas überarbeitet, ist aber bestimmt nicht mehr aktuell, aber schaden kann die bestimmt auch nicht ;)
thq
 
Beiträge: 651
Registriert: So Jul 08, 2007 12:23 pm

Re: Index Transfer geht nicht [rev 5934]

Beitragvon Orbiter » So Mai 10, 2009 10:02 pm

weil es wirklich völlig sinnlos ist, einen Index Transfer auf die alte Art zu machen wenn wir Index Segmente haben, habe ich nun das Feature entfernt anstatt es zu fixen. SVN 5945. Statt dessen sollten wir diesen Fall hier in die Wunschliste aufnehmen.
Eine Erklärung was wie zu verschieben ist bei einem manuellem Index Transfer ist im Commit Text.
Orbiter
 
Beiträge: 5799
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Index Transfer geht nicht [rev 5934]

Beitragvon dulcedo » Mo Mai 11, 2009 7:26 am

Low012 hat geschrieben:
dulcedo hat geschrieben:Im Zuge dessen vielleicht auch mal die Übertragung von Blacklisten prüfen, die funktioniert bei mir schon lange nicht mehr (p2p).

Was genau funktionier denn bei dir nicht? Ich habe es eben getestet und bis auf den "alles markieren"-Button hat es funktioniert. Ich habe Einträge vom Peer "Ananas" in meine Blacklist kopiert.

Sorry muss mich korrigieren, Im Oktober hatte es funktioniert, dann im Januar und Februar nochmal versucht, erfolglos. Jetzt geht es, hätte es nur wieder versuchen müssen.

Orbiter, danke für die Erklärung, ich kann also nur ganze Peers kopieren, richtig? Was passiert wenn ich den kopierten Peer einfach weiterlaufen lasse, er hat ja einen anderen Hash?
dulcedo
 
Beiträge: 1006
Registriert: Do Okt 16, 2008 6:36 pm
Wohnort: Bei Karlsruhe

Re: Index Transfer geht nicht [rev 5934]

Beitragvon Orbiter » Mo Mai 11, 2009 8:41 am

es geht hier bei diesem Bug/Feature darum, den kompletten Index zu transferrieren, nicht den kompletten Peer. Den Peer zu transferieren ist ja nie ein Zauberwerk gewesen, einfach DATA kopieren. Hier geht es nur um die Indexdaten+Metadata; wie es geht steht im Commit-Text. Wenn du den kopierten Peer weiterlaufen lassen willst kannst du das, was soll dich daran hindern? Es gibt aber nirgendswo einen Einfluss auf den Peer-Hash. Den gab es nicht bei dem ursprünglichen Feature 'Index Transfer' und auch nicht bei der alternativen Vorgehensweise mit dem Kopieren der Index-Daten.

Ich glaube die Frage kommt daher, dass du annimmst, die Indexdaten würden irgendwo deinen Peer-Hash beinhalten. Das ist natürlich nicht so. Nirgendswo steht bei Index-Daten drin wer den Index erzeugt hat oder aus welchen Kanälen er gekommen ist. Daher gibt es auch keine Wechselwirkung zwischen Peer und Indexdaten wenn man die Daten einfach dazukopiert und 'hinzumischt'.
Orbiter
 
Beiträge: 5799
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Index Transfer geht nicht [rev 5934]

Beitragvon dulcedo » Mo Mai 11, 2009 12:55 pm

Da habe ich mich unklar ausgedrückt: ich meinte wen ich die Indexdaten eines Peers nehme, auf einen anderen Peer kopiere und sie auch auf dem Ursprungspeer behalte (nicht lösche).
Dann sind die kopierten Indexdaten doch Duplikate im Gesamtindex?
dulcedo
 
Beiträge: 1006
Registriert: Do Okt 16, 2008 6:36 pm
Wohnort: Bei Karlsruhe

Re: Index Transfer geht nicht [rev 5934]

Beitragvon Orbiter » Mo Mai 11, 2009 1:19 pm

sicher!
Orbiter
 
Beiträge: 5799
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Index Transfer geht nicht [rev 5934]

Beitragvon bluumi » Fr Jun 19, 2009 7:39 pm

Hoi,

ich will 3 Peers "0.850/06091" zusammenführen und dann die zwei leistungsschwachen ausschalten. Stimmen die Angaben unten zur Rev.5945 auch noch für meine aktuelle? Oder müsste ich zum zusammenführen einen anderen Weg gehen?

..just copy the whole index files from the source to the target peer. To do this, copy all files from DATA/INDEX/<network>/TEXT/RICACHE and DATA/INDEX/<network>/TEXT/METADATA from the source to the destination peer.
Future versions of YaCy will have different file structures than given here


Falls man mir das be-jaen könnte, werde ich diese Aktion wohl an diesem Weekend ausführen. :)

ähm ...
"DATA/INDEX/<network>/TEXT/RICACHE" .. ich hab doch gar kein RICACHE .. Dann währ das nur das METADATA Verzeichniss ... Brauch ich denn keine der Blobbs aus dem RICELL ?
bluumi
 
Beiträge: 388
Registriert: Mi Okt 08, 2008 7:27 am

Re: Index Transfer geht nicht [rev 5934]

Beitragvon Orbiter » Fr Jun 19, 2009 10:08 pm

zu dem Zeitpunkt wo ich das geschrieben habe war die Aussage "Future versions of YaCy will have different file structures than given here" sehr wohl richtig, denn ich habe da noch herumexperimentiert. Das Experimentieren ist nun beendet nachdem es die RICELL gibt. Also alles wo oben RICACHE steht durch RICELL ersetzten. Trotzdem kann es in Zukunft zu einer Änderung der Verzeichnisstruktur kommen, denn es geht in die Richtung multi-Indexe, wo man dann in einem Netz mehrere Segmente haben kann. Dann wird hier wieder alles gemoved.
Orbiter
 
Beiträge: 5799
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Index Transfer geht nicht [rev 5934]

Beitragvon dulcedo » Sa Jun 20, 2009 5:58 am

bluumi, du kannst damit rechnen dass du nach dem merge etwas mehr Speicher für die Worte brauchst aber den selben Betrag wie auf den alten peers für die URLs. Die Performance war bei mir die selbe, egal ob 50 oder 80mio URLs. Währen des Merge brauchst du aber viel RAM, wenn du das bei deinem grossen peer machen möchtest auf alle Fälle 8GB. Dann hat es bei mir reibungslos geklappt, vorher sichern per gz ist allerdings immer gut.
dulcedo
 
Beiträge: 1006
Registriert: Do Okt 16, 2008 6:36 pm
Wohnort: Bei Karlsruhe

Re: Index Transfer geht nicht [rev 5934]

Beitragvon bluumi » Sa Jun 20, 2009 2:34 pm

dulcedo hat geschrieben:nach dem merge etwas mehr Speicher für die Worte brauchst aber den selben Betrag wie auf den alten peers für die URLs.
wenn du das bei deinem grossen peer machen möchtest auf alle Fälle 8GB.

Danke für den Erfahrungswert. Nein, ich will die 2 kleinsten XP-32Bit Peers (15+45mio URL) in den Win7-64 Bit Peer (42 Mio) integrieren, so dass ich dann nur noch zwei grosse Peers habe, den Linux mit 8GB und den Win7 mit momentan 3GB.
bluumi
 
Beiträge: 388
Registriert: Mi Okt 08, 2008 7:27 am


Zurück zu Wunschliste

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste

cron