Index Transfer beschleunigen

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Index Transfer beschleunigen

Beitragvon bluumi » Fr Nov 07, 2008 1:11 pm

Seit einigen Tagen versuche ich einen meiner Peers "abzugeben", ich möchte diesen nicht mehr an dem Standort (*) betreiben, sondern wollte das gecrawlte auf meinen anderen hinzufügen. Leider ist der Indextransfer sehr langsam und ich erkenne trotz "Delete Index = True" Einstellung keine Verkleinerung des Index (URL / Word) .. reduziert der IndexTransfer diese Werte gar nicht?
Ich habe einige Stunden mit "Chunk Size" ~7000-8000 zu yacy_suche_de übertragen können, doch trotzdem "Transfered Words" auf über 1'000'000 "Entries" war, sehe ich keine Veränderung der Zahlen .. jedenfalls keine deutliche Reduktion :) Beim Transfer kam zwischendurch auch brav "Running: Deleting chunk ZAHL" ...

Und als ich Heute erneut startete steht bei "Word Range" schon wieder "AAAAAA..AAAAAA" was für mich so aussieht als würde er von vorne beginnen.

Ach ja, die Frage :-D :-D - Gibt es eine einfache Möglichkeit den Index zu exportieren und bei der anderen Kiste aufzuspielen? eine USB Hdd hätte ich :)

(*) Grund, meine ArbeitsKiste ist zum arbeiten da :) und wegen des Speicherhungers (RAM/HDD) von Yacy zu lahm geworden. Auch sind mir die Daten zu heickel um die HDD mit häufigen HDD Zugriffe zu schrotten.

(Hab "meine" Frage grad "hier" nochmal gefunden .. leider keine Antwort) [Index komplett an andere Peers senden um Peer abzuschalten.]
bluumi
 
Beiträge: 388
Registriert: Mi Okt 08, 2008 7:27 am

Re: Index Transfer beschleunigen

Beitragvon Lotus » Fr Nov 07, 2008 2:02 pm

Was sich reduziert sind nur die Wörter.
Aus der Range AAA...-AAA... sollte er von selbst wieder raus kommen. Das sollte nur am Anfang sichtbar sein.
Der Transfer ist in der Tat etwas gemütlich. Den Performance-Killer sehe ich in der CPU-Belastung beim Löschen.

Zusammenführen zweier DBs gibt es derzeit nicht.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: Index Transfer beschleunigen

Beitragvon PCA42 » Fr Nov 07, 2008 4:01 pm

Bluumi, du versucht da gerade mehrere Gigabyte an Daten hochzuladen. Das dauert halt. Vor allen Dingen dann, wenn diese Daten auch systematisch und "nicht nur" als Fileupload laufen.
bluumi hat geschrieben:... Ich habe einige Stunden mit "Chunk Size" ~7000-8000 zu yacy_suche_de übertragen können ...

Ich hab den Transfer dann irgendwann auch unterbunden, da ich die Daten nicht für dich verteilen will. Schalte doch zunächst einfach DHT-In auf dem Peer aus und beschleunige den DHT-Out. Dann werden die Daten schon von selbst weniger. Falls du mal knackige Settings (hab die 1.000.000.000 RWI-Out innerhalb von 6 Wochen geknackt ;-)) haben willst, schick mir ne PM.
PCA42
 
Beiträge: 621
Registriert: Mi Jan 23, 2008 4:19 pm
Wohnort: @Home

Re: Index Transfer beschleunigen

Beitragvon bluumi » Fr Nov 07, 2008 8:07 pm

PCA42 hat geschrieben:mehrere Gigabyte an Daten hochzuladen. Ich hab den Transfer dann irgendwann auch unterbunden, da ich die Daten nicht für dich verteilen will. Schalte doch zunächst einfach DHT-In auf dem Peer aus

Wenn ich mich nicht irre hast Du doch einen root-Server, da würden die paar Daten nicht auffallen *duck*duck* ..
Wie gesagt wollte ich es ja zuerst meinem eigenen Peer senden, aber das ging langsamer als Quer durch internet .. :( ... Und da Du wohl keine 1-Tags Yacy Fliege bist, hat es Dich erwischt :) Hab nicht nur Dich probiert! Erst hatte ich noch Timeouts bei Apfelmännchen und kupferhammer
DHT-In habe ich bereits aus, aber das alleine bringt irgendwie kein vom Fleck tretten.

Lotus hat geschrieben:Was sich reduziert sind nur die Wörter.

http://www.yacystats.de/peer/sKnZAPtjfivM -- Dann schätze ich mein Peer versteht die Bedeutung vom Wort reduzieren noch nicht ;)
bluumi
 
Beiträge: 388
Registriert: Mi Okt 08, 2008 7:27 am

Re: Index Transfer beschleunigen

Beitragvon Orbiter » Fr Nov 07, 2008 8:49 pm

nur so als kleine Anmerkung zwischendurch - die Beschleunigung des Index Transfers für normales DHT transfer - steht auch auf meiner Wunschliste gerade ganz oben. Das ganze muss aber auf soliden Füssen stehen, d.h. ich denke über eine effiziente Lösung nach. Das ganze erfordert eine gewisse Integration des Konzeptes in die Konstruktion der Index-Speicherung, und ich will das gründlich durchdenken. Aaber es steht auf meiner 2do-Liste für 0.62. Bitte um ein wenig Geduld.
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Index Transfer beschleunigen

Beitragvon bluumi » Sa Nov 08, 2008 12:11 pm

Mir scheint da ist etwas faul bei meinem Peer mit dem DHT out
Code: Alles auswählen
I 2008/11/08 12:05:42 PLASMA Collecting DHT target peers for first_hash = BrUqgxAUq6yQ, last_hash = BzW4N-S5V2Y7
E 2008/11/08 12:05:42 PLASMA Index distribution failed. Too few peers (0) received the index, not deleted locally.
I 2008/11/08 12:05:47 PLASMA Collecting DHT target peers for first_hash = aEyFGvWZZbaA, last_hash = aOLYNwnzF5OL
E 2008/11/08 12:05:47 PLASMA Index distribution failed. Too few peers (0) received the index, not deleted locally.
I 2008/11/08 12:05:52 PLASMA Collecting DHT target peers for first_hash = yvxdB6As66xs, last_hash = y00UzIGQ1ktw
E 2008/11/08 12:05:52 PLASMA Index distribution failed. Too few peers (0) received the index, not deleted locally.

Das würd jedenfalls erklähren wieso die Werte nicht sinken, wenn der DHT-out nicht läuft ..
bluumi
 
Beiträge: 388
Registriert: Mi Okt 08, 2008 7:27 am

Re: Index Transfer beschleunigen

Beitragvon Lilirasa » Sa Nov 08, 2008 2:55 pm

bluumi hat geschrieben:Mir scheint da ist etwas faul bei meinem Peer mit dem DHT out


Hab bei meinem Peers unter ServerLog->Logstatistik etwas ganz ähnliches entdeckt:

Code: Alles auswählen

Chunks / Protokoll
**********************
Ausgehender Traffic:
    0 Bytes
Insgesamt gewählte Peers:
    0
DHT Distanz: Min/Durchschnitt/Max:
    1.0 / NaN / 0.0
Nicht genug Peers gefunden zur Verteilung:
    0
Beschäftigte Peers:
    0
Fehlgeschlagene Verteilung:
    0
Abgelehnte Index Empfänge:
    1840
Abgelehnte Index Empfänge von:
    49 peers

        * ( 9AOfCNgQ86A9 ) M13
        * ( C6JlR6qrgKzZ ) web20dude
        * ( JIK9-CRtn3yh ) Hermes
        * ( 7qA1Nh64G4Ya ) Hundeliebhaber
        * ( nVBwLbi06YDV ) fastbull-SE2
        * ( zRhD6xZsJxLY ) Pandora
        * ( KUZTZlfkiGqF ) Finwe-Carnesir
        * ( tIzl6p8cK0i- ) ramtamtam
        * ( pFhr0-Rk_BPF ) fss_i_yacy1
        * ( NVASXl84wB6z ) web20dude2
        * ( -vYz29UP7iuo ) neonknight
        * ( 6yZhefHGKBVN ) hohenberg
        * ( g80EU9npbEK9 ) koesterreich
        * ( YojFafAgitvs ) anilam_test
        * ( KdaVvz9Gj5Qi ) thecore-skynet-wh
        * ( 148qJoTxccAZ ) burkhardYACY
        * ( qAIVfS-qMrdN ) cb0_Snowball_I
        * ( Bi3rRmK72U3U ) luna-2
        * ( rRQ4gQddS6FJ ) schaeng
        * ( c4GOj4NApRRf ) doklages-1
        * ( 4OWxrtG7EneT ) anomica
        * ( SDDd7JlhUIO3 ) Vega-2
        * ( EqHshMHQRpQq ) xpcom-search
        * ( 1nsHvqS7cWv- ) BluumiONE
        * ( 8l-kykeCFNQR ) markusb1
        * ( b-mV7mkwVg3G ) hswt-yacy
        * ( vjb47pKoI2kQ ) ICSY
        * ( mz1Mdi18qhs1 ) YaCyRobBerlin
        * ( ZE6fdws0Ukxr ) cb0_MonaS
        * ( dOEqHknZNYzJ ) linux_01
        * ( TMbtczuZ-uqh ) phiber
        * ( H0JEGZQg1q54 ) jo1jo
        * ( WtK9FRWyub2K ) 23a5
        * ( wRGTtcaW5o5V ) KIT004F
        * ( x9QjqPIk9Y_Q ) KIT062F
        * ( THRtblGbjHQp ) abraxas
        * ( lav8cKXvMhdO ) yacy-suche_de
        * ( ILKnAGb2o5it ) henschi
        * ( sKnZAPtjfivM ) HuppisYaCyNotebook
        * ( iNo6DYZUrYhE ) lanthanide
        * ( oMGdcuFSRyua ) apfelmaennchen
        * ( 4tvV3f3Y6dvQ ) sixcooler2
        * ( vHMaw60XH0c4 ) freedom-16dpnw99
        * ( OdrHJVV9_7FH ) 4o4
        * ( AFvLF4GAUuq6 ) 192-168-123-106-761dpnw32
        * ( GxVMB2zYYGc- ) 23r5
        * ( wDNahEi_T5j4 ) rrzn1
        * ( DvgzXMfS8oDp ) dulcedo
        * ( KEdSkarhF-v6 ) cfr34x

Versandte Indexe an:
    1 peers

        * ( -UNRESOLVED_PATTERN- ) -UNRESOLVED_PATTERN-


Ranking Verteilung
**********************
Verschickte Ranking Dateien:
    0
Insgesamte Versandzeit der Ranking Dateien:
    0
Fehlgeschlagene Ranking Verteilung:
    5792


Und im Log sind solche Einträge zu finden:

Code: Alles auswählen
2008/11/08 16:26:22 PLASMA Rejecting RWIs from peer EqHshMHQRpQq:KIT062F/0.6120529. We are too busy (buffersize=10111).

I 2008/11/08 16:26:44 PLASMA RankingDistribution - error transmitting file /opt/yacy/DATA/RANKING/GLOBAL/010_owncr/CRG-A-20081014061318518.
6Sj4rBogB4.cr.gz to 78.42.34.158:8080: remote peer failed with transfer: denied

I 2008/11/08 16:26:45 PLASMA RankingDistribution - error transmitting file /opt/yacy/DATA/RANKING/GLOBAL/010_owncr/CRG-A-20081014061318518.
6Sj4rBogB4.cr.gz to 141.52.175.58:8080: remote peer failed with transfer: denied

E 2008/11/08 16:26:45 YACY yacyClient.permissionTransfer error:Connection refused

I 2008/11/08 16:26:45 PLASMA RankingDistribution - error transmitting file /opt/yacy/DATA/RANKING/GLOBAL/010_owncr/CRG-A-20081014061318518.
6Sj4rBogB4.cr.gz to 137.226.239.66:11001: no connection to remote address 137.226.239.66:11001; phase 1

I 2008/11/08 16:26:45 PLASMA RankingDistribution - error transmitting file /opt/yacy/DATA/RANKING/GLOBAL/010_owncr/CRG-A-20081014061318518.
6Sj4rBogB4.cr.gz to 141.52.175.25:8080: remote peer failed with transfer: denied

I 2008/11/08 16:26:47 PLASMA RankingDistribution - error transmitting file /opt/yacy/DATA/RANKING/GLOBAL/010_owncr/CRG-A-20081014061318518.
6Sj4rBogB4.cr.gz to yacy.kicks-ass.net:8080: remote peer failed with transfer: denied

I 2008/11/08 16:26:48 PLASMA RankingDistribution - error transmitting file /opt/yacy/DATA/RANKING/GLOBAL/010_owncr/CRG-A-20081023195251429.
DWNctz_qFX.cr.gz to 87.152.104.6:8080: remote peer failed with transfer: denied

I 2008/11/08 16:26:49 PLASMA RankingDistribution - error transmitting file /opt/yacy/DATA/RANKING/GLOBAL/010_owncr/CRG-A-20081023195251429.
DWNctz_qFX.cr.gz to 77.22.103.245:8080: remote peer failed with transfer: denied

Bei meinem 2en Peer sieht dies ganz ähnlich aus, beide sind svn 5303...

Grüsse
Andi
Lilirasa
 
Beiträge: 71
Registriert: So Sep 14, 2008 11:28 am

Re: Index Transfer beschleunigen

Beitragvon Lotus » Sa Nov 08, 2008 11:10 pm

Lilirasa hat geschrieben:Hab bei meinem Peers unter ServerLog->Logstatistik etwas ganz ähnliches entdeckt:

Es kann sein, dass die Statistik durch jüngste Änderungen teilweise defekt ist. Wird denn laut Log DHT versendet? Dann lohnt es sich einmal wieder die Auswertung zu erneuern.

Die Ranking Dateien haben nichts mit dem Index Transfer zu tun.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: Index Transfer beschleunigen

Beitragvon bluumi » Sa Nov 08, 2008 11:43 pm

Lotus hat geschrieben:Wird denn laut Log DHT versendet?

Vor dem Neustart [5318]
Code: Alles auswählen
I 2008/11/08 11:15:27 PLASMA Collecting DHT target peers for first_hash = 7IUn5ms3kuVc, last_hash = 70orV9OSYFbV
I 2008/11/08 11:15:27 PLASMA Selected  primary  DHT target peer lafkor:BghzkX8aqocZ, distance2first = 919198135521217488, distance2last = 819413363468805400


Nach Neustart [5321]
Code: Alles auswählen
I 2008/11/08 13:04:52 PLASMA Collecting DHT target peers for first_hash = y3n4-li5HTr2, last_hash = y_T585tEujhB
E 2008/11/08 13:04:52 PLASMA Index distribution failed. Too few peers (0) received the index, not deleted locally.
bluumi
 
Beiträge: 388
Registriert: Mi Okt 08, 2008 7:27 am

Re: Index Transfer beschleunigen

Beitragvon bluumi » Do Dez 11, 2008 8:08 am

http://www.yacystats.de/peer/sKnZAPtjfivM

Also das Abbauen klappt, trotz warten von einem Monat, nicht. Klar habe ich den Peer Remote Indexen lassen, denn diesen Rechner einfach nur laufen zu lassen weil die gute Stube so kalt und zum abbauen, war mir "zuwenig". Hätte jedoch nicht erwartet, dass es weiterhin nur zunimmt und nicht Abnimmt. von etwa 4 Mio bin ich nun auf 7 Mio Wörter. Gibt es wirklich Peer mit neueren SVN drauf, welche den Index abbauen?
bluumi
 
Beiträge: 388
Registriert: Mi Okt 08, 2008 7:27 am

Re: Index Transfer beschleunigen

Beitragvon Lotus » Do Dez 11, 2008 4:33 pm

Der Abbau funktioniert, ist zahlenmäßig aber nur zu beobachten, wenn Crawl und DHT-in nicht stattfindet.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 3 Gäste