DHT-Test

Ereignisse, Vorschläge und Aktionen

DHT-Test

Beitragvon Lotus » Di Mai 26, 2009 2:52 pm

Ich habe aus Neugier einmal lokal 3 Peers aufgesetzt.

Konfiguration:
Webportal-Definition mit DHT
de.anomic.yacy.yacySeedDB.dhtActivityMagic = 0
DHT-Delay 1ms
Cache auf 10000 und dann 200 heruntergesetzt.

yacy1: crawl gmx.net
yacy3: remote crawls
yacy2: keine remote crawls, als Crawls fertig waren nach GMX gesucht
Hier das Netzwerk:
network.png
network.png (1.33 KiB) 2624-mal betrachtet


Es hat eine Weile gedauert bis sich der DHT-Versand einigermaßen beruhigt hat.
Hier Logs gefiltert nach Received (400 Zeilen):


yacy1:
Code: Alles auswählen
I 2009/05/26 15:33:03 PLASMA Received 201 Entries 23 Words [I2S2bWM7VxkY .. MvLgJxF2kaqb]/2082736765969797108 from R7MQbbfmDWtl:yacy3/0.8100598, processed in 31 milliseconds, requesting 0/197 URLs, blocked 0 RWIs
I 2009/05/26 15:33:05 PLASMA Received 3 Entries 1 Words [FVeYtGM2xbiO .. FVeYtGM2xbiO]/2869205660469798728 from R7MQbbfmDWtl:yacy3/0.8100598, processed in 0 milliseconds, requesting 0/3 URLs, blocked 0 RWIs
I 2009/05/26 15:33:10 PLASMA Received 1 Entries 1 Words [FVhu8UpNuiZw .. FVhu8UpNuiZw]/2869087881938087184 from R7MQbbfmDWtl:yacy3/0.8100598, processed in 0 milliseconds, requesting 0/1 URLs, blocked 0 RWIs
I 2009/05/26 15:33:20 PLASMA Received 200 Entries 23 Words [I2S2bWM7VxkY .. MvM3uORTiZWE]/2082712695014904312 from R7MQbbfmDWtl:yacy3/0.8100598, processed in 0 milliseconds, requesting 0/198 URLs, blocked 0 RWIs
I 2009/05/26 15:33:25 PLASMA Received 239 Entries 53 Words [MvLgJxF2kaqb .. M-zttYn-ZWDZ]/1784921044853050464 from R7MQbbfmDWtl:yacy3/0.8100598, processed in 0 milliseconds, requesting 0/207 URLs, blocked 0 RWIs
I 2009/05/26 15:33:28 PLASMA Received 200 Entries 23 Words [I2S2bWM7VxkY .. OSNJ8OhGldnZ]/1971243596289052392 from R7MQbbfmDWtl:yacy3/0.8100598, processed in 0 milliseconds, requesting 0/198 URLs, blocked 0 RWIs
I 2009/05/26 15:33:31 PLASMA Received 240 Entries 54 Words [MvLgJxF2kaqb .. M-zttYn-ZWDZ]/1784921044853050464 from R7MQbbfmDWtl:yacy3/0.8100598, processed in 16 milliseconds, requesting 0/207 URLs, blocked 0 RWIs


yacy2:
Code: Alles auswählen
I 2009/05/26 15:28:32 PLASMA Received 1 Entries 1 Words [Y5D6G1ygl4tN .. Y5D6G1ygl4tN]/-3167827547658746832 from ZPqHZcrmFELw:yacy1/0.8100598, processed in 0 milliseconds, requesting 0/1 URLs, blocked 0 RWIs
I 2009/05/26 15:28:33 PLASMA Received 1 Entries 1 Words [x6WQ5dbXTHyk .. x6WQ5dbXTHyk]/2449767139343542712 from R7MQbbfmDWtl:yacy3/0.8100598, processed in 0 milliseconds, requesting 0/1 URLs, blocked 0 RWIs
I 2009/05/26 15:28:33 PLASMA Received 1 Entries 1 Words [dd25B_vGPMgU .. dd25B_vGPMgU]/-3827146904860905072 from R7MQbbfmDWtl:yacy3/0.8100598, processed in 0 milliseconds, requesting 0/1 URLs, blocked 0 RWIs
I 2009/05/26 15:28:33 PLASMA Received 1 Entries 1 Words [ZRhDIcNAtNVl .. ZRhDIcNAtNVl]/-3222896051525880440 from R7MQbbfmDWtl:yacy3/0.8100598, processed in 0 milliseconds, requesting 0/1 URLs, blocked 0 RWIs
I 2009/05/26 15:28:35 PLASMA Received 1 Entries 1 Words [SfsfKifGGKR_ .. SfsfKifGGKR_]/-2246017371665349728 from ZPqHZcrmFELw:yacy1/0.8100598, processed in 0 milliseconds, requesting 0/1 URLs, blocked 0 RWIs
I 2009/05/26 15:28:35 PLASMA Received 6 Entries 1 Words [qMIqCzrg821S .. qMIqCzrg821S]/3562635004321879616 from R7MQbbfmDWtl:yacy3/0.8100598, processed in 0 milliseconds, requesting 0/6 URLs, blocked 0 RWIs
I 2009/05/26 15:28:35 PLASMA Received 240 Entries 54 Words [MvLgJxF2kaqb .. M-zttYn-ZWDZ]/-1433790411510541776 from R7MQbbfmDWtl:yacy3/0.8100598, processed in 0 milliseconds, requesting 0/207 URLs, blocked 0 RWIs
I 2009/05/26 15:28:38 PLASMA Received 1 Entries 1 Words [Y5D6G1ygl4tN .. Y5D6G1ygl4tN]/-3167827547658746832 from R7MQbbfmDWtl:yacy3/0.8100598, processed in 0 milliseconds, requesting 0/1 URLs, blocked 0 RWIs
I 2009/05/26 15:28:38 PLASMA Received 3 Entries 1 Words [jtldoSMG9SHX .. jtldoSMG9SHX]/4496118405113795936 from R7MQbbfmDWtl:yacy3/0.8100598, processed in 0 milliseconds, requesting 0/3 URLs, blocked 0 RWIs
I 2009/05/26 15:28:38 PLASMA Received 1 Entries 1 Words [8j1rVDhO_LlZ .. 8j1rVDhO_LlZ]/915186219997155736 from R7MQbbfmDWtl:yacy3/0.8100598, processed in 0 milliseconds, requesting 0/1 URLs, blocked 0 RWIs
I 2009/05/26 15:28:38 PLASMA Received 1 Entries 1 Words [SfsfKifGGKR_ .. SfsfKifGGKR_]/-2246017371665349728 from R7MQbbfmDWtl:yacy3/0.8100598, processed in 0 milliseconds, requesting 0/1 URLs, blocked 0 RWIs
I 2009/05/26 15:28:38 PLASMA Received 3 Entries 1 Words [ZTdItpsaU7DI .. ZTdItpsaU7DI]/-3227261982082226664 from R7MQbbfmDWtl:yacy3/0.8100598, processed in 0 milliseconds, requesting 0/3 URLs, blocked 0 RWIs
I 2009/05/26 15:28:38 PLASMA Received 1 Entries 1 Words [gtu4y5oNuKx9 .. gtu4y5oNuKx9]/-4295239661461965920 from R7MQbbfmDWtl:yacy3/0.8100598, processed in 0 milliseconds, requesting 0/1 URLs, blocked 0 RWIs
I 2009/05/26 15:28:38 PLASMA Received 1 Entries 1 Words [pHulSDjS_zu9 .. pHulSDjS_zu9]/3716674803126587480 from R7MQbbfmDWtl:yacy3/0.8100598, processed in 0 milliseconds, requesting 0/1 URLs, blocked 0 RWIs
I 2009/05/26 15:30:09 PLASMA Received 1 Entries 1 Words [Zc0sXSii9kK5 .. Zc0sXSii9kK5]/-3248357020086479664 from R7MQbbfmDWtl:yacy3/0.8100598, processed in 0 milliseconds, requesting 0/1 URLs, blocked 0 RWIs
I 2009/05/26 15:30:11 PLASMA Received 1 Entries 1 Words [ZekmRh9yxLHP .. ZekmRh9yxLHP]/-3252294321756344936 from R7MQbbfmDWtl:yacy3/0.8100598, processed in 0 milliseconds, requesting 0/1 URLs, blocked 0 RWIs
I 2009/05/26 15:30:16 PLASMA Received 1 Entries 1 Words [ZatG1Sqgn8dl .. ZatG1Sqgn8dl]/-3243586496848297968 from ZPqHZcrmFELw:yacy1/0.8100598, processed in 0 milliseconds, requesting 0/1 URLs, blocked 0 RWIs
I 2009/05/26 15:30:17 PLASMA Received 6 Entries 1 Words [ZelWpAX9crtx .. ZelWpAX9crtx]/-3252320911685314920 from R7MQbbfmDWtl:yacy3/0.8100598, processed in 0 milliseconds, requesting 0/6 URLs, blocked 0 RWIs
I 2009/05/26 15:30:21 PLASMA Received 3 Entries 1 Words [ZbfrlsCYPeZ2 .. ZbfrlsCYPeZ2]/-3245365922384400128 from ZPqHZcrmFELw:yacy1/0.8100598, processed in 0 milliseconds, requesting 0/3 URLs, blocked 0 RWIs
I 2009/05/26 15:30:28 PLASMA Received 5 Entries 1 Words [a8JPwatlCyW0 .. a8JPwatlCyW0]/-3463001147127084448 from ZPqHZcrmFELw:yacy1/0.8100598, processed in 0 milliseconds, requesting 0/5 URLs, blocked 0 RWIs


yacy3:
Code: Alles auswählen
I 2009/05/26 15:32:07 PLASMA Received 1 Entries 1 Words [PxacOoQYxTjd .. PxacOoQYxTjd]/310249305965765656 from ZPqHZcrmFELw:yacy1/0.8100598, processed in 0 milliseconds, requesting 0/1 URLs, blocked 0 RWIs
I 2009/05/26 15:32:24 PLASMA Received 201 Entries 23 Words [I2S2bWM7VxkY .. MvLgJxF2kaqb]/1027843886825245828 from ZPqHZcrmFELw:yacy1/0.8100598, processed in 0 milliseconds, requesting 0/197 URLs, blocked 0 RWIs
I 2009/05/26 15:32:24 PLASMA Received 3 Entries 1 Words [FVeYtGM2xbiO .. FVeYtGM2xbiO]/1814312781325247448 from ZPqHZcrmFELw:yacy1/0.8100598, processed in 0 milliseconds, requesting 0/3 URLs, blocked 0 RWIs
I 2009/05/26 15:32:24 PLASMA Received 238 Entries 53 Words [MvM3uORTiZWE .. M-zttYn-ZWDZ]/730004094753606388 from ZPqHZcrmFELw:yacy1/0.8100598, processed in 0 milliseconds, requesting 0/205 URLs, blocked 0 RWIs
I 2009/05/26 15:32:27 PLASMA Received 49 Entries 22 Words [FVhu8UpNuiZw .. PxacOoQYxTjd]/1062222154379650780 from ZPqHZcrmFELw:yacy1/0.8100598, processed in 0 milliseconds, requesting 0/46 URLs, blocked 0 RWIs
I 2009/05/26 15:33:14 PLASMA Received 203 Entries 24 Words [FVeYtGM2xbiO .. JG5RNRrUYQH_]/1542497975567138052 from ZPqHZcrmFELw:yacy1/0.8100598, processed in 0 milliseconds, requesting 0/200 URLs, blocked 0 RWIs
I 2009/05/26 15:33:24 PLASMA Received 201 Entries 23 Words [I2S2bWM7VxkY .. MvLgJxF2kaqb]/1027843886825245828 from ZPqHZcrmFELw:yacy1/0.8100598, processed in 0 milliseconds, requesting 0/197 URLs, blocked 0 RWIs
I 2009/05/26 15:33:29 PLASMA Received 240 Entries 54 Words [MvLgJxF2kaqb .. M-zttYn-ZWDZ]/730028165708499184 from ZPqHZcrmFELw:yacy1/0.8100598, processed in 0 milliseconds, requesting 0/207 URLs, blocked 0 RWIs


Da wird ganz schön viel im Kreis geschickt.
MvLgJxF2kaqb .. M-zttYn-ZWDZ
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: DHT-Test

Beitragvon Orbiter » Di Mai 26, 2009 3:36 pm

schönes Experiment!
Hast du diesen Wert benutzt?
network.unit.dht.partitionExponent = 4
das funktioniert nicht bei 3 Peers. Da würde ich
network.unit.dht.partitionExponent = 0
setzen, also eine flat-DHT. Eine partitionExponent = 4 setzt ja vorraus, das die Anzahl der Peers über 2^^4 * Redundanz = 48 liegt. Im freeworld haut das gerade so hin.

Ansonsten würde ich vorschlagen: Redundanz = 0, und partitionExponent = 0
Orbiter
 
Beiträge: 5796
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: DHT-Test

Beitragvon Lotus » Di Mai 26, 2009 7:49 pm

Orbiter hat geschrieben:Ansonsten würde ich vorschlagen: Redundanz = 0, und partitionExponent = 0

Ich habe nur DHT in der Webportal.unit eingeschaltet.

network.unit.dhtredundancy.junior = 1
network.unit.dhtredundancy.senior = 1
network.unit.dht.partitionExponent = 0

Ich werde das vielleicht schon morgen vormittag noch einmal mit Redundanz 0 versuchen. Klar, dass er dann öfter verschickt. Ich dachte 1 sei 1 mal versenden.
Aber da das Standard im Freeworld ist fehlt da vielleicht noch eine Logik "nicht versenden wenn es keine x (redundanz) besseren gibt als mich". Damit es nicht immer wieder zurück kommt. Das hat den Nachteil dass optimal passende Daten die bisher nur auf einem Peer vorhanden sind evtl nicht weiter redundant verteilt werden. Da wäre dann eine Markierung für "mein Bereich" sinnvoll der nur zyklisch verteilt wird. Das wäre dann vielleicht ein erster Anwendungsfall für mehrere Indexe, der dafür dringend benötigt wird.

Was noch eine Hürde war, dass lokale IPs für Peers abgelehnt werden. Ich habe yacyDebug (oder ähnlich) auf true gesetzt und konnte dann die IP der Netzwerkkarte benutzen.
Eine weitere Hürde war den Peer-Hash herauszufinden um die Peers zu verbinden. Ich habe den am schnellsten über den Profil-Link in der Netzwerkübersicht gefunden.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: DHT-Test

Beitragvon Lotus » Do Mai 28, 2009 4:06 pm

Redundanz=0 war eine Schnapsidee. Dann wird gar nichts versendet und er ist in einem Loop gefangen. (BUG!?)
Code: Alles auswählen
I 2009/05/28 17:02:53 INDEX-TRANSFER-DISPATCHER STORE: Chunk HZOp8pDz6L__ has failed to transmit index; marked peer as busy
I 2009/05/28 17:02:53 INDEX-TRANSFER-DISPATCHER STORE: Chunk hbKYsmIpGa__ has failed to transmit index; marked peer as busy
usw

Insofern lag ich mit meiner Vermutung richtig, dass das die Anzahl der Peers ist an die versendet wird.

Ansonsten ist das Netzwerk eine Webportal-Definition mit eingeschaltetem DHT.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: DHT-Test

Beitragvon Lotus » Do Mai 28, 2009 4:28 pm

Nochmal wie Test 1, diesmal Crawl nur auf yacy1 als Robinson, dann DHT-Versand eingeschaltet. Cache 1000.
yacy1 bekommt nahezu sofort Daten von yacy2 und yacy3 zurück.

Nach 5 Min:
5min.png
5min.png (3.71 KiB) 2511-mal betrachtet

Die Counter habe ich vorher auf 0 zurück gesetzt.
Und während ich das hier schreibe haben sich die Werte verdoppelt.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: DHT-Test

Beitragvon Lotus » Fr Mai 29, 2009 1:38 pm

Mir ist noch ein Test eingefallen.
Peer-Hashes 000..01 bis ..03 (wie die Peernamen)
Peer 01 verteilt die Daten.
test2.png
test2.png (3.79 KiB) 2476-mal betrachtet


Auffälligkeiten im Log
Peer01:
Code: Alles auswählen
I 2009/05/29 14:23:37 PLASMA dhtTransferJob: selected sc8OqpVcn910 as start hash
I 2009/05/29 14:23:37 PLASMA dhtTransferJob: selected 000000000002 as limit hash

Peer02:
Code: Alles auswählen
I 2009/05/29 14:24:22 PLASMA dhtTransferJob: selected nrpJE72q_jBw as start hash
I 2009/05/29 14:24:22 PLASMA dhtTransferJob: selected 000000000001 as limit hash

Peer03:
Code: Alles auswählen
I 2009/05/29 14:23:47 PLASMA dhtTransferJob: selected I920swuwdSI2 as start hash
I 2009/05/29 14:23:47 PLASMA dhtTransferJob: selected 000000000001 as limit hash
I 2009/05/29 14:23:47 INDEX-TRANSFER-DISPATCHER selectContainersToCache: selectedContainerCache was filled with 0 entries
I 2009/05/29 14:23:47 INDEX-TRANSFER-DISPATCHER splitContainersFromCache: selectedContainerCache is empty, cannot do anything here.
I 2009/05/29 14:23:47 PLASMA dhtTransferJob: result from enqueueing: false
I 2009/05/29 14:23:47 PLASMA dhtTransferJob: result from dequeueing: false


Peer03 verschickt nur für die ersten Minuten. Peer 01 und 02 schicken sich ständig Daten zu.

Das scheint mir ein Beweis, dass ein Peer sich gar nicht für seine Worte zuständig fühlt.
vgl. viewtopic.php?p=13051#p13051
Es blieben immer ~100 Wörter zurück, weil nur bis unter 100 Wörter verschickt wird. (Es gibt da eine lange Check-Funktion wo das mit drin ist, die finde ich gerade nicht.) Edit: de.anomic.plasma.plasmaSwitchboard.dhtShallTransfer()
Seit dem Verdacht habe ich auch meinen always-on Peer abgeschaltet weil mir das komisch vorkam.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: DHT-Test

Beitragvon Orbiter » Fr Mai 29, 2009 2:20 pm

die peer-hashes sind ja ziemlich krass gewählt, da sind die ja quasi alle an der gleichen DHT-Position. Warum hast du die nicht im Abstand von 120 Grad gewählt, also bsp.
AAAAAAAAAAAA
VAAAAAAAAAAA
pAAAAAAAAAAA

Dass die sich ständig was zuschicken ist ja kein Beleg dafür das sie sich nichts behalten. Warum schliesst du also darauf, dass sich keiner für Worte zuständig fühlt? Ich will ja nicht sagen das hier kein Bug ist, im Gegenteil, hier muss man schauen dass kein Bug da ist, aber die Argumentation ist nicht zielführend.
Orbiter
 
Beiträge: 5796
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: DHT-Test

Beitragvon Lotus » Fr Mai 29, 2009 5:43 pm

Orbiter hat geschrieben:Dass die sich ständig was zuschicken ist ja kein Beleg dafür das sie sich nichts behalten. Warum schliesst du also darauf, dass sich keiner für Worte zuständig fühlt? Ich will ja nicht sagen das hier kein Bug ist, im Gegenteil, hier muss man schauen dass kein Bug da ist, aber die Argumentation ist nicht zielführend.

Wenn sie unmittelbar nebeneinander liegen sollte genau ein Peer am nächsten am Ziel-Hash sein. Nämlich die beiden äußeren. Aber wenn die sich dauernd Daten zuschicken sagt mir mein Verstand, dass das nicht logisch ist. Und hier empfängt sogar der mittlere Peer fleißig die Daten. Der ist nur für Ein Wort zuständig.


Nächster Test:
Orbiter hat geschrieben:AAAAAAAAAAAA yacy1
VAAAAAAAAAAA yacy2
pAAAAAAAAAAA yacy3

yacy1 hat wieder die Daten
test120grad.png
test120grad.png (3.72 KiB) 2432-mal betrachtet

Auffällig auch hier, dass yacy1 laufend Received Words hinzubekommt.

yacy1:
Code: Alles auswählen
I 2009/05/29 18:41:48 PLASMA Received 1 Entries 1 Words [5aY5M71XyEnn .. 5aY5M71XyEnn]/949383649253661664 from VAAAAAAAAAAA:yacy2/0.8100598, processed in 0 milliseconds, requesting 0/1 URLs, blocked 0 RWIs
I 2009/05/29 18:41:48 PLASMA Received 2 Entries 1 Words [5aldyD_Yp6Kj .. 5aldyD_Yp6Kj]/948941326656973872 from VAAAAAAAAAAA:yacy2/0.8100598, processed in 0 milliseconds, requesting 0/2 URLs, blocked 0 RWIs
I 2009/05/29 18:41:58 PLASMA Received 1 Entries 1 Words [pAOm8bE5NE8k .. pAOm8bE5NE8k]/3314135334784296416 from VAAAAAAAAAAA:yacy2/0.8100598, processed in 0 milliseconds, requesting 0/1 URLs, blocked 0 RWIs
I 2009/05/29 18:42:01 PLASMA Received 3 Entries 1 Words [fYe4bc_DJlfE .. fYe4bc_DJlfE]/-4522700579186774824 from pAAAAAAAAAAA:yacy3/0.8100598, processed in 0 milliseconds, requesting 0/3 URLs, blocked 0 RWIs
I 2009/05/29 18:42:01 PLASMA Received 2 Entries 1 Words [fYlJvL-FBn_O .. fYlJvL-FBn_O]/-4522921200783098680 from pAAAAAAAAAAA:yacy3/0.8100598, processed in 0 milliseconds, requesting 0/2 URLs, blocked 0 RWIs
I 2009/05/29 18:42:01 PLASMA Received 2 Entries 1 Words [bs5D8lsc6Xff .. bs5D8lsc6Xff]/-3992196948782118072 from pAAAAAAAAAAA:yacy3/0.8100598, processed in 0 milliseconds, requesting 0/2 URLs, blocked 0 RWIs
I 2009/05/29 18:42:01 PLASMA Received 33 Entries 1 Words [btKIhscZgV2H .. btKIhscZgV2H]/-3992797600864321704 from pAAAAAAAAAAA:yacy3/0.8100598, processed in 0 milliseconds, requesting 0/33 URLs, blocked 0 RWIs
I 2009/05/29 18:42:06 PLASMA Received 1 Entries 1 Words [cYD-BgEyfy4Y .. cYD-BgEyfy4Y]/-4089408112524083088 from pAAAAAAAAAAA:yacy3/0.8100598, processed in 0 milliseconds, requesting 0/1 URLs, blocked 0 RWIs
I 2009/05/29 18:42:09 PLASMA Received 2 Entries 1 Words [btVReig5tZ5g .. btVReig5tZ5g]/-3993189549657086664 from pAAAAAAAAAAA:yacy3/0.8100598, processed in 0 milliseconds, requesting 0/2 URLs, blocked 0 RWIs
I 2009/05/29 18:42:09 PLASMA Received 1 Entries 1 Words [btqcxxht05us .. btqcxxht05us]/-3993934634008635848 from pAAAAAAAAAAA:yacy3/0.8100598, processed in 0 milliseconds, requesting 0/1 URLs, blocked 0 RWIs
I 2009/05/29 18:42:09 PLASMA Received 4 Entries 1 Words [btwLV3EivH7h .. btwLV3EivH7h]/-3994136154618289720 from pAAAAAAAAAAA:yacy3/0.8100598, processed in 0 milliseconds, requesting 0/4 URLs, blocked 0 RWIs
I 2009/05/29 18:42:09 PLASMA Received 1 Entries 1 Words [bvS_MMgQeQ7_ .. bvS_MMgQeQ7_]/-3997612727362665600 from pAAAAAAAAAAA:yacy3/0.8100598, processed in 0 milliseconds, requesting 0/1 URLs, blocked 0 RWIs
I 2009/05/29 18:42:09 PLASMA Received 3 Entries 1 Words [bvWPGATN1FaP .. bvWPGATN1FaP]/-3997727023394384424 from pAAAAAAAAAAA:yacy3/0.8100598, processed in 0 milliseconds, requesting 0/3 URLs, blocked 0 RWIs
I 2009/05/29 18:42:09 PLASMA Received 3 Entries 1 Words [g-mQmZ0OW72R .. g-mQmZ0OW72R]/4470728297864024616 from pAAAAAAAAAAA:yacy3/0.8100598, processed in 0 milliseconds, requesting 0/3 URLs, blocked 0 RWIs
I 2009/05/29 18:42:09 PLASMA Received 57 Entries 1 Words [g-spZZ6CHk-a .. g-spZZ6CHk-a]/4470503559393112288 from pAAAAAAAAAAA:yacy3/0.8100598, processed in 0 milliseconds, requesting 0/57 URLs, blocked 0 RWIs
I 2009/05/29 18:42:09 PLASMA Received 2 Entries 1 Words [g-t90R-9tagy .. g-t90R-9tagy]/4470457149039912240 from pAAAAAAAAAAA:yacy3/0.8100598, processed in 0 milliseconds, requesting 0/2 URLs, blocked 0 RWIs
I 2009/05/29 18:42:09 PLASMA Received 1 Entries 1 Words [lLDLnqppUWr7 .. lLDLnqppUWr7]/3866228338935420752 from pAAAAAAAAAAA:yacy3/0.8100598, processed in 0 milliseconds, requesting 0/1 URLs, blocked 0 RWIs
I 2009/05/29 18:42:09 PLASMA Received 1 Entries 1 Words [lLNbe8RyVQ2M .. lLNbe8RyVQ2M]/3865867774065038720 from pAAAAAAAAAAA:yacy3/0.8100598, processed in 0 milliseconds, requesting 0/1 URLs, blocked 0 RWIs
I 2009/05/29 18:42:09 PLASMA Received 2 Entries 1 Words [lLN6CVg9sjqy .. lLN6CVg9sjqy]/3865850977355638504 from pAAAAAAAAAAA:yacy3/0.8100598, processed in 0 milliseconds, requesting 0/2 URLs, blocked 0 RWIs
I 2009/05/29 18:42:14 PLASMA Received 1 Entries 1 Words [aohMnacO6Ww5 .. aohMnacO6Ww5]/-3838234902424679600 from pAAAAAAAAAAA:yacy3/0.8100598, processed in 0 milliseconds, requesting 0/1 URLs, blocked 0 RWIs
I 2009/05/29 18:42:14 PLASMA Received 5 Entries 1 Words [aokwCHQ0CI56 .. aokwCHQ0CI56]/-3838359926348579904 from pAAAAAAAAAAA:yacy3/0.8100598, processed in 0 milliseconds, requesting 0/5 URLs, blocked 0 RWIs
I 2009/05/29 18:42:14 PLASMA Received 2 Entries 1 Words [aoytBB6pgWIc .. aoytBB6pgWIc]/-3838850848982876336 from pAAAAAAAAAAA:yacy3/0.8100598, processed in 0 milliseconds, requesting 0/2 URLs, blocked 0 RWIs
I 2009/05/29 18:42:14 PLASMA Received 1 Entries 1 Words [WqPyyKyjVC5l .. WqPyyKyjVC5l]/-3265665414160558608 from pAAAAAAAAAAA:yacy3/0.8100598, processed in 0 milliseconds, requesting 0/1 URLs, blocked 0 RWIs
I 2009/05/29 18:42:14 PLASMA Received 1 Entries 1 Words [WqS0mwo-g87z .. WqS0mwo-g87z]/-3265771968789430752 from pAAAAAAAAAAA:yacy3/0.8100598, processed in 0 milliseconds, requesting 0/1 URLs, blocked 0 RWIs
I 2009/05/29 18:42:14 PLASMA Received 1 Entries 1 Words [WqUddfQQlDLY .. WqUddfQQlDLY]/-3265829613506939416 from pAAAAAAAAAAA:yacy3/0.8100598, processed in 0 milliseconds, requesting 0/1 URLs, blocked 0 RWIs
I 2009/05/29 18:42:14 PLASMA Received 1 Entries 1 Words [erw3YTGBBGJN .. erw3YTGBBGJN]/-4422002329415352880 from pAAAAAAAAAAA:yacy3/0.8100598, processed in 0 milliseconds, requesting 0/1 URLs, blocked 0 RWIs
I 2009/05/29 18:42:14 PLASMA Received 1 Entries 1 Words [er3q3w6okIBv .. er3q3w6okIBv]/-4422241743485028416 from pAAAAAAAAAAA:yacy3/0.8100598, processed in 0 milliseconds, requesting 0/1 URLs, blocked 0 RWIs
I 2009/05/29 18:42:14 PLASMA Received 1 Entries 1 Words [er8Frvhbz990 .. er8Frvhbz990]/-4422397221114079208 from pAAAAAAAAAAA:yacy3/0.8100598, processed in 0 milliseconds, requesting 0/1 URLs, blocked 0 RWIs
I 2009/05/29 18:42:21 PLASMA Received 3 Entries 1 Words [6_5KBkjQalEi .. 6_5KBkjQalEi]/720816719930051288 from VAAAAAAAAAAA:yacy2/0.8100598, processed in 0 milliseconds, requesting 0/3 URLs, blocked 0 RWIs
I 2009/05/29 18:42:21 PLASMA Received 9 Entries 1 Words [6_-mRI2STtYu .. 6_-mRI2STtYu]/720625271186053272 from VAAAAAAAAAAA:yacy2/0.8100598, processed in 0 milliseconds, requesting 0/9 URLs, blocked 0 RWIs
I 2009/05/29 18:42:21 PLASMA Received 1 Entries 1 Words [7ACvGSo5CjIj .. 7ACvGSo5CjIj]/720479679070567144 from VAAAAAAAAAAA:yacy2/0.8100598, processed in 0 milliseconds, requesting 0/1 URLs, blocked 0 RWIs
I 2009/05/29 18:42:29 PLASMA Received 1 Entries 1 Words [mX-UvMtGThj0 .. mX-UvMtGThj0]/3693010662639589624 from pAAAAAAAAAAA:yacy3/0.8100598, processed in 0 milliseconds, requesting 0/1 URLs, blocked 0 RWIs
I 2009/05/29 18:42:29 PLASMA Received 21 Entries 1 Words [mX9rBU0xJS3- .. mX9rBU0xJS3-]/3693033596675124592 from pAAAAAAAAAAA:yacy3/0.8100598, processed in 0 milliseconds, requesting 0/21 URLs, blocked 0 RWIs
I 2009/05/29 18:42:29 PLASMA Received 1 Entries 1 Words [mYAzpMuHMMRH .. mYAzpMuHMMRH]/3692923303002662816 from pAAAAAAAAAAA:yacy3/0.8100598, processed in 0 milliseconds, requesting 0/1 URLs, blocked 0 RWIs
I 2009/05/29 18:42:29 PLASMA Received 1 Entries 1 Words [knlzktOft7Px .. knlzktOft7Px]/3946074898768602152 from pAAAAAAAAAAA:yacy3/0.8100598, processed in 0 milliseconds, requesting 0/1 URLs, blocked 0 RWIs
I 2009/05/29 18:42:29 PLASMA Received 1 Entries 1 Words [knqDM9fNSYU_ .. knqDM9fNSYU_]/3945925569163123520 from pAAAAAAAAAAA:yacy3/0.8100598, processed in 0 milliseconds, requesting 0/1 URLs, blocked 0 RWIs
I 2009/05/29 18:42:32 PLASMA Received 2 Entries 1 Words [nd7Z25xa0M1f .. nd7Z25xa0M1f]/3535487413840418720 from pAAAAAAAAAAA:yacy3/0.8100598, processed in 0 milliseconds, requesting 0/2 URLs, blocked 0 RWIs
I 2009/05/29 18:42:37 PLASMA Received 1 Entries 1 Words [aohMnacO6Ww5 .. aohMnacO6Ww5]/-3838234902424679600 from pAAAAAAAAAAA:yacy3/0.8100598, processed in 0 milliseconds, requesting 0/1 URLs, blocked 0 RWIs
I 2009/05/29 18:42:37 PLASMA Received 5 Entries 1 Words [aokwCHQ0CI56 .. aokwCHQ0CI56]/-3838359926348579904 from pAAAAAAAAAAA:yacy3/0.8100598, processed in 0 milliseconds, requesting 0/5 URLs, blocked 0 RWIs
I 2009/05/29 18:42:37 PLASMA Received 1 Entries 1 Words [ao9zZxgsvrnJ .. ao9zZxgsvrnJ]/-3839241388157198168 from pAAAAAAAAAAA:yacy3/0.8100598, processed in 0 milliseconds, requesting 0/1 URLs, blocked 0 RWIs
I 2009/05/29 18:42:37 PLASMA Received 1 Entries 1 Words [apA0PwTySKw5 .. apA0PwTySKw5]/-3839347404968633424 from pAAAAAAAAAAA:yacy3/0.8100598, processed in 0 milliseconds, requesting 0/1 URLs, blocked 0 RWIs
I 2009/05/29 18:42:39 PLASMA Received 1 Entries 1 Words [bvazn8CJITcG .. bvazn8CJITcG]/-3997887843577139352 from pAAAAAAAAAAA:yacy3/0.8100598, processed in 0 milliseconds, requesting 0/1 URLs, blocked 0 RWIs
I 2009/05/29 18:42:39 PLASMA Received 1 Entries 1 Words [bvfAZ7rsf2X4 .. bvfAZ7rsf2X4]/-3998035607584915376 from pAAAAAAAAAAA:yacy3/0.8100598, processed in 0 milliseconds, requesting 0/1 URLs, blocked 0 RWIs
I 2009/05/29 18:42:39 PLASMA Received 1 Entries 1 Words [bvmc1ZSAYwfq .. bvmc1ZSAYwfq]/-3998297527253217664 from pAAAAAAAAAAA:yacy3/0.8100598, processed in 0 milliseconds, requesting 0/1 URLs, blocked 0 RWIs
I 2009/05/29 18:42:39 PLASMA Received 3 Entries 1 Words [byoo1FZkgYqs .. byoo1FZkgYqs]/-4005129889839726784 from pAAAAAAAAAAA:yacy3/0.8100598, processed in 0 milliseconds, requesting 0/3 URLs, blocked 0 RWIs
I 2009/05/29 18:42:39 PLASMA Received 3 Entries 1 Words [apHuWRZxoi70 .. apHuWRZxoi70]/-3839590453019726096 from pAAAAAAAAAAA:yacy3/0.8100598, processed in 0 milliseconds, requesting 0/3 URLs, blocked 0 RWIs
I 2009/05/29 18:42:39 PLASMA Received 3 Entries 1 Words [apLMhHdokH1c .. apLMhHdokH1c]/-3839712591965603896 from pAAAAAAAAAAA:yacy3/0.8100598, processed in 0 milliseconds, requesting 0/3 URLs, blocked 0 RWIs
I 2009/05/29 18:42:41 PLASMA Received 1 Entries 1 Words [apBJToTNG89o .. apBJToTNG89o]/-3839358983125503456 from pAAAAAAAAAAA:yacy3/0.8100598, processed in 0 milliseconds, requesting 0/1 URLs, blocked 0 RWIs
I 2009/05/29 18:42:42 PLASMA Received 1 Entries 1 Words [VFdz9wXIiPT5 .. VFdz9wXIiPT5]/-3038726863475459192 from pAAAAAAAAAAA:yacy3/0.8100598, processed in 0 milliseconds, requesting 0/1 URLs, blocked 0 RWIs
I 2009/05/29 18:42:42 PLASMA Received 2 Entries 1 Words [VFm2uy_qpNtD .. VFm2uy_qpNtD]/-3039045043596120680 from pAAAAAAAAAAA:yacy3/0.8100598, processed in 0 milliseconds, requesting 0/2 URLs, blocked 0 RWIs
I 2009/05/29 18:42:42 PLASMA Received 13 Entries 1 Words [c6vGcJ1wDYCe .. c6vGcJ1wDYCe]/-4167486861179619008 from pAAAAAAAAAAA:yacy3/0.8100598, processed in 15 milliseconds, requesting 0/13 URLs, blocked 0 RWIs


Vielleicht gibt es eine ganz einfache Erklärung für all dieses Verhalten: sind die versendeten Chunks vielleicht zu groß, sodass sie über die Zuständigkeit des Empfängers hinauslaufen?


yacy3 hat auch immer Probleme mit dem GC. So ein Bild habe ich hier schon in den Bugs gesehen. Den ersten großen GC mache ich immer manuell über das Webinterface.
pg_yacy3.png
pg_yacy3.png (8.25 KiB) 2428-mal betrachtet
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: DHT-Test

Beitragvon Lotus » Sa Jun 06, 2009 4:38 pm

Ich habe noch eine Idee durch das Lesen des Codes bekommen. Wenn ein zuständiger Peer busy meldet wird an den nächsten versendet.
Code: Alles auswählen
I 2009/05/26 15:28:35 INDEX-TRANSFER-DISPATCHER Transfer failed of chunk to target ZPqHZcrmFELw/yacy1: busy
I 2009/05/26 15:28:35 INDEX-TRANSFER-DISPATCHER STORE: Chunk M-zttYn-ZW__ has failed to transmit index; marked peer as busy
I 2009/05/26 15:28:35 INDEX-TRANSFER-DISPATCHER starting new index transmission request to M-zttYn-ZW__
I 2009/05/26 15:28:35 INDEX-TRANSFER-DISPATCHER Index transfer of 54 words [MvLgJxF2kaqb .. M-zttYn-ZW__] and 207 URLs to peer yacy2:C6Q1XYzVn-QE in 0 seconds successful (3176 words/s)
I 2009/05/26 15:28:35 INDEX-TRANSFER-DISPATCHER Transfer finished of chunk to target C6Q1XYzVn-QE/yacy2
I 2009/05/26 15:28:35 INDEX-TRANSFER-DISPATCHER STORE: Chunk M-zttYn-ZW__ has FINISHED all transmissions!

Beim empfangenden Peer diese Zeile:
Code: Alles auswählen
I 2009/05/29 18:19:37 PLASMA Rejecting RWIs from peer AAAAAAAAAAAA:yacy1/0.8100598. We are too busy (buffersize=1024).

Gut, dann sind die Daten erst mal weg. Aber etwas an der falschen Stelle.

Um das zu optimieren könnte doch anstatt busy zu melden ein neuer Buffer aufgemacht werden, während der volle zum Flush freigegeben wird und parallel geflusht wird.

Wenn jetzt der unglückliche Zustand eintritt:
yacy1 Sender
yacy2 Empfänger (busy)
yacy3 falscher Empfänger

Bekommt yacy1 die Daten wieder zurück wenn der Zustand anhält:
yacy3 Sender
yacy2 Empfänger (busy)
yacy1 falscher Empgänger


Das kann natürlich schon die Ursache sein, dass dieser Test so ausfällt. Wenn das "behoben" ist, teste ich gerne noch einmal.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: DHT-Test

Beitragvon Quix0r » Do Jul 09, 2009 7:12 pm

Hab hier aehnliches Logfile. Die ware Ursache konnte ich nicht finden, da ruckzuck das Logfile damit vollgeschrieben wurde:
I 2009/07/09 18:10:57 INDEX-TRANSFER-DISPATCHER STORE: Chunk -A-Ii_Y6n3__ has failed to transmit index; marked peer as busy
I 2009/07/09 18:10:57 INDEX-TRANSFER-DISPATCHER STORE: Chunk 9_7No_M029__ has failed to transmit index; marked peer as busy
Quix0r
 
Beiträge: 1345
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: DHT-Test

Beitragvon Lotus » Do Jul 09, 2009 9:37 pm

Hast du auch einen lokalen Test gemacht?


Ich habe mir das inzwischen im Code angesehen.

DHT hin- und her
Die Einzige Möglichkeit die ich dafür sehe ist, wenn das myself-target nicht an Position 1 steht. Dann bekommt 1 immer die Daten von 2 und 3, und 2 immer von 3. 1 verschickt gar nicht weil der Chunk sofort wiederhergestellt wird.
Dieser Fall kann aber in diesem Test nicht auftreten.

Gedanke zu große Container:
Die Auswahl beachtet zwar nicht das Partitionscheme und funktioniert korrekt, sollte aber vertikal keine Rolle spielen, weil es ohnehin dafür gesplittet wird und das myself-target dann greift (=Versand wird gestoppt).

Nach meinem Code-Review läuft die Selektion und der Versand korrekt. Das Ergebnis der Tests kann ich aber noch immer nicht erklären.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: DHT-Test

Beitragvon Quix0r » Do Jul 09, 2009 11:15 pm

Nein, kam irgentwann nach dem Starten und bei vollem Queues.
Quix0r
 
Beiträge: 1345
Registriert: Di Jul 31, 2007 9:22 am
Wohnort: Krefeld

Re: DHT-Test

Beitragvon Lotus » Di Feb 23, 2010 10:00 pm

Ich habe heute wieder etwas beobachtet und mir nun genauer ansehen können:
Im freeworld wurde DHT-in deaktiviert bis nichts mehr versendet wurde. Dann wieder aktiviert, und sofort wurde wieder versendet.

Auffällig: Empfang von Hash Y5uumsaz4ahM von sixcooler. Dann wieder zurückgesendet, sixcooler an Position 1. Allerdings sollte das myself-Target das theoretisch verhindern, welches hier nicht drin ist. Sendet sixcooler an mich, bin ich besser als er positioniert, andernfalls hätte das myself-target bei sixcooler den Versand abgebrochen. Bin ich besser als sixcooler positioniert, bricht bei mir der Versand ab, weil das myself-target vorher positioniert kommt.
Andere Empfänge von sixcooler werden ebenfalls zurückgesendet. Der Hash meines Peers ist _ASqjYwC4C__

Ich habe dafür keine Erklärung, zumal ich im Zeitraum dieses Threads die DHT-Berechnung eingehend analysiert habe und keine Fehler finden konnte.
Dateianhänge
yacy01.log.tar.gz
(17.68 KiB) 100-mal heruntergeladen
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: DHT-Test

Beitragvon Lotus » Sa Mai 15, 2010 11:20 am

Code: Alles auswählen
grep -E Received\|success *.log >analysis
grep Guw0pSKWHS1e analysis

yacy017.log:I 2010/05/15 10:25:27 PLASMA Received 121 Entries 2 Words [Guw0pSKWHS1e .. GuycXQZE4R_Z]/-1046823181669883588 from qAIVfS-qMrdN:sixcooler2/0.9500687, processed in 4 milliseconds, requesting 0/121 URLs, blocked 0 RWIs
yacy017.log:I 2010/05/15 10:25:41 INDEX-TRANSFER-DISPATCHER Index transfer of 2 words [Guw0pSKWHS1e .. -uycXQZE4R__] and 121 URLs to peer Kaffeetasse3:AUgnxKd9WE_L in 0 seconds successful (12 words/s)
yacy017.log:I 2010/05/15 10:25:41 INDEX-TRANSFER-DISPATCHER Index transfer of 2 words [Guw0pSKWHS1e .. -uycXQZE4R__] and 121 URLs to peer konstantin69.homedns.org:B3wo-fp6wG__ in 0 seconds successful (14 words/s)
yacy017.log:I 2010/05/15 10:25:41 INDEX-TRANSFER-DISPATCHER Index transfer of 2 words [Guw0pSKWHS1e .. -uycXQZE4R__] and 121 URLs to peer dlc-TEOx:Czf8mtXEXYVM in 0 seconds successful (6 words/s)

Erster Versuch, ein Treffer. r6873
Ansonsten 2. Abs. meines vorherigen Beitrages.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: DHT-Test

Beitragvon Lotus » Do Jul 22, 2010 9:19 am

Ich habe den DHT-Code nochmal genau nachvollzogen. Er arbeitet korrekt, kann also keine Ursache sein.
Ich kann mir nur vorstellen, dass es zu Nebeneffekten zwischen der Art der Versand-Selektierung und DHT-Container-Splitting kommen kann. Das habe ich mir noch nicht genau angesehen.
Es gibt auch keine feste Grenze, in der die Wörter zum Peer gehören. Das sollte das myself-target aber von alleine regeln.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg


Zurück zu Mitmachen

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast

cron