transferRWI.java & transferURL.java

Forum for developers

transferRWI.java & transferURL.java

Beitragvon gaston » Fr Aug 10, 2012 12:54 pm

Kann man transferRWI.java und transferURL.java zusammen legen, so das man nur eine Verbindung zu einem Peer hat. Weil jetzt entstehen immer RWIs mit nicht gebundenen URLs durch die Blackliste ect. Diese belegen nicht nur Speicher, sondern werden auch bei einer Suche immer unnötig überprüft.
gaston
 
Beiträge: 143
Registriert: Fr Jan 06, 2012 2:22 pm

Re: transferRWI.java & transferURL.java

Beitragvon Orbiter » Fr Aug 10, 2012 2:54 pm

nicht sinnvoll weil transferURL nur solche Metadaten transportiert, die beim Empfänger noch nicht bekannt sind. Dies teilt der empfangende Peer nach transferRWI mit, indem eine Liste der benötigten urlhashes aufgelistet wird. Wenn man das einstufig machen würde, so müsste man immer alle Metadaten mitschicken was dann wirklich ineffizient wäre.
Orbiter
 
Beiträge: 5787
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: transferRWI.java & transferURL.java

Beitragvon gaston » Fr Aug 10, 2012 8:12 pm

Das weiß ich ja, die Peers sollen halt solange mit einander verbunden bleiben bis diese Schritte und die "fehlenden" erledigt sind. So wie es jetzt ist bleiben nicht verbundene Einträge bei den RWIs. Das Problem sind die unbekannten und angeforderten URLs die dann geblockt werden (vorher kann man diese ja nicht prüfen), diese verbleiben dann als Leichen in den RWIs.

Der fehlende Schritt ist halt, die neuen RWIs zu überprüfen nachdem die unbekannten URLs angefordert wurden.

Vielleicht kann man das auch so machen das transferRWI die Daten irgendwo ablegt/buffert und transferURL diese dann überprüft und dann erst speichert.
gaston
 
Beiträge: 143
Registriert: Fr Jan 06, 2012 2:22 pm

Re: transferRWI.java & transferURL.java

Beitragvon Orbiter » Fr Aug 10, 2012 9:03 pm

Diese Überprüfung ob die angeforderten URL-Metadaten tatsächlich angeliefert werden fehlt tatsächlich und wird nicht weiter verfolgt. Dies ist normalerweise kein großes Problem weil hier genügend Fehlerredundanz vorhanden ist um fehlende URL-Metadaten zu ignorieren.
Momentan ist meine Priorität auf die Solr-Migration konzentriert. Dazu gehört tatsächlich auch ein neuer URL-Metadatentransport, weil hier neue Möglichkeiten für eine reichere Metadatenmenge sind und daher wird die API auch erweitert. Daher denke ich momentan nicht über die alte API nach und überlege wie ich dieses Feature in die neue API aufnehme - wenn es dann so weit ist.
Orbiter
 
Beiträge: 5787
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main


Zurück zu YaCy Coding & Architecture

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast

cron