transferRWI oder transferURL kaputt ? (9115)

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

transferRWI oder transferURL kaputt ? (9115)

Beitragvon gaston » Fr Aug 17, 2012 10:33 am

Bei mir werden jetzt ständig URLs angefordert die ich schon habe.
Code: Alles auswählen
I 2012/08/17 11:29:42 YACY Received 24 URLs from peer ...
E 2012/08/17 11:29:42 YACY Received 24 double URLs from peer ...


Irgendwo gibt es noch ein Fehler weil YaCy das da unten als URL durchlässt... (komplett)
Code: Alles auswählen
kirchner, wilhelm unspecified (1995) zukunftssichere informatikstrategien f++r versicherungsunternehmen. <https://ub-madoc.bib.uni-mannheim.de:-1/17150%3E%20Karlsruhe%20pp.%20167-180%20%5BBook%20Section%5D

oder sowas

[[uri]]http://nthur.lib.nthu.edu.tw:-1/dspace/handle/987654321/32154

Davon hab ich noch ein paar mehr.
Zuletzt geändert von gaston am Fr Aug 17, 2012 10:48 pm, insgesamt 1-mal geändert.
gaston
 
Beiträge: 143
Registriert: Fr Jan 06, 2012 2:22 pm

Re: transferRWI oder transferURL kaputt ? (9088)

Beitragvon Orbiter » Fr Aug 17, 2012 1:59 pm

das mit den doppelten URLs war ein guter Hinweis, hab ich gefixt, glaube ich.
Das mit den merkwürdigen URLs verstehe ich noch nicht, wo siehst du die?
Orbiter
 
Beiträge: 5793
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: transferRWI oder transferURL kaputt ? (9088)

Beitragvon gaston » Fr Aug 17, 2012 2:13 pm

Ich protokolliere für mich gerade alle neuen und blockierten URLs - lEntry.url().toNormalform(false, true). Das mache ich in transferURL, da heißt ich bekomme den "Mist" von ein anderen Peer :twisted: ;)
gaston
 
Beiträge: 143
Registriert: Fr Jan 06, 2012 2:22 pm

Re: transferRWI oder transferURL kaputt ? (9088)

Beitragvon gaston » Fr Aug 17, 2012 4:02 pm

Ist in 9115 immer noch so.

Irgendwas um oder ab "FOR THE BRAVE" muss das verursachen. Ist mir zumindest sonst nie aufgefallen.
gaston
 
Beiträge: 143
Registriert: Fr Jan 06, 2012 2:22 pm

Re: transferRWI oder transferURL kaputt ? (9115)

Beitragvon gaston » Sa Aug 18, 2012 9:41 am

transferURLs: doublevalues = Integer.toString(received - more);

Liegt das Problem vielleicht daran das hier die alte DB nicht berücksichtigt wird?
gaston
 
Beiträge: 143
Registriert: Fr Jan 06, 2012 2:22 pm

Re: transferRWI oder transferURL kaputt ? (9115)

Beitragvon Orbiter » Sa Aug 18, 2012 12:21 pm

guter Hinweis, hab nicht mehr gewusst dass dort der Double-Check über die Anzahl der hinzugekommenen URLs über die size()-Methode bestimmt wird. Das Problem ist hier nicht dass solr dort nicht einbezogen wird sondern dass Solr kein sofortiges autocommit bei neuen URLs macht. D.h. die Anzahl der URLs steigt bei commits nicht gleich an und damit funktioniert hier auch die double-url Zählung nicht. Um das zu überprüfen habe ich nun eine explizite Zählung der doppelt vorkommenden URLs eingebaut.
Orbiter
 
Beiträge: 5793
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: transferRWI oder transferURL kaputt ? (9115)

Beitragvon gaston » Mo Aug 20, 2012 12:54 pm

9132 funktioniert wieder.

Hier noch ein BUGfix für net.yacy.search.index.SolrConfiguration, Zeile 269

Code: Alles auswählen
private static void accText(final StringBuilder sb, String text) {
    if (text == null || text.isEmpty()) return;
    if (sb.length() != 0) sb.append(' ');
    text = text.trim();
    if (!text.isEmpty() && text.charAt(text.length() - 1) == '.') {
        sb.append(text);
    } else {
        sb.append(text).append('.');
    }
}

OT: Tabs ja oder nein, weil, mal werden Tabs entfernt und dann kommen wieder neue hinzu. Von mir aus können die alle weg, ich mag keine Tabs.
gaston
 
Beiträge: 143
Registriert: Fr Jan 06, 2012 2:22 pm

Re: transferRWI oder transferURL kaputt ? (9115)

Beitragvon Orbiter » Mo Aug 20, 2012 1:01 pm

das zusätzliche !text.isEmpty() braucht man nicht weil das ja schon oben getestet wird.
Ich nehme auch lieber spaces als tabs, aber manchmal rutschen die mir rein... sorry
Orbiter
 
Beiträge: 5793
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: transferRWI oder transferURL kaputt ? (9115)

Beitragvon gaston » Mo Aug 20, 2012 1:25 pm

Eclipse? wenn ja überprüfe mal die Einstellungen, da ist irgendwo was versteckt um die Tabs zu deaktivieren, und zwar das ...

Window->Preferences->Java->Code Style->Formatter->Edit->Tab policy = "Spaces Only"

Das hatte ich auch lange übersehen und war von den Tabs genervt ;)

Orbiter hat geschrieben:das zusätzliche !text.isEmpty() braucht man nicht ...

ich sag nur "text = text.trim();" ;)

Ich hatte dort ja eine Exception, sonst hätte ich mir das gar nicht angeguckt.
gaston
 
Beiträge: 143
Registriert: Fr Jan 06, 2012 2:22 pm

Re: transferRWI oder transferURL kaputt ? (9115)

Beitragvon Orbiter » Di Aug 21, 2012 8:05 pm

gaston hat geschrieben:Window->Preferences->Java->Code Style->Formatter->Edit->Tab policy = "Spaces Only"
Das hatte ich auch lange übersehen und war von den Tabs genervt ;)

ja ist schwer zu finden...

gaston hat geschrieben:
Orbiter hat geschrieben:das zusätzliche !text.isEmpty() braucht man nicht ...

ich sag nur "text = text.trim();" ;)

alles klar, fix kommt
Orbiter
 
Beiträge: 5793
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast