einige unklarheiten

Keine Scheu, hier darf alles gefragt und diskutiert werden. Das ist das Forum für YaCy-Anfänger. Hier kann man 'wo muss man klicken' fragen und sich über Grundlagen zur Suchmaschinentechnik unterhalten.
Forumsregeln
Hier werden Fragen beantwortet und wir versuchen die Probleme von YaCy-Newbies zu klären. Bitte beantwortete Fragen im YaCy-Wiki http://wiki.yacy.de dokumentieren!

einige unklarheiten

Beitragvon cd_yacy » Di Dez 06, 2011 4:18 pm

Guten Tag,

habe mehrere Probleme mit der aktuellen version auf einem debian 6 amd64:

/Table_API_p.html ->lösche ausgewählte Aktionen->da passiert leider gar nichts.
-------------
neuen crawler starten ->Fehler mit URL Eingabe "http://www.dvz24.net/": java.io.IOException: CRAWLER Redirection of URL=http://www.dvz24.net/ ignored. The url appears already in db loaded ->wie kann man so etwas beheben?

kommt außerdem auch bei
/ViewFile.html?url=
-------------
/IndexCleaner_p.html
bei einer bereinigung über 90% steigt yacy unerklärlich komplett aus.
die standard logfiles bringen nichts zu tage.
im rechner sind 4gbyte, das system ist up to date.
-------------
die suche nach eigens gecra. seiten bringen kaum noch treffer oder die ergebnisse sind von anderen peers.
kann man das ranking in bezug auf localen index ändern?
danke
++cd++
cd_yacy
 
Beiträge: 4
Registriert: Mo Nov 14, 2011 12:13 pm

Re: einige unklarheiten

Beitragvon Vega » Di Dez 06, 2011 5:05 pm

Hallo,

Ist reproduzierbar, daher ein Bug - danke, ich schreibe das in den Bugtracker.....

/Table_API_p.html ->lösche ausgewählte Aktionen->da passiert leider gar nichts.

-------------

Hm, wenn Du nur Deine eigenen Ergebnnisse haben willst, dann den Peer umkonfigurieren als Robinson-Peer - ConfigNetwork_p.html -
allerdings bekommsT Du keine Ergebnisse aus dem YaCy Netzwerk dann.... Deine Urls werden peer DHT weitergegeben an andere Peers, wo Sie besser passen, daher der "Schwund".

Thomas

die suche nach eigens gecra. seiten bringen kaum noch treffer oder die ergebnisse sind von anderen peers.
kann man das ranking in bezug auf localen index ändern?
danke
++cd++
[/quote]
Vega
 
Beiträge: 824
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden

Re: einige unklarheiten

Beitragvon Orbiter » Di Dez 06, 2011 5:12 pm

/Table_API_p.html ->lösche ausgewählte Aktionen->da passiert leider gar nichts.


hab das gerade ausprobiert und geht. Machst du irgendwas besonderes sonst? kommt etwas im Log, was heisst 'macht nicht' - was sieht man da?
Orbiter
 
Beiträge: 5798
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: einige unklarheiten

Beitragvon Vega » Di Dez 06, 2011 5:20 pm

Ich habe das nochmal verifiziert unter Windows 7, der Fehler tritt im IE-9 auf, mit Firefox 3.6.19 funktioniert es.... kann das mal jemand mit IE 7 und 8 testen ? Macht nichts, heist das nichts gelöscht wird, auch nach einem Reload der Seite im Browser....
Ist als Bug registriert, weiter hier: http://bugs.yacy.net/view.php?id=96

Thomas

hab das gerade ausprobiert und geht. Machst du irgendwas besonderes sonst? kommt etwas im Log, was heisst 'macht nicht' - was sieht man da?
Vega
 
Beiträge: 824
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden

Re: einige unklarheiten

Beitragvon cd_yacy » Di Dez 06, 2011 5:27 pm

danke für eure mühe
nein, ich mach da nichts besonderes.
wegen des anderen fehlers wollte ich die ganze api bereinigen und dabei ist mir das aufgefallen.
mein browser ist ein ie8.

das mit dem schwund versteh ich nicht wirklich.
heißt das etwa , ich crawle und meine ergebnisse ziehen später aus/um.
womöglich auf einen peer der hinterher offline geht.
ich denke der index wird kopiert.

++cd++
cd_yacy
 
Beiträge: 4
Registriert: Mo Nov 14, 2011 12:13 pm

Re: einige unklarheiten

Beitragvon Vega » Di Dez 06, 2011 5:38 pm

Genau das heist es, ja, die Ergebnisse werden peer DHT verteilt zu den Peer(3) mit dem HASH der am besten dazu passt, das ganze wird dann 3x gemacht, liegt also auf 3 Peers, und damit einigermaßen Redundant. Schlecht ist es aber wenn diese Peers alle nur verzögert Antworten - dann bekommst Du keine Ergebnisse, oder alle offline gehen..... und genau das ist durch die Presseberichte jetzt passiert, stark schwankende Peer-Zahlen, dadurch kommen solche Effekte zustande. Wenn sich das ganze eingepegelt hat auf eine stabile Benutzerbasis wird das besser....
Genaueres zu diesem Thema - also DHT + verteilung - kann Dir Michael (Orbiter) sagen.

Thomas

das mit dem schwund versteh ich nicht wirklich.
heißt das etwa , ich crawle und meine ergebnisse ziehen später aus/um.
womöglich auf einen peer der hinterher offline geht.
ich denke der index wird kopiert.
Vega
 
Beiträge: 824
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden

Re: einige unklarheiten

Beitragvon cd_yacy » Di Dez 06, 2011 9:41 pm

danke für deine antwort. ich habe alles verstanden,
aber ehrlich gesagt, bin ich nicht zufrieden.


der robinsonmodus heißt nicht für umsonst so. ich wäre allein.
das kostet zuviel kraft.

redundanz 3 auf freiwilliger basis bedeutet eigentlich nicht viel.

zumal diese 3 ja irgendwo sein könnten, keiner weiß wo (was wiederum nicht schlecht ist).

trotzdem können somit sehr schnell hunderte gb traffic für crawl einfach verheizt sein.

hiermal meine gedanken dazu:

locale crawlergebnisse müßten zusätzlich auf dem localen storage verbleiben
sozusagen als backup für das netz und als möglicher forward
im localen index. somit würde ich auch finden was ich vorher durchsuchte. bei null treffern
kann mein peer immer noch die anderen fragen.

wenn mich auf andere verlasse, weiß ich nicht, wem die peers gehören. ich habe derzeit 3.
andere vielleicht 100 und radieren fest am index und man findet nichts.
da fallen mir viele dumme ideen ein.

sorry, wenn ich mal so offen war. es war mir wichtig.

++cd++


PS:

neuen crawler starten ->Fehler mit URL Eingabe
"http://www.dvz24.net/": java.io.IOException:
CRAWLER Redirection of URL=http://www.dvz24.net/ ignored.
The url appears already in db loaded ->wie kann man so etwas beheben?
cd_yacy
 
Beiträge: 4
Registriert: Mo Nov 14, 2011 12:13 pm

Re: einige unklarheiten

Beitragvon Lotus » Do Dez 08, 2011 9:35 pm

cd_yacy hat geschrieben:neuen crawler starten ->Fehler mit URL Eingabe
"http://www.dvz24.net/": java.io.IOException:
CRAWLER Redirection of URL=http://www.dvz24.net/ ignored.
The url appears already in db loaded ->wie kann man so etwas beheben?

Noch nicht implementiert, aber mal eine Idee die ich eben hatte als ich so einen Kommentar mal wieder las.

Meldung ändern zu (sinngemäß): das wurde schonmal indexiert. Ignorieren und fortfahren? Bei Bestätigung dann alles von der Domäne aus der loaded-Liste löschen und den Crawl starten. Ich denke das will der Anwender in der Regel.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg


Zurück zu Hilfe für Einsteiger und Anwender

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast