Qualität der Treffer

Ereignisse, Vorschläge und Aktionen

Qualität der Treffer

Beitragvon m0n0 » Fr Dez 02, 2011 12:46 pm

Hier noch etwas grundsätzliches:

Die Suchergebnisse sind absolut grauenhaft. Ich meine nicht das Design :) Für welches Suchwort kommen denn bei Euch vernünftige Ergebnisse? Ich habe mal verschiedene Wörter aus unterschiedlichen Bereichen versucht: GNU, Linux, quantum mechanics, arte, Lynch, European Outdoor Film Tour. Bei keinem einzigen kommt auch nur ein sinnvoller Link auf der ersten Ergebnisseite. Ist das ein grundlegendes Problem? Jedenfalls ist die Suchmachschine aktuell so nicht zu gebrauchen, so schön die Idee auch ist.

Wird sich das mit der Zeit ändern? Das Problem tritt übrigens sowohl bei Suche über meinen Peer wie auch über das Demo-Portal auf.
m0n0
 
Beiträge: 2
Registriert: Fr Dez 02, 2011 12:29 pm

Re: Qualität der Treffer

Beitragvon bluumi » Fr Dez 02, 2011 2:48 pm

;) - Yacy bietet eine gute Möglichkeit Deine treffer auf Dich abzustimmen ... hüstel.
Wenn Du Deinem Peer die Aufgabe gibst ein paar qualitativ hochwertige Seiten zu Deinen Themen zu crawlen, so findet es plötzlich was Du haben willst.
Ich habe meinen Peer gefragt was er zu meinen Interessengebieten sagen kann und auch ich war erstaunt was ich alles nicht anklicken will :-)
Jetzt nach 2-3 Tagen zeigt es auf die Seiten welche ich durchforstet haben will, weil ich die Domains gecrawlt habe. :geek:

Yacy ist kein Google. Wenn Du z.b. das Thema der unterernährten Waldameise im Südkalifornischen ... Und Du kennst ein paar gute Seiten, dann kannst Du einen Teil des Internets crawlen, den vielleicht google stiefmütterlich besucht hat und Deine Suchmaschine ist genau auf das abgestimmt. Aber wenn keiner der Yacy betreibt nach diesen Seiten gecrawlt hat, so sind die Ergebnisse schlecht.
Hingegen sollte auf GNU was gutes kommen, aber leider gibt es "Suchmaschinen" optimierer, welche Seiten optimieren, welche wir nicht haben müssen. :) :evil:
bluumi
 
Beiträge: 388
Registriert: Mi Okt 08, 2008 7:27 am

Re: Qualität der Treffer

Beitragvon Orbiter » Fr Dez 02, 2011 3:38 pm

wie es der Zufall so will habe ich heute ein Video gemacht das zwar nicht erklärt wie ein ranking abläuft aber wie die Suchergebniszusammenstellung aussieht.
Vielleicht mache ich auch mal ein Video über Ranking.

http://vimeo.com/33025433
Da erkläre ich warum man schon bei YaCy einen tick länger warten muss. Und das liegt nicht an java. Ich hoffe dass solche Erklärungsvideos die ganze Thematik mal anschaulicher machen können.
Orbiter
 
Beiträge: 5798
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Qualität der Treffer

Beitragvon LA_FORGE » Sa Dez 03, 2011 1:08 pm

m0n0 hat geschrieben:Hier noch etwas grundsätzliches:

Die Suchergebnisse sind absolut grauenhaft. Ich meine nicht das Design :) Für welches Suchwort kommen denn bei Euch vernünftige Ergebnisse? Ich habe mal verschiedene Wörter aus unterschiedlichen Bereichen versucht: GNU, Linux, quantum mechanics, arte, Lynch, European Outdoor Film Tour. Bei keinem einzigen kommt auch nur ein sinnvoller Link auf der ersten Ergebnisseite. Ist das ein grundlegendes Problem? Jedenfalls ist die Suchmachschine aktuell so nicht zu gebrauchen, so schön die Idee auch ist.

Wird sich das mit der Zeit ändern? Das Problem tritt übrigens sowohl bei Suche über meinen Peer wie auch über das Demo-Portal auf.


Hast du mal einer der Optionen von der Heuristik aktiviert (auf der Seite ConfigHeuristics_p.html) und dann gesucht?
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Qualität der Treffer

Beitragvon bbtuxi » So Dez 04, 2011 4:11 pm

Bei mir sind die Ergebnisse auch immer grottenschlecht... ein besseres Ranking muss mehr....vor allem scheint es auch eine Menge Bugs zu geben.
Hab vor einigen Tagen ein paar Suchen gestartet....

golem > einen Artikel zu Amazon Cybermondy gefunden

amazon und cybermondy eingeben> nur Schrott Ergebnisse? Hallo? Nicht mal der vorherige Artikel der bei der suche "golem" auftauchte ist dort erschienen? Wie kann das sein? Obwohl ganz fett Amazon und Cybermonday beim ersten Suchergebnis Stand?


grüße
bbtuxi
 
Beiträge: 50
Registriert: Fr Jan 16, 2009 10:28 pm

Re: Qualität der Treffer

Beitragvon Huppi » So Dez 04, 2011 4:32 pm

Ich glaube, der aktuelle massive Anstieg der Peerzahlen trägt zur schlechteren Qualität der Suchergebnisse bei. Wahrscheinlich muß sich das DHT wieder einpendeln. Die Treffer liegen aktuell nicht immer auf dem Peer, auf dem man sie finden sollte. Die Verteilung wird ein paar Tage brauchen ...
Huppi
 
Beiträge: 898
Registriert: Fr Jun 29, 2007 9:49 am
Wohnort: Kürten

Re: Qualität der Treffer

Beitragvon bluumi » Di Dez 06, 2011 8:22 am

Naja, alleine der Anstieg ist es nicht, es ist vorallem die fluktuation. Wenn viele Peers nur 1 Tag oder wenige Stunden da sind, so sendet das DHt dort in ein schwarzes Loch. Was nützt Verteilung, wenn diese Daten bereits gelöscht worden sind ;)
bluumi
 
Beiträge: 388
Registriert: Mi Okt 08, 2008 7:27 am

Re: Qualität der Treffer

Beitragvon LA_FORGE » Di Dez 06, 2011 8:30 pm

bluumi hat geschrieben:Naja, alleine der Anstieg ist es nicht, es ist vorallem die fluktuation. Wenn viele Peers nur 1 Tag oder wenige Stunden da sind, so sendet das DHt dort in ein schwarzes Loch. Was nützt Verteilung, wenn diese Daten bereits gelöscht worden sind ;)


Ja, so sehe ich das auch. Wir brauchen mehr Redundanz!! Mehr Peers mit fester IP wären hilfreich?

@bbtuxi bitte objektiv bleiben! Ich kann das nicht bestätigen und die meisten unserer Community bestimmt auch nicht. Ich habe mit YaCy schon wahre Schätze ausgegraben die die Suchriesen niemals zu Tage liefern würden!!
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Qualität der Treffer

Beitragvon bluumi » Di Dez 06, 2011 11:00 pm

Die Peers müssen eigentlich nicht mal eine fixe IP haben. Es genügt wenn ein Drittel der Peers "dauernd" erreichbar sind, wenn jedes Ergebnis 3x kopiert wird :)
Mein grosser ist jedenfalls wieder dauernd da und hat eine fixe IP. Schnelle Peers mit fixer IP und 24h on sind sicher nützlich, aber es ist ja eine P2P Suchmaschine und somit auch auf weit verteilte Home-Peers ausgerichtet/angewiesen.
Ich bin jedenfalls sehr gespannt wo sich die Anzahl Peers in einigen Wochen einpendelt. - Dank der deutlich gesteigerten STabilität brauche ich jetzt den Peer auch nicht mehr jeden 3ten Tag zu wecken weil er sich in ein Memoryloch verkrochen hat.
bluumi
 
Beiträge: 388
Registriert: Mi Okt 08, 2008 7:27 am

Re: Qualität der Treffer

Beitragvon LA_FORGE » Di Dez 06, 2011 11:47 pm

bluumi hat geschrieben:Die Peers müssen eigentlich nicht mal eine fixe IP haben. Es genügt wenn ein Drittel der Peers "dauernd" erreichbar sind, wenn jedes Ergebnis 3x kopiert wird :)
Mein grosser ist jedenfalls wieder dauernd da und hat eine fixe IP. Schnelle Peers mit fixer IP und 24h on sind sicher nützlich, aber es ist ja eine P2P Suchmaschine und somit auch auf weit verteilte Home-Peers ausgerichtet/angewiesen.
Ich bin jedenfalls sehr gespannt wo sich die Anzahl Peers in einigen Wochen einpendelt. - Dank der deutlich gesteigerten STabilität brauche ich jetzt den Peer auch nicht mehr jeden 3ten Tag zu wecken weil er sich in ein Memoryloch verkrochen hat.


Da hast du Recht. Es läuft wirklich sehr stabil. Habe beim letzten lauf doch tatsächlich 200 GB Crawler-Traffic hinbekommen :-) dann musste ich wegen Update neustarten.
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Qualität der Treffer

Beitragvon Orbiter » Mi Dez 07, 2011 12:04 pm

für 1.01 habe ich mich nochmal der Trefferqualität gewidmet: bei meinen Tests waren lokale Suchen immer wesentlich besser sortiert als wenn das p2p-Netz gefragt wird. Die Ursache liegt hier vor allem darin, dass der erste remote peer bislang der 'sieger' war und dessen Qualität entscheident war. Jetzt gibt es wieder ein paar 'sleeps' in der Auswertung der remote Ergebnissen. Die sleeps werden pro Treffer angewendet und werden immer kürzer je mehr eintrifft. Die maximale Sleep-Zeit für eine Suchanfrage liegt aber bei 600 millisekunden, was ja erträglich sein sollte. Remote Suchanfragen sind eigentlich superschnell, das kann jeder mal ausprobieren:

http://localhost:8090/yacy/search.html? ... alTpdpDM5Q

sucht lokal nach 'linux'. Das geht ratzfatz.

Also bitte mal gucken ob 1.01 besser ist.
Orbiter
 
Beiträge: 5798
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Qualität der Treffer

Beitragvon LA_FORGE » Mi Dez 07, 2011 11:05 pm

Orbiter hat geschrieben:für 1.01 habe ich mich nochmal der Trefferqualität gewidmet: bei meinen Tests waren lokale Suchen immer wesentlich besser sortiert als wenn das p2p-Netz gefragt wird. Die Ursache liegt hier vor allem darin, dass der erste remote peer bislang der 'sieger' war und dessen Qualität entscheident war. Jetzt gibt es wieder ein paar 'sleeps' in der Auswertung der remote Ergebnissen. Die sleeps werden pro Treffer angewendet und werden immer kürzer je mehr eintrifft. Die maximale Sleep-Zeit für eine Suchanfrage liegt aber bei 600 millisekunden, was ja erträglich sein sollte. Remote Suchanfragen sind eigentlich superschnell, das kann jeder mal ausprobieren:

http://localhost:8090/yacy/search.html? ... alTpdpDM5Q

sucht lokal nach 'linux'. Das geht ratzfatz.

Also bitte mal gucken ob 1.01 besser ist.


Alles klar. Vielen Dank. Ich habe gerade das Update auf die 1.01 gefahren und gerade ist YaCy am booten:

I 2011/12/07 23:21:00 TABLE initialization of text.urlmd.20111026092721173.table. table copy: yes, available RAM: 81240MB, needed: 6400MB, allocating space for 4971042 entries


:-)
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Qualität der Treffer

Beitragvon LA_FORGE » Mi Dez 07, 2011 11:13 pm

Oops :-( Was ist denn da los?

Code: Alles auswählen
E 2011/12/07 23:31:52 ArrayStack cannot merge because of memory failure: 18860432 bytes needed for RowCollection grow: 4698312 free at Wed Dec 07 23:31:52 CET 2011
net.yacy.kelondro.index.RowSpaceExceededException: 18860432 bytes needed for RowCollection grow: 4698312 free at Wed Dec 07 23:31:52 CET 2011
   at net.yacy.kelondro.index.RowCollection.ensureSize(RowCollection.java:258)
   at net.yacy.kelondro.index.RowCollection.<init>(RowCollection.java:88)
   at net.yacy.kelondro.index.RowSet.<init>(RowSet.java:59)
   at net.yacy.kelondro.index.RowSet.mergeEnum(RowSet.java:483)
   at net.yacy.kelondro.index.RowSet.merge(RowSet.java:471)
   at net.yacy.kelondro.rwi.ReferenceContainer.merge(ReferenceContainer.java:120)
   at net.yacy.kelondro.blob.ArrayStack.merge(ArrayStack.java:1029)
   at net.yacy.kelondro.blob.ArrayStack.mergeWorker(ArrayStack.java:917)
   at net.yacy.kelondro.blob.ArrayStack.mergeMount(ArrayStack.java:872)
   at net.yacy.kelondro.rwi.IODispatcher$MergeJob.merge(IODispatcher.java:267)
   at net.yacy.kelondro.rwi.IODispatcher$MergeJob.access$300(IODispatcher.java:239)
   at net.yacy.kelondro.rwi.IODispatcher.run(IODispatcher.java:180)
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm


Zurück zu Mitmachen

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste

cron