Problem bei der Ausgabe von Ergebnissen mit verify=true

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Problem bei der Ausgabe von Ergebnissen mit verify=true

Beitragvon huiwam » Do Mär 10, 2011 4:45 pm

Hallo alle zusammen,

ich indexiere zuzeit ein Portal wo ziemlich viele langen PDF-Documente gibt.
wenn ich nach irgeneinem Wort suche, dann hole ich mir zuerst die ersten 5 Ergebnisse aus insgesamt z.B 100 und zeige sie an.
Beim Request setze ich den attribute verify auf true bzw auf iffresh damit auch die Snippet angezeigt werden können.
Wenn ich aber den zweiten Request starte und mir die letzten Ergebnisse(aus der Ergebnissliste) holen will , dann dauert es ewig bis ich da was sinnvolles zurück bekomme.
bzw ich bekomme eine Anwort ohne Items zurück. Nach einer gewissen Zeit und mehreren Requests werden dann die Items endlich mitgesendet.


BSP: { "channels": [{ "title": "YaCy P2P-Search for auf", "description": "Search for auf", "link": "http://dev:8090/yacysearch.html?query=auf&resource=local&contentdom=text&verify=iffresh", "image": { "url": "http://dev:8090/env/grafics/yacy.gif", "title": "Search for auf", "link": "http://dev:8090/yacysearch.html?query=auf&resource=local&contentdom=text&verify=iffresh" }, "totalResults": "209", "startIndex": "205", "itemsPerPage": "5", "searchTerms": "auf", "items": [ ], "navigation": [ ] }] }

das gleiche Problem paasiert auch bei einer sehr kleinen Ergebnissliste:
{ "channels": [{ "title": "YaCy P2P-Search for dorf", "description": "Search for dorf", "link": "http://dev:8090/yacysearch.html?query=dorf&resource=local&contentdom=text&verify=ifexist", "image": { "url": "http://dev:8090/env/grafics/yacy.gif", "title": "Search for dorf", "link": "http://dev:8090/yacysearch.html?query=dorf&resource=local&contentdom=text&verify=ifexist" }, "totalResults": "5", "startIndex": "0", "itemsPerPage": "5", "searchTerms": "dorf", "items": [ ], "navigation": [ ] }] }

Insgesamt liegt bei mir im cache 112 mb und gesamte Cache-Größe ist standartsweise auf 32200 MB gesetzt.
Es sind auch so ungefähr 200 pdf Documente von unterschiedliche Grösse.

ich glaube das ähnliche Problem wurde schon mal kurz erwähnt:
viewtopic.php?f=5&t=3020&p=21082&hilit=Snippets#p21082

vielleicht wird es Sinn machen nicht alle Ergebnisse auf einmal zu parsen um Snippets zu erstellen sonder nur die die wirklich verlagt werden???

mit freundlichen Grüßen
huiwam
 
Beiträge: 16
Registriert: Di Mär 08, 2011 11:24 am

Re: Problem bei der Ausgabe von Ergebnissen mit verify=true

Beitragvon Lotus » Do Mär 10, 2011 9:34 pm

huiwam hat geschrieben:[...] Wenn ich aber den zweiten Request starte und mir die letzten Ergebnisse(aus der Ergebnissliste) holen will , dann dauert es ewig bis ich da was sinnvolles zurück bekomme.
[...]
vielleicht wird es Sinn machen nicht alle Ergebnisse auf einmal zu parsen um Snippets zu erstellen sonder nur die die wirklich verlagt werden???


Nunja, du verlangst hier einerseits, dass die Ergebnisse überprüft werden und andererseits verlangst du einen festen Offset. Wenn nun die Ergebnisse nicht überprüft werden, sind die Ergebnisse ab dem Offset womöglich vor diesem Offset positioniert weil vorgehende Ergebnisse ggf. nicht verfügbar sind.

Die Lösung wäre hier eine andere Option für verify zu nutzen: http://www.yacy-websuche.de/wiki/index. ... parameters


Neues Problem das ich festgestellt habe: bei einem Offset von z.B. 70 wird mit verify=false erst bei der 2. Anfrage (html) ein korrektes Ergebnis geliefert.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: Problem bei der Ausgabe von Ergebnissen mit verify=true

Beitragvon huiwam » Fr Mär 11, 2011 8:56 am

Hallo,

ich habe schon alle optionen bei verify probiert und keiner führt zum einen gewünschten Ergebniss.

Es funktioniert nur wenn ich verify auf "false"? Werden in diesem Fall Ergebnisse nicht überprüft???

Wenn nicht, wie entstehen dann die Ergebnisse???
Wenn ja , dann liegt das Problem an Erstellung von Snippets ???
Man konnte dann vielleicht nicht alle Snippets auf einmal erstellen , sondern nur die die angezeigt werden soll.

Wie werden eigendlich diese Snippets erstellt? Holt man sich den ersten Treffer aus jedem Document und dann wird es abgebrochen , oder anders????

mit freundlichen Grüßen
huiwam
 
Beiträge: 16
Registriert: Di Mär 08, 2011 11:24 am

Re: Problem bei der Ausgabe von Ergebnissen mit verify=true

Beitragvon Lotus » Fr Mär 11, 2011 7:37 pm

huiwam hat geschrieben:ich habe schon alle optionen bei verify probiert und keiner führt zum einen gewünschten Ergebniss.

ifexist sollte die gewollte Option sein. War vorher im Wiki mit einem s angegeben, welches keinen Snippet angezeigt hat.

huiwam hat geschrieben:Es funktioniert nur wenn ich verify auf "false"? Werden in diesem Fall Ergebnisse nicht überprüft???

Wenn nicht, wie entstehen dann die Ergebnisse???
Wenn ja , dann liegt das Problem an Erstellung von Snippets ???
Man konnte dann vielleicht nicht alle Snippets auf einmal erstellen , sondern nur die die angezeigt werden soll.

Die Snippets werden mit verify=true in Echtzeit vom gefundenen Webserver geladen. Wenn das Suchwort dort nicht vorkommt, wird das Suchergebnis verworfen. Bei anderen Einstellungen entsprechend nicht/weniger häufig.

Die der Snippet-Auszug im Detail abläuft weiß ich nicht aus dem Gedächtnis.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 3 Gäste

cron