fette /solr/select - Abrfagen

Support für Fragen zu Solr im Allgemeinen und der Verwendung des in YaCy eingebetteten Solr
Forumsregeln
Hier sind Fragen zu Solr im Allgemeinen und der Verwendung des in YaCy eingebetteten Solr im speziellen gewünscht!

fette /solr/select - Abrfagen

Beitragvon sixcooler » Mo Apr 08, 2013 3:22 pm

Hallo,

ich habe seit einger Zeit immer wieder Abfragen von /solr/select?q=... die meinem Peer arg schütteln.
Der Response dazu ist dann gerne 30-40MB mit sehr viel im <str name="text_t">.
Damit ist mein Upload eine Zeit lang ausgelastet (diese Abfragen kommen gerne zu mehreren) und der Speicher (Heap) geht auch zu neige.

Muss denn immer der ganze <str name="text_t"> bei einem Select übertragen werden?
Irgendwo müsste ja schon eine Funktion existieren um die Snippets zu kürzen - könnte man die da nicht auch einsetzen?

Cu, sixcooler.
sixcooler
 
Beiträge: 494
Registriert: Do Aug 14, 2008 5:22 pm

Re: fette /solr/select - Abrfagen

Beitragvon Orbiter » Mo Apr 08, 2013 3:24 pm

wobei ist das, beim DHT Transfer?
Orbiter
 
Beiträge: 5797
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: fette /solr/select - Abrfagen

Beitragvon sixcooler » Mo Apr 08, 2013 5:39 pm

/solr/select-Abfragen sind, dachte ich, einfach Suchen - geht da nun auch DHT drüber?
Die Abfragende IP ist irgendwer - aber keine von meinem IPs.
So fand ich z.B. eine Abfrage unter /Connections_p.html vor - das waren dan ca 40MB die der Peer senden musste :-)
Code: Alles auswählen
/solr/select?q=%28%28text_t%3A%28%22clement%22+AND+%22moulin%22%29%5E2.0%29+OR+%28url_paths_sxt%3A%28%22clement%22+AND+%22moulin%22%29%5E20.0%29+OR+%28title%3A%28%22clement%22+AND+%22moulin%22%29%5E100.0%29+OR+%28synonyms_sxt%3A%28%22clement%22+AND+%22moulin%22%29%5E1.0%29%29+AND+httpstatus_i%3A200&defType=edismax&bq=fuzzy_signature_unique_b%3Atrue%5E100000.0&start=0&rows=20&facet=true&facet.limit=30&facet.sort=count&facet.field=host_s&facet.field=url_protocol_s&facet.field=url_file_ext_s&facet.field=host_s&facet.field=url_protocol_s&facet.field=url_file_ext_s&facet.field=host_s&facet.field=url_protocol_s&facet.field=url_file_ext_s&facet.field=host_s&facet.field=url_protocol_s&facet.field=url_file_ext_s&facet.field=host_s&facet.field=url_protocol_s&facet.field=url_file_ext_s&facet.field=host_s&facet.field=url_protocol_s&facet.field=url_file_ext_s&facet.field=host_s&facet.field=url_protocol_s&facet.field=url_file_ext_s&facet.field=host_s&facet.field=url_protocol_s&facet.field=url_file_ext_s&facet.field=host_s&facet.field=url_protocol_s&facet.field=url_file_ext_s&facet.field=host_s&facet.field=url_protocol_s&facet.field=url_file_ext_s&facet.field=host_s&facet.field=url_protocol_s&facet.field=url_file_ext_s&facet.field=host_s&facet.field=url_protocol_s&facet.field=url_file_ext_s&facet.field=host_s&facet.field=url_protocol_s&facet.field=url_file_ext_s&facet.field=host_s&facet.field=url_protocol_s&facet.field=url_file_ext_s&facet.field=host_s&facet.field=url_protocol_s&facet.field=url_file_ext_s&facet.field=host_s&facet.field=url_protocol_s&facet.field=url_file_ext_s&facet.field=host_s&facet.field=url_protocol_s&facet.field=url_file_ext_s&facet.field=host_s&facet.field=url_protocol_s&facet.field=url_file_ext_s&facet.field=host_s&facet.field=url_protocol_s&facet.field=url_file_ext_s&facet.field=host_s&facet.field=url_protocol_s&facet.field=url_file_ext_s&facet.field=host_s&facet.field=url_protocol_s&facet.field=url_file_ext_s&facet.field=host_s&facet.field=url_protocol_s&facet.field=url_file_ext_s&facet.field=host_s&facet.field=url_protocol_s&facet.field=url_file_ext_s&facet.field=host_s&facet.field=url_protocol_s&facet.field=url_file_ext_s&facet.field=host_s&facet.field=url_protocol_s&facet.field=url_file_ext_s&facet.field=host_s&facet.field=url_protocol_s&facet.field=url_file_ext_s&facet.field=host_s&facet.field=url_protocol_s&facet.field=url_file_ext_s&facet.field=host_s&facet.field=url_protocol_s&facet.field=url_file_ext_s&facet.field=host_s&facet.field=url_protocol_s&facet.field=url_file_ext_s&facet.field=host_s&facet.field=url_protocol_s&facet.field=url_file_ext_s&facet.field=host_s&facet.field=url_protocol_s&facet.field=url_file_ext_s&facet.field=host_s&facet.field=url_protocol_s&facet.field=url_file_ext_s&facet.field=host_s&facet.field=url_protocol_s&facet.field=url_file_ext_s&facet.field=host_s&facet.field=url_protocol_s&facet.field=url_file_ext_s&facet.field=host_s&facet.field=url_protocol_s&facet.field=url_file_ext_s&facet.field=host_s&facet.field=url_protocol_s&facet.field=url_file_ext_s&facet.field=host_s&facet.field=url_protocol_s&facet.field=url_file_ext_s&hl=true&hl.fragsize=220&hl.simple.post=%3C%2Fb%3E&hl.simple.pre=%3Cb%3E&hl.snippets=1&hl.fl=h1_txt&hl.fl=h2_txt&hl.fl=text_t&hl.fl=h1_txt&hl.fl=h2_txt&hl.fl=text_t&hl.fl=h1_txt&hl.fl=h2_txt&hl.fl=text_t&hl.fl=h1_txt&hl.fl=h2_txt&hl.fl=text_t&hl.fl=h1_txt&hl.fl=h2_txt&hl.fl=text_t&hl.fl=h1_txt&hl.fl=h2_txt&hl.fl=text_t&hl.fl=h1_txt&hl.fl=h2_txt&hl.fl=text_t&hl.fl=h1_txt&hl.fl=h2_txt&hl.fl=text_t&hl.fl=h1_txt&hl.fl=h2_txt&hl.fl=text_t&hl.fl=h1_txt&hl.fl=h2_txt&hl.fl=text_t&hl.fl=h1_txt&hl.fl=h2_txt&hl.fl=text_t&hl.fl=h1_txt&hl.fl=h2_txt&hl.fl=text_t&hl.fl=h1_txt&hl.fl=h2_txt&hl.fl=text_t&hl.fl=h1_txt&hl.fl=h2_txt&hl.fl=text_t&hl.fl=h1_txt&hl.fl=h2_txt&hl.fl=text_t&hl.fl=h1_txt&hl.fl=h2_txt&hl.fl=text_t&hl.fl=h1_txt&hl.fl=h2_txt&hl.fl=text_t&hl.fl=h1_txt&hl.fl=h2_txt&hl.fl=text_t&hl.fl=h1_txt&hl.fl=h2_txt&hl.fl=text_t&hl.fl=h1_txt&hl.fl=h2_txt&hl.fl=text_t&hl.fl=h1_txt&hl.fl=h2_txt&hl.fl=text_t&hl.fl=h1_txt&hl.fl=h2_txt&hl.fl=text_t&hl.fl=h1_txt&hl.fl=h2_txt&hl.fl=text_t&hl.fl=h1_txt&hl.fl=h2_txt&hl.fl=text_t&hl.fl=h1_txt&hl.fl=h2_txt&hl.fl=text_t&hl.fl=h1_txt&hl.fl=h2_txt&hl.fl=text_t&hl.fl=h1_txt&hl.fl=h2_txt&hl.fl=text_t&hl.fl=h1_txt&hl.fl=h2_txt&hl.fl=text_t&hl.fl=h1_txt&hl.fl=h2_txt&hl.fl=text_t&hl.fl=h1_txt&hl.fl=h2_txt&hl.fl=text_t&hl.fl=h1_txt&hl.fl=h2_txt&hl.fl=text_t&hl.fl=h1_txt&hl.fl=h2_txt&hl.fl=text_t&hl.fl=h1_txt&hl.fl=h2_txt&hl.fl=text_t&hl.fl=h1_txt&hl.fl=h2_txt&hl.fl=text_t&hl.fl=h1_txt&hl.fl=h2_txt&hl.fl=text_t&hl.fl=h1_txt&hl.fl=h2_txt&hl.fl=text_t&hl.fl=h1_txt&hl.fl=h2_txt&hl.fl=text_t&fl=*%2Cscore&wt=xml&version=2.2
sixcooler
 
Beiträge: 494
Registriert: Do Aug 14, 2008 5:22 pm

Re: fette /solr/select - Abrfagen

Beitragvon Orbiter » Mi Apr 10, 2013 6:06 am

ach ja, DHT hatte ich geplant ein wenig umzustellen. Zur Zeit gehen nur Suchanfragen so.

Ja das ist zu viel. Auch diese merkwürdigen Suchanfragen mit den sich wiederholenden Feldern ist mir aufgefallen, ich weiss noch nicht ob das ein Fehler ist oder wie es dazu kommt. Jedenfalls wäre es richtig die Datenmenge zu begrenzen.

Was wäre eine sinnvolle Größe? Ich will das Feld text_t nicht komplett rauswerfen, weil es den Index des suchenden Peers schön mit anfüllt und dessen Suche weiterhin verbessert. Wie wäre es mit 10kb Obergrenze? Oder ist das noch zu viel?
Orbiter
 
Beiträge: 5797
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: fette /solr/select - Abrfagen

Beitragvon sixcooler » Mi Apr 10, 2013 12:59 pm

Hallo,

ja ich denke 10K sollte gut gehen - in der betreffenden Anfrage hatte ich ja eher ca 1M/doc.

Cu, Sebastian.
sixcooler
 
Beiträge: 494
Registriert: Do Aug 14, 2008 5:22 pm

Re: fette /solr/select - Abrfagen

Beitragvon Vega » Do Apr 11, 2013 12:32 am

Ich hab irgendwo bei Solr gelesen das man die XML Ausgabe dann - ähnlich wie bei HTML - mit GZIP Komprimieren soll, das wäre ja zumindest einen Versuch wert, oder ?

Bei normalem HTML bringt das ja schon einiges, sieht man gut wenn man sich in Firebug mal die Ausgaben unter http://178.63.84.82:8092 und http://178.63.84.82 ansieht und vergleicht.

Thomas
Vega
 
Beiträge: 824
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden

Re: fette /solr/select - Abrfagen

Beitragvon sixcooler » Do Apr 11, 2013 12:29 pm

Hallo,

sicher ist auch eine Komprimierung eine gute Idee.
Aber es ändert nichts daran das das Zeuch auch in diversen Caches liegt und mächtig Speicher frist.
Von daher fänd ich ein reduzieren schon besser.

Cu, sixcooler.
sixcooler
 
Beiträge: 494
Registriert: Do Aug 14, 2008 5:22 pm


Zurück zu Solr Support

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast