Ein paar Dinge in CrawlProfileEditor_p.html

Ideen und Vorschläge sind willkommen.

Ein paar Dinge in CrawlProfileEditor_p.html

Beitragvon Icebreeze » So Sep 19, 2010 8:56 am

Hallo zusammen

Erst einmal möchte ich an die Macher von Yacy ein dickes Lob aussprechen. Die Crawls werden nicht mehr gekillt und die Must-Match-Filter bleiben wie sie sind.

Ich möchte langfristig ein Suchportal rund um die Aquaristik aufbauen und crawle deshalb nur Seiten mit Bezug zur Aquaristik. D.h. ich verwende in den Crawls nicht Dinge wie Must-Match=.*aquarium.* sondern gebe jede Seite einzeln an.
Mittlerweile habe ich so an die 750 verschiedene Crawlprofile und das wird im CrawlProfileEditor dann doch ein wenig unübersichtlich.

Meine Ideen/Wünsche wären diesbezüglich:
- bei "aufgezeichnete Aktionen" eine Seitensteuerung einbauen, damit nicht alle aufgezeichneten Aktionen auf einen Schlag angezeigt werden (CrawlProfileEditor_p.html ist jetzt schon an die 700kb gross). Meine Sorge ist das ab einem gewissen Zeitpunkt die Anzeige wegen eines Timeouts fehlschlägt.
- bei "Profil zur Bearbeitung auswählen" die Auflistung alphabetisch sortieren. Manchmal stolpert man über die eigene Schusseligkeit, vertippt sich und sieht das dann erst später (z.b. Must-Match-Filter falsch gesetzt). In der jetztigen Dropdownbox dauert es bei ¯750 Profilen eine Ewigkeit bis man den richtigen Eintrag findet.

rgds
IceBreeze
Icebreeze
 
Beiträge: 30
Registriert: Do Okt 16, 2008 6:37 pm

Re: Ein paar Dinge in CrawlProfileEditor_p.html

Beitragvon Orbiter » Mo Sep 20, 2010 10:12 am

oha 750 crawl Profile ist ja eine interessante Sache was du da machst!

Fürs Sortieren der Einträge in den Profilen kann ich schnell weiterhelfen: in SVN 7172 drin.
Aber wie willst du die Seitensteuerung denn haben? Hierbeit gilt es zu beachten: die Liste oben ist nur über ein iframe eingebunden, das eigentliche Servlet ist die API-Steering Seite die es auch nochmal separat (unter API Action Steering links im Menü) gibt. Das hier ist nur eine gefilterte Ansicht wo nur die Crawls drin stehen. Jede Änderung wirkt sich also auch auf diesen separaten Punkt aus.

Wie müsste ich mir die Seitensteuerung denn vorstellen?
Orbiter
 
Beiträge: 5796
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Ein paar Dinge in CrawlProfileEditor_p.html

Beitragvon Orbiter » Di Sep 21, 2010 2:13 pm

in SVN 7178 gibts nun Navigationsknöpfe und ein Suchfenster bei den API Commands. Das war höllisch aufwendig wegen vielem Testen...

Per default werden nun immer nur 25 Einträge pro Seite angezeigt, allerdings erst wenn man mehr als 50 Einträge hat. Wenn man mehr als 50 Einträge hat kann man mit Pfeilen seitenweise navigieren. Alternativ kann man nur die Einträge auswählen die man per Suche erreichen kann.
Orbiter
 
Beiträge: 5796
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Ein paar Dinge in CrawlProfileEditor_p.html

Beitragvon Icebreeze » Fr Sep 24, 2010 3:55 pm

Hi

Danke für Deine Mühe.

Irgendwie hat es mir Yacy mit dem letzten Ubuntu-Update zerschossen, am Anfang lief Yacy ca. eine Stunde lang und war dann nicht mehr ansprechbar (wohl aber noch im Speicher), nun ist Yacy gar nicht mehr erreichbar.

Werde am Wochenende das letzte Backup nehmen und weiterschauen.

rgds
IceBreeze
Icebreeze
 
Beiträge: 30
Registriert: Do Okt 16, 2008 6:37 pm

Re: Ein paar Dinge in CrawlProfileEditor_p.html

Beitragvon Icebreeze » Sa Sep 25, 2010 9:32 am

Hi Orbiter

So Yacy sollte nun wieder laufen...

Danke, es hat sogar ein Suchfeld, das hilft mir sehr doppelte Crawls zu verhindern.

rgds
IceBreeze
Icebreeze
 
Beiträge: 30
Registriert: Do Okt 16, 2008 6:37 pm


Zurück zu Wunschliste

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste