Libraries hinzufügen...

Forum for developers

Libraries hinzufügen...

Beitragvon apfelmaennchen » Sa Jul 12, 2008 8:54 am

Guten Morgen,

ich bin auf eine schöne Library gestossen: http://www.sauronsoftware.it/projects/cron4j/index.php
Habe das sofort in meine Bookmarks eingebaut, funktioniert prima, damit lässt sich der oft gewünschte Scheduler für automatische Re-Crawls recht simpel implementieren.

Nun zu meiner Frage, ich hatte zunächst, das JAR-File in meinen Eclipse Workspace kopiert und dann auf Add to Build Path (so hab ich das bisher immer gemacht). Für Eclipse ist die Welt damit auch in Ordnung (wenn man die Klasse verwendet kommt automatisch der richtige import Vorschlag), nur wenn ich YaCy compilieren möchte, behauptet javac, dass es die Klasse nicht finden kann. Als Notlösung hab ich das JAR jetzt in der build.xml (<!-- libs needed for the yacy...) direkt eingetragen - das kann aber doch nicht die Lösung sein! Was mache ich falsch?

Gruß!
apfelmaennchen
apfelmaennchen
 
Beiträge: 429
Registriert: Mo Aug 20, 2007 7:06 pm

Re: Libraries hinzufügen...

Beitragvon lulabad » Sa Jul 12, 2008 9:29 am

Eigentlich brauchst du es nur ins libx oder lib Verzeichnis kopieren, dann sollte es funktionieren.
Eventuell muss man aber die Targets in der build.xml noch anpassen.
lulabad
 
Beiträge: 709
Registriert: Mi Jun 27, 2007 11:40 am
Wohnort: Im Herzen Bayerns

Re: Libraries hinzufügen...

Beitragvon Lotus » Sa Jul 12, 2008 11:16 am

@apfelmaennchen
genau so habe ich es auch gemacht. Aber die Libs landen nicht im dist-Archiv. Mir ist es schleierhaft, wie die anderen Libs dort rein kommen.
Ich habe momentan ein Tray-Icon so gut wie fertig.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: Libraries hinzufügen...

Beitragvon Lotus » So Jul 13, 2008 9:08 am

Mein Fehler war, dass ich das libx-Verzeichnis genommen habe. Dort finden alle Parser Platz und die haben ihre eigene build.xml.
Deine Referenz in der build.xml ist schon richtig. Das sieht an der Stelle so wenig aus, weil wir so viele libs für Parser haben.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: Libraries hinzufügen...

Beitragvon Orbiter » So Jul 20, 2008 12:30 am

das cron4j ist zwar schön gemacht, aber für das regelmäßige Ausführen von Jobs gibt es seit schon immer in YaCy den serverBusyThread, den man mit einem serverInstantBusyThread erzeugt. Das ist die Thread-Kontrolle für alle zeitgesteuerten Vorgänge in YaCy, inklusive Crawler und Indexierer.
Ich würde es vorziehen nicht 2 verschiedene Scheduler zu haben. Den serverBusyThread ist so gestaltet, dass man Statistiken über die Laufzeiten bekommt, was man ja auch in der Queues Statistik Seite schön sehen kann.
apfelmaennchen, kannst du das nicht auch für deine Bookmarks verwenden?
Orbiter
 
Beiträge: 5796
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Libraries hinzufügen...

Beitragvon apfelmaennchen » So Jul 20, 2008 11:41 am

@orbiter:

Ich bin absolut Deiner Meinung, dass YaCy nicht mehr als einen Scheduler haben sollte. Das ist auch der Grund, warum ich cron4j nur testhalber lokal bei mir in die bookmarksDB eingebaut habe und erst gar nicht ins svn hochgeladen - die Existenz von serverBusyThread war mir sehr wohl bewusst, aber soweit ich den Code richtig lese, kann serverBusyThread, was das Scheduling (zeitbezogen) angeht, genau das, was Java von Haus aus auch kann: "Warte xxx ms und mach dann weiter." Korrigiere mich bitte, falls ich das falsch interpretiert habe.

Klar könnte ich serverBusyThread verwenden....wie auch immer, ich habe das ganze mit cron4j als Proof of Concept zum Download gestellt. Das Runnable Objekt recrawl (bookmark folder) als Kern des ganzen, bleibt ja unverändert, egal welchen Scheduler man einsetzt. Recrawl sorgt dafür, dass ein Bookmark-Folder gescannt wird und alle enthaltenen URLs in die Crawl-Profiles übernommen und gestartet werden. Das könnte man sogar per Knopfdruck aus dem Webinterface heraus machen, quasi per menschlichem Scheduler.

Gruß!
apfelmaennchen
apfelmaennchen
 
Beiträge: 429
Registriert: Mo Aug 20, 2007 7:06 pm


Zurück zu YaCy Coding & Architecture

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast