YaCy Mini - oder: Wie sieht der ideale YaCy-Server aus?

[Lindenblatt]

Hallo!

Nachdem ich mit YaCy ein bißchen rumgespielt habe, habe ich eine Frage:
Wie sieht der ideale YaCy-Server aus?
Ich möchte einen kleinen „Plug & Play“ Server-Einschub zusammenbasteln, ähnlich dem Google Mini http://mini.google.com/
Das ganze soll unter FreeBSD laufen. Da YaCy noch ein bißchen wacklig ist und größere Fehler (bis hin zum Ausfall der Fern-Administrierbarkeit) nicht ausgeschlossen werden können, dachte ich an eine große + schnelle Festplatte für das Datenverzeichnis und einen Flash-Speicher mit YaCy und dem Betriebssystem (evtl. als CompactFlash-Karte). So ist es möglich, eine aktualisierte Version von YaCy aufzuspielen und per Post zu verschicken, der „dumme“ User muß dann nur die Einsteckkarte wechseln.
Eine ganz ähnliche Konfiguration mit YaCy ist ja schon im Einsatz: http://forum.yacy-websuche.de/viewtopic.php?f=15&t=900
Dies könnte dann als „Plug&Play“-Lösung auch kommerziell angeboten werden -- damit YaCy mal endlich aus der „Netz-Nerds“-Ecke herauskommt (ist durchaus liebevoll gemeint!). Vielleicht kann => Orbiter solche Geräte lizenzieren („YaCy inside“) und damit auch ein wenig Geld verdienen. (Wovon lebt der eigentlich? )

Alles gute für 2012
wünscht
Gunnar

[Orbiter]

(Wovon lebt der eigentlich? )

ich bin freelancer


"YaCy Mini" ist aber schon mal ein schöner Titel für ein 'Community-Produkt', also etwas das offen beschrieben und leicht zu bauen ist.
Unter diesen Aspekten könnte man das Thema angehen: günstig, kostensparend, stromsparend.

Es geht aber dann schon in die Richtung 'personal cloud' und da gibts auch schon dieses 'freedombox project'

[LA_FORGE]

Ich hab mir zu Weihnachten den hier gegönnt. Da läuft FreeBSD als Firewall-Appliance drauf (Die Distri nennt sich pfSense). Ich nutze es als WLAN-Router. Man kann sich aber auch ganz normal mit SSH drauf anmelden (muss vorher in den Settings freigeschaltet werden) und dann JRE installieren, dann wäre es auch ideal für YaCy

Code: Alles auswählen

# uname -a
FreeBSD pfsense.local 8.1-RELEASE-p6 FreeBSD 8.1-RELEASE-p6 #1: Mon Dec 12 18:19:11 EST 2011     root@FreeBSD_8.0_pfSense_2.0-snaps.pfsense.org:/usr/obj./usr/pfSensesrc/src/sys/pfSense_wrap.8.i386  i386


[Orbiter]

ich hab mir ja auch so einen linuxbasierten wlan-hotspot gekauft, aber da sind zu wenig resourcen frei. Wie sieht es mit der Kiste aus? Hast du schon mal probiert nur java drauf zu bekommen?

[kilian]

also ich hab einen pogoplug basierend auf arm5. hab archlinuxarm drauf. JRE ist auch drauf, nur YaCy hab ich noch nie ausprobiet. Das werd ich demnächst mal nachholen.
Aber was muss ich alles ausschalten damit YaCy auf 128Mb Ram läuft?

[LA_FORGE]

@Orbiter

Ja, Java läuft seit eben:

Code: Alles auswählen

# java -version
openjdk version "1.6.0"
OpenJDK Runtime Environment (build 1.6.0-b19)
OpenJDK Client VM (build 16.0-b13, mixed mode)


ARM Prozzi habe ich auch in meiner FritzBox 7390, aber bei der Kiste habe ich ne AMD Geode CPU und 256 MB RAM.

[LA_FORGE]

Hab YaCy mal auf die Kiste geschaufelt aber

# screen
screen: Command not found.

Ich kann so nitt schaffe muss erst mal screen bauen.

[LA_FORGE]

S 2012/01/10 20:58:50 YACY_SEARCH Starting Crawl Loader
D 2012/01/10 20:58:51 net.yacy.upnp.DiscoveryAdvertisement NOTIFY * HTTP/1.1
LOCATION: http://10.130.201.28:51318/
DATE: Tue, 10 Jan 2012 20:52:56 GMT
HOST: 239.255.255.250:1900
SERVER: sparkdevice/1.0
NTS: ssdp:alive
USN: uuid:89ea8f0c-f22c-58d2-8fb2-a7385dc34df1::urn:schemas-cyberlink-com:service:RemoteControl:1
CACHE-CONTROL: max-age=300
NT: urn:schemas-cyberlink-com:service:RemoteControl:1


D 2012/01/10 20:58:51 net.yacy.upnp.DiscoveryAdvertisement NOTIFY * HTTP/1.1
LOCATION: http://10.130.201.28:51318/
DATE: Tue, 10 Jan 2012 20:52:56 GMT
HOST: 239.255.255.250:1900
SERVER: sparkdevice/1.0
NTS: ssdp:alive
USN: uuid:89ea8f0c-f22c-58d2-8fb2-a7385dc34df1::urn:schemas-cyberlink-com:service:RemoteControl:1
CACHE-CONTROL: max-age=300
NT: urn:schemas-cyberlink-com:service:RemoteControl:1


Killed

Hm.. die Parser werden noch alle initialisiert und dann kommt direkt nach dem uPNP-Discovery ein "Killed"
im Logfile ist sonst auch nichts anderes zu finden

[LA_FORGE]

Den Speicher hab ich sicherheitshalber auf 128 MB runtergesetzt und upnp.enabled auf false gesetzt, dann geht's

Das Web-Interface kann ich auch aufrufen, aber kurze Zeit später steht auf der Console dann wieder 'killed'

[LA_FORGE]

Jetzt kann ich auch mehr zum Absturz sagen:

Code: Alles auswählen

W 2012/01/10 21:18:22 StackTrace null
java.lang.reflect.InvocationTargetException
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:616)
        at net.yacy.kelondro.workflow.InstantBusyThread.job(InstantBusyThread.java:110)
        at net.yacy.kelondro.workflow.AbstractBusyThread.run(AbstractBusyThread.java:161)
Caused by: java.lang.AssertionError: file.size() = 27, index.size() = 20
        at net.yacy.kelondro.table.Table.remove(Table.java:692)
        at net.yacy.peers.NewsQueue.remove(NewsQueue.java:149)
        at net.yacy.peers.NewsPool.automaticProcess(NewsPool.java:394)
        at net.yacy.search.Switchboard.cleanupJob(Switchboard.java:1741)
        ... 6 more
W 2012/01/10 21:18:22 StackTrace file.size() = 27, index.size() = 20
java.lang.AssertionError: file.size() = 27, index.size() = 20
        at net.yacy.kelondro.table.Table.remove(Table.java:692)
        at net.yacy.peers.NewsQueue.remove(NewsQueue.java:149)
        at net.yacy.peers.NewsPool.automaticProcess(NewsPool.java:394)
        at net.yacy.search.Switchboard.cleanupJob(Switchboard.java:1741)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:616)
        at net.yacy.kelondro.workflow.InstantBusyThread.job(InstantBusyThread.java:110)
        at net.yacy.kelondro.workflow.AbstractBusyThread.run(AbstractBusyThread.java:161)
E 2012/01/10 21:18:22 BUSYTHREAD Runtime Error in serverInstantThread.job, thread 'net.yacy.search.Switchboard.cleanupJob': null; target exception: file.size() = 27, index.size() = 20
java.lang.AssertionError: file.size() = 27, index.size() = 20
        at net.yacy.kelondro.table.Table.remove(Table.java:692)
        at net.yacy.peers.NewsQueue.remove(NewsQueue.java:149)
        at net.yacy.peers.NewsPool.automaticProcess(NewsPool.java:394)
        at net.yacy.search.Switchboard.cleanupJob(Switchboard.java:1741)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:616)
        at net.yacy.kelondro.workflow.InstantBusyThread.job(InstantBusyThread.java:110)
        at net.yacy.kelondro.workflow.AbstractBusyThread.run(AbstractBusyThread.java:161)
Killed


[LA_FORGE]

Code: Alles auswählen

W 2012/01/10 21:44:22 StackTrace null
java.lang.reflect.InvocationTargetException
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:616)
        at net.yacy.kelondro.workflow.InstantBusyThread.job(InstantBusyThread.java:110)
        at net.yacy.kelondro.workflow.AbstractBusyThread.run(AbstractBusyThread.java:161)
Caused by: java.lang.NullPointerException
        at net.yacy.kelondro.workflow.WorkflowProcessor.queueIsEmpty(WorkflowProcessor.java:87)
        at de.anomic.crawler.CrawlStacker.isEmpty(CrawlStacker.java:107)
        at net.yacy.search.Switchboard.cleanProfiles(Switchboard.java:1546)
        at net.yacy.search.Switchboard.cleanupJob(Switchboard.java:2084)
        ... 6 more
W 2012/01/10 21:44:22 StackTrace null
java.lang.NullPointerException
        at net.yacy.kelondro.workflow.WorkflowProcessor.queueIsEmpty(WorkflowProcessor.java:87)
        at de.anomic.crawler.CrawlStacker.isEmpty(CrawlStacker.java:107)
        at net.yacy.search.Switchboard.cleanProfiles(Switchboard.java:1546)
        at net.yacy.search.Switchboard.cleanupJob(Switchboard.java:2084)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:616)
        at net.yacy.kelondro.workflow.InstantBusyThread.job(InstantBusyThread.java:110)
        at net.yacy.kelondro.workflow.AbstractBusyThread.run(AbstractBusyThread.java:161)
E 2012/01/10 21:44:22 BUSYTHREAD Runtime Error in serverInstantThread.job, thread 'net.yacy.search.Switchboard.cleanupJob': null; target exception: null
java.lang.NullPointerException
        at net.yacy.kelondro.workflow.WorkflowProcessor.queueIsEmpty(WorkflowProcessor.java:87)
        at de.anomic.crawler.CrawlStacker.isEmpty(CrawlStacker.java:107)
        at net.yacy.search.Switchboard.cleanProfiles(Switchboard.java:1546)
        at net.yacy.search.Switchboard.cleanupJob(Switchboard.java:2084)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:616)
        at net.yacy.kelondro.workflow.InstantBusyThread.job(InstantBusyThread.java:110)
        at net.yacy.kelondro.workflow.AbstractBusyThread.run(AbstractBusyThread.java:161)


[LA_FORGE]

Hm.. ich glaube das wird nix auf der Plattform Zu wenig RAM

Code: Alles auswählen

E 2012/01/10 21:47:52 TABLE urlNoticeCoreStack9.db: not enough RAM (90MB) left for index, deleting allocated table space to enable index space allocation (needed: 400MB)

E 2012/01/10 21:47:53 TABLE urlNoticeCoreStack9.db: RAM after releasing the table: 114MB

I 2012/01/10 21:47:53 TABLE initialization of urlNoticeLimitStack9.db. table copy: no, available RAM: 114MB, needed: 200MB, allocating space for 0 entries

E 2012/01/10 21:47:53 TABLE urlNoticeLimitStack9.db: not enough RAM (114MB) left for index, deleting allocated table space to enable index space allocation (needed: 400MB)

E 2012/01/10 21:47:53 TABLE urlNoticeLimitStack9.db: RAM after releasing the table: 114MB

I 2012/01/10 21:47:53 TABLE initialization of urlNoticeRemoteStack9.db. table copy: no, available RAM: 114MB, needed: 200MB, allocating space for 0 entries

E 2012/01/10 21:47:53 TABLE urlNoticeRemoteStack9.db: not enough RAM (114MB) left for index, deleting allocated table space to enable index space allocation (needed: 400MB)

E 2012/01/10 21:47:54 TABLE urlNoticeRemoteStack9.db: RAM after releasing the table: 114MB

I 2012/01/10 21:47:54 TABLE initialization of urlNoticeNoLoadStack9.db. table copy: no, available RAM: 114MB, needed: 200MB, allocating space for 0 entries

E 2012/01/10 21:47:54 TABLE urlNoticeNoLoadStack9.db: not enough RAM (114MB) left for index, deleting allocated table space to enable index space allocation (needed: 400MB)

E 2012/01/10 21:47:54 TABLE urlNoticeNoLoadStack9.db: RAM after releasing the table: 114MB

I 2012/01/10 21:47:54 TABLE initialization of urlError3.db. table copy: no, available RAM: 114MB, needed: 200MB, allocating space for 0 entries

E 2012/01/10 21:47:54 TABLE urlError3.db: not enough RAM (114MB) left for index, deleting allocated table space to enable index space allocation (needed: 400MB)

E 2012/01/10 21:47:55 TABLE urlError3.db: RAM after releasing the table: 114MB

I 2012/01/10 21:47:55 TABLE initialization of urlDelegated3.db. table copy: no, available RAM: 114MB, needed: 200MB, allocating space for 0 entries

E 2012/01/10 21:47:55 TABLE urlDelegated3.db: not enough RAM (114MB) left for index, deleting allocated table space to enable index space allocation (needed: 400MB)

E 2012/01/10 21:47:55 TABLE urlDelegated3.db: RAM after releasing the table: 114MB


[Orbiter]

ich hab letztens einen kleinen Index auf unter 30MB RAM gehabt. Probier doch noch mal mit viel weniger Speicher. Darfst du dann natürlich nicht gleich vollballern bis anschlag mit Webseiten.

[LA_FORGE]

Alles klar. Danke!

Mein Traum wäre ja noch, YaCy (wieder) auf meinem "alten" iMac G5 unter Leopard zum laufen zu bekommen. Die Kiste hat nämlich 1,5 GB RAM und YaCy lief da immer 1a, bis Apple sich dazu entschieden hat, kein Java 6 auf den PPC-Prozessor-Maschinen auszurollen

Marc hat mir dazu auch eine tolle Anleitung gepostet. Habe alles so gemacht wie dort beschrieben, aber es crasht halt.

Ich weiß nicht was ich von OpenJDK halten soll. Ich hatte ja YaCy schonmal monatelang problemlos unter FreeBSD laufen, damals mit dieser JRE. Diese Portierung scheint es aber (noch) nicht für FreeBSD 8.0/8.1 zu geben

[LA_FORGE]

Gerade im Kernel-Log gefunden:

Code: Alles auswählen

pid 47603 (java), uid 2000, was killed: out of swap space
pid 23450 (java), uid 2000, was killed: out of swap space
pid 32583 (java), uid 2000, was killed: out of swap space


Aah, da liegt also der Hund begraben, dann muss ich mal eine zusätzliche Swap-Partition anlegen.