YaCy Mini - oder: Wie sieht der ideale YaCy-Server aus?

Ereignisse, Vorschläge und Aktionen

YaCy Mini - oder: Wie sieht der ideale YaCy-Server aus?

Beitragvon Lindenblatt » Mo Jan 02, 2012 2:46 pm

Hallo!

Nachdem ich mit YaCy ein bißchen rumgespielt habe, habe ich eine Frage:
Wie sieht der ideale YaCy-Server aus?
Ich möchte einen kleinen „Plug & Play“ Server-Einschub zusammenbasteln, ähnlich dem Google Mini http://mini.google.com/
Das ganze soll unter FreeBSD laufen. Da YaCy noch ein bißchen wacklig ist und größere Fehler (bis hin zum Ausfall der Fern-Administrierbarkeit) nicht ausgeschlossen werden können, dachte ich an eine große + schnelle Festplatte für das Datenverzeichnis und einen Flash-Speicher mit YaCy und dem Betriebssystem (evtl. als CompactFlash-Karte). So ist es möglich, eine aktualisierte Version von YaCy aufzuspielen und per Post zu verschicken, der „dumme“ User muß dann nur die Einsteckkarte wechseln.
Eine ganz ähnliche Konfiguration mit YaCy ist ja schon im Einsatz: http://forum.yacy-websuche.de/viewtopic.php?f=15&t=900
Dies könnte dann als „Plug&Play“-Lösung auch kommerziell angeboten werden -- damit YaCy mal endlich aus der „Netz-Nerds“-Ecke herauskommt (ist durchaus liebevoll gemeint!). Vielleicht kann => Orbiter solche Geräte lizenzieren („YaCy inside“) und damit auch ein wenig Geld verdienen. (Wovon lebt der eigentlich? ;) )

Alles gute für 2012
wünscht
Gunnar
Lindenblatt
 
Beiträge: 20
Registriert: Mi Mai 18, 2011 1:28 am

Re: YaCy Mini - oder: Wie sieht der ideale YaCy-Server aus?

Beitragvon Orbiter » Di Jan 10, 2012 1:34 pm

Lindenblatt hat geschrieben:(Wovon lebt der eigentlich? ;) )

ich bin freelancer
Bild

"YaCy Mini" ist aber schon mal ein schöner Titel für ein 'Community-Produkt', also etwas das offen beschrieben und leicht zu bauen ist.
Unter diesen Aspekten könnte man das Thema angehen: günstig, kostensparend, stromsparend.

Es geht aber dann schon in die Richtung 'personal cloud' und da gibts auch schon dieses 'freedombox project'
Orbiter
 
Beiträge: 5797
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: YaCy Mini - oder: Wie sieht der ideale YaCy-Server aus?

Beitragvon LA_FORGE » Di Jan 10, 2012 3:19 pm

Ich hab mir zu Weihnachten den hier gegönnt. Da läuft FreeBSD als Firewall-Appliance drauf (Die Distri nennt sich pfSense). Ich nutze es als WLAN-Router. Man kann sich aber auch ganz normal mit SSH drauf anmelden (muss vorher in den Settings freigeschaltet werden) und dann JRE installieren, dann wäre es auch ideal für YaCy :-)

Code: Alles auswählen
# uname -a
FreeBSD pfsense.local 8.1-RELEASE-p6 FreeBSD 8.1-RELEASE-p6 #1: Mon Dec 12 18:19:11 EST 2011     root@FreeBSD_8.0_pfSense_2.0-snaps.pfsense.org:/usr/obj./usr/pfSensesrc/src/sys/pfSense_wrap.8.i386  i386
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Re: YaCy Mini - oder: Wie sieht der ideale YaCy-Server aus?

Beitragvon Orbiter » Di Jan 10, 2012 3:30 pm

ich hab mir ja auch so einen linuxbasierten wlan-hotspot gekauft, aber da sind zu wenig resourcen frei. Wie sieht es mit der Kiste aus? Hast du schon mal probiert nur java drauf zu bekommen?
Orbiter
 
Beiträge: 5797
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: YaCy Mini - oder: Wie sieht der ideale YaCy-Server aus?

Beitragvon kilian » Di Jan 10, 2012 8:26 pm

also ich hab einen pogoplug basierend auf arm5. hab archlinuxarm drauf. JRE ist auch drauf, nur YaCy hab ich noch nie ausprobiet. Das werd ich demnächst mal nachholen.
Aber was muss ich alles ausschalten damit YaCy auf 128Mb Ram läuft?
kilian
 
Beiträge: 79
Registriert: Mi Feb 23, 2011 11:34 am
Wohnort: Bayern

Re: YaCy Mini - oder: Wie sieht der ideale YaCy-Server aus?

Beitragvon LA_FORGE » Di Jan 10, 2012 8:50 pm

@Orbiter

Ja, Java läuft seit eben:

Code: Alles auswählen
# java -version
openjdk version "1.6.0"
OpenJDK Runtime Environment (build 1.6.0-b19)
OpenJDK Client VM (build 16.0-b13, mixed mode)


ARM Prozzi habe ich auch in meiner FritzBox 7390, aber bei der Kiste habe ich ne AMD Geode CPU und 256 MB RAM.
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Re: YaCy Mini - oder: Wie sieht der ideale YaCy-Server aus?

Beitragvon LA_FORGE » Di Jan 10, 2012 9:14 pm

Hab YaCy mal auf die Kiste geschaufelt aber

# screen
screen: Command not found.


Ich kann so nitt schaffe :D muss erst mal screen bauen.
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Re: YaCy Mini - oder: Wie sieht der ideale YaCy-Server aus?

Beitragvon LA_FORGE » Di Jan 10, 2012 10:01 pm

S 2012/01/10 20:58:50 YACY_SEARCH Starting Crawl Loader
D 2012/01/10 20:58:51 net.yacy.upnp.DiscoveryAdvertisement NOTIFY * HTTP/1.1
LOCATION: http://10.130.201.28:51318/
DATE: Tue, 10 Jan 2012 20:52:56 GMT
HOST: 239.255.255.250:1900
SERVER: sparkdevice/1.0
NTS: ssdp:alive
USN: uuid:89ea8f0c-f22c-58d2-8fb2-a7385dc34df1::urn:schemas-cyberlink-com:service:RemoteControl:1
CACHE-CONTROL: max-age=300
NT: urn:schemas-cyberlink-com:service:RemoteControl:1


D 2012/01/10 20:58:51 net.yacy.upnp.DiscoveryAdvertisement NOTIFY * HTTP/1.1
LOCATION: http://10.130.201.28:51318/
DATE: Tue, 10 Jan 2012 20:52:56 GMT
HOST: 239.255.255.250:1900
SERVER: sparkdevice/1.0
NTS: ssdp:alive
USN: uuid:89ea8f0c-f22c-58d2-8fb2-a7385dc34df1::urn:schemas-cyberlink-com:service:RemoteControl:1
CACHE-CONTROL: max-age=300
NT: urn:schemas-cyberlink-com:service:RemoteControl:1


Killed



Hm.. die Parser werden noch alle initialisiert und dann kommt direkt nach dem uPNP-Discovery ein "Killed" :-(
im Logfile ist sonst auch nichts anderes zu finden :-(
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Re: YaCy Mini - oder: Wie sieht der ideale YaCy-Server aus?

Beitragvon LA_FORGE » Di Jan 10, 2012 10:06 pm

Den Speicher hab ich sicherheitshalber auf 128 MB runtergesetzt und upnp.enabled auf false gesetzt, dann geht's :-)

Das Web-Interface kann ich auch aufrufen, aber kurze Zeit später steht auf der Console dann wieder 'killed' :-(
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Re: YaCy Mini - oder: Wie sieht der ideale YaCy-Server aus?

Beitragvon LA_FORGE » Di Jan 10, 2012 10:19 pm

Jetzt kann ich auch mehr zum Absturz sagen:

Code: Alles auswählen
W 2012/01/10 21:18:22 StackTrace null
java.lang.reflect.InvocationTargetException
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:616)
        at net.yacy.kelondro.workflow.InstantBusyThread.job(InstantBusyThread.java:110)
        at net.yacy.kelondro.workflow.AbstractBusyThread.run(AbstractBusyThread.java:161)
Caused by: java.lang.AssertionError: file.size() = 27, index.size() = 20
        at net.yacy.kelondro.table.Table.remove(Table.java:692)
        at net.yacy.peers.NewsQueue.remove(NewsQueue.java:149)
        at net.yacy.peers.NewsPool.automaticProcess(NewsPool.java:394)
        at net.yacy.search.Switchboard.cleanupJob(Switchboard.java:1741)
        ... 6 more
W 2012/01/10 21:18:22 StackTrace file.size() = 27, index.size() = 20
java.lang.AssertionError: file.size() = 27, index.size() = 20
        at net.yacy.kelondro.table.Table.remove(Table.java:692)
        at net.yacy.peers.NewsQueue.remove(NewsQueue.java:149)
        at net.yacy.peers.NewsPool.automaticProcess(NewsPool.java:394)
        at net.yacy.search.Switchboard.cleanupJob(Switchboard.java:1741)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:616)
        at net.yacy.kelondro.workflow.InstantBusyThread.job(InstantBusyThread.java:110)
        at net.yacy.kelondro.workflow.AbstractBusyThread.run(AbstractBusyThread.java:161)
E 2012/01/10 21:18:22 BUSYTHREAD Runtime Error in serverInstantThread.job, thread 'net.yacy.search.Switchboard.cleanupJob': null; target exception: file.size() = 27, index.size() = 20
java.lang.AssertionError: file.size() = 27, index.size() = 20
        at net.yacy.kelondro.table.Table.remove(Table.java:692)
        at net.yacy.peers.NewsQueue.remove(NewsQueue.java:149)
        at net.yacy.peers.NewsPool.automaticProcess(NewsPool.java:394)
        at net.yacy.search.Switchboard.cleanupJob(Switchboard.java:1741)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:616)
        at net.yacy.kelondro.workflow.InstantBusyThread.job(InstantBusyThread.java:110)
        at net.yacy.kelondro.workflow.AbstractBusyThread.run(AbstractBusyThread.java:161)
Killed
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Re: YaCy Mini - oder: Wie sieht der ideale YaCy-Server aus?

Beitragvon LA_FORGE » Di Jan 10, 2012 10:45 pm

Code: Alles auswählen
W 2012/01/10 21:44:22 StackTrace null
java.lang.reflect.InvocationTargetException
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:616)
        at net.yacy.kelondro.workflow.InstantBusyThread.job(InstantBusyThread.java:110)
        at net.yacy.kelondro.workflow.AbstractBusyThread.run(AbstractBusyThread.java:161)
Caused by: java.lang.NullPointerException
        at net.yacy.kelondro.workflow.WorkflowProcessor.queueIsEmpty(WorkflowProcessor.java:87)
        at de.anomic.crawler.CrawlStacker.isEmpty(CrawlStacker.java:107)
        at net.yacy.search.Switchboard.cleanProfiles(Switchboard.java:1546)
        at net.yacy.search.Switchboard.cleanupJob(Switchboard.java:2084)
        ... 6 more
W 2012/01/10 21:44:22 StackTrace null
java.lang.NullPointerException
        at net.yacy.kelondro.workflow.WorkflowProcessor.queueIsEmpty(WorkflowProcessor.java:87)
        at de.anomic.crawler.CrawlStacker.isEmpty(CrawlStacker.java:107)
        at net.yacy.search.Switchboard.cleanProfiles(Switchboard.java:1546)
        at net.yacy.search.Switchboard.cleanupJob(Switchboard.java:2084)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:616)
        at net.yacy.kelondro.workflow.InstantBusyThread.job(InstantBusyThread.java:110)
        at net.yacy.kelondro.workflow.AbstractBusyThread.run(AbstractBusyThread.java:161)
E 2012/01/10 21:44:22 BUSYTHREAD Runtime Error in serverInstantThread.job, thread 'net.yacy.search.Switchboard.cleanupJob': null; target exception: null
java.lang.NullPointerException
        at net.yacy.kelondro.workflow.WorkflowProcessor.queueIsEmpty(WorkflowProcessor.java:87)
        at de.anomic.crawler.CrawlStacker.isEmpty(CrawlStacker.java:107)
        at net.yacy.search.Switchboard.cleanProfiles(Switchboard.java:1546)
        at net.yacy.search.Switchboard.cleanupJob(Switchboard.java:2084)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:616)
        at net.yacy.kelondro.workflow.InstantBusyThread.job(InstantBusyThread.java:110)
        at net.yacy.kelondro.workflow.AbstractBusyThread.run(AbstractBusyThread.java:161)
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Re: YaCy Mini - oder: Wie sieht der ideale YaCy-Server aus?

Beitragvon LA_FORGE » Di Jan 10, 2012 10:46 pm

Hm.. ich glaube das wird nix auf der Plattform :-( Zu wenig RAM :-(

Code: Alles auswählen
E 2012/01/10 21:47:52 TABLE urlNoticeCoreStack9.db: not enough RAM (90MB) left for index, deleting allocated table space to enable index space allocation (needed: 400MB)

E 2012/01/10 21:47:53 TABLE urlNoticeCoreStack9.db: RAM after releasing the table: 114MB

I 2012/01/10 21:47:53 TABLE initialization of urlNoticeLimitStack9.db. table copy: no, available RAM: 114MB, needed: 200MB, allocating space for 0 entries

E 2012/01/10 21:47:53 TABLE urlNoticeLimitStack9.db: not enough RAM (114MB) left for index, deleting allocated table space to enable index space allocation (needed: 400MB)

E 2012/01/10 21:47:53 TABLE urlNoticeLimitStack9.db: RAM after releasing the table: 114MB

I 2012/01/10 21:47:53 TABLE initialization of urlNoticeRemoteStack9.db. table copy: no, available RAM: 114MB, needed: 200MB, allocating space for 0 entries

E 2012/01/10 21:47:53 TABLE urlNoticeRemoteStack9.db: not enough RAM (114MB) left for index, deleting allocated table space to enable index space allocation (needed: 400MB)

E 2012/01/10 21:47:54 TABLE urlNoticeRemoteStack9.db: RAM after releasing the table: 114MB

I 2012/01/10 21:47:54 TABLE initialization of urlNoticeNoLoadStack9.db. table copy: no, available RAM: 114MB, needed: 200MB, allocating space for 0 entries

E 2012/01/10 21:47:54 TABLE urlNoticeNoLoadStack9.db: not enough RAM (114MB) left for index, deleting allocated table space to enable index space allocation (needed: 400MB)

E 2012/01/10 21:47:54 TABLE urlNoticeNoLoadStack9.db: RAM after releasing the table: 114MB

I 2012/01/10 21:47:54 TABLE initialization of urlError3.db. table copy: no, available RAM: 114MB, needed: 200MB, allocating space for 0 entries

E 2012/01/10 21:47:54 TABLE urlError3.db: not enough RAM (114MB) left for index, deleting allocated table space to enable index space allocation (needed: 400MB)

E 2012/01/10 21:47:55 TABLE urlError3.db: RAM after releasing the table: 114MB

I 2012/01/10 21:47:55 TABLE initialization of urlDelegated3.db. table copy: no, available RAM: 114MB, needed: 200MB, allocating space for 0 entries

E 2012/01/10 21:47:55 TABLE urlDelegated3.db: not enough RAM (114MB) left for index, deleting allocated table space to enable index space allocation (needed: 400MB)

E 2012/01/10 21:47:55 TABLE urlDelegated3.db: RAM after releasing the table: 114MB
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Re: YaCy Mini - oder: Wie sieht der ideale YaCy-Server aus?

Beitragvon Orbiter » Mi Jan 11, 2012 12:58 am

ich hab letztens einen kleinen Index auf unter 30MB RAM gehabt. Probier doch noch mal mit viel weniger Speicher. Darfst du dann natürlich nicht gleich vollballern bis anschlag mit Webseiten.
Orbiter
 
Beiträge: 5797
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: YaCy Mini - oder: Wie sieht der ideale YaCy-Server aus?

Beitragvon LA_FORGE » Mi Jan 11, 2012 2:58 pm

Alles klar. Danke!

Mein Traum wäre ja noch, YaCy (wieder) auf meinem "alten" iMac G5 unter Leopard zum laufen zu bekommen. Die Kiste hat nämlich 1,5 GB RAM und YaCy lief da immer 1a, bis Apple sich dazu entschieden hat, kein Java 6 auf den PPC-Prozessor-Maschinen auszurollen :-(

Marc hat mir dazu auch eine tolle Anleitung gepostet. Habe alles so gemacht wie dort beschrieben, aber es crasht halt.

Ich weiß nicht was ich von OpenJDK halten soll. Ich hatte ja YaCy schonmal monatelang problemlos unter FreeBSD laufen, damals mit dieser JRE. Diese Portierung scheint es aber (noch) nicht für FreeBSD 8.0/8.1 zu geben :-(
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Re: YaCy Mini - oder: Wie sieht der ideale YaCy-Server aus?

Beitragvon LA_FORGE » Do Jan 12, 2012 5:03 pm

Gerade im Kernel-Log gefunden:

Code: Alles auswählen
pid 47603 (java), uid 2000, was killed: out of swap space
pid 23450 (java), uid 2000, was killed: out of swap space
pid 32583 (java), uid 2000, was killed: out of swap space


Aah, da liegt also der Hund begraben, dann muss ich mal eine zusätzliche Swap-Partition anlegen.
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm


Zurück zu Mitmachen

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast

cron