Raspberry Pi

Ereignisse, Vorschläge und Aktionen

Raspberry Pi

Beitragvon kilian » Mo Sep 12, 2011 7:37 pm

Hi.
Bin grad auf diesen PlugComputer gestoßen.
http://www.raspberrypi.org/

700MHz Broadcom media processor featuring an ARM11 (ARM1176JZF-S) core, Broadcom GPU core, DSP core and support for Package-on-Package (PoP) RAM
128MiB (Model A) or 256MiB of SDRAM (Model B), stacked on top of the CPU as a PoP device
OpenGL ES 2.0
1080p30 H.264 high-profile decode
Composite and HDMI video output
One USB 2.0 port provided by the BCM2835
SD/MMC/SDIO memory card slot
General-purpose I/O (About 16 3v3) and various other interfaces, brought out to 1.27mm pin-strip
Optional integrated 2-port USB hub and 10/100 Ethernet controller (Model B)
Open software (Ubuntu, Iceweasel, KOffice, Python)
Capability to support various expansion boards


Der Preis 25$ für Model A 35$ für Model B. Wieviels dann in Deutschland kosten wird, hängt vermutlich von Vertriebspartner in Deutschland. Wenn es immer aus UK oder so verschickt werden muss, geht der Preis schnell auf 50 € rauf. Aber 25$ sind gute 18€ nach aktueller Umrechnung.
Was ich mit dem Post eigentlich nur darlegen wollte, dass es mitlerweile oder zumindest bald recht erschwinglich sein dürfte sein eigenes Suchportal zu betreiben.
Man muss natürlich bei solcher Hardware etwas mit Paramtern rumspieln 256 Ram ist nicht viel für YaCy.

Verfügbarkeit ab November 2011.
kilian
 
Beiträge: 79
Registriert: Mi Feb 23, 2011 11:34 am
Wohnort: Bayern

Re: Raspberry Pi

Beitragvon Orbiter » Mo Sep 12, 2011 10:28 pm

guter Tipp, würde mir Spass machen mit so einem Ding rumzuspielen.

Zum Preis: kann mir vorstellen dass es nicht so teuer wird. Die Preise, die man in den USA angibt sind meist ohne MwSt und der 'echte' Preis ist sowieso meist höher. Aufgrund des $/€ Wechselkurses ist der €-Preisbetrag oft sehr ähnlich dem $-Preisbetrag und dann ist die deutsche MwSt schon drin. Das ist bsp. so beim Apple Shop (mal da amerikanischen Preis mit €-Preis vergleichen).
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Raspberry Pi

Beitragvon Orbiter » Do Dez 20, 2012 1:06 pm

mittlerweile hat jemand in der YaCy Facebook-Gruppe auch mal nachgefragt.
ich hab mal geschaut was man nun dafür bezahlen muss: bei http://raspberrypi.rsdelivers.com/ bekommt man das B-Modell mit 512MB inklusive Gehäuse und Versandkosten für 45€. Hab das mal bestellt und gucke mal was man damit machen kann.

Bei Oracle gibts auch eine Java-Anleitung dazu: http://www.oracle.com/technetwork/artic ... 04896.html
Wenn man dann noch virtuellen Speicher bis 1GB zuweisen kann, sollte das funktionieren! Auf meinem N900 lief YaCy ja auch schon mal.
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Raspberry Pi

Beitragvon Low012 » Do Dez 20, 2012 7:21 pm

Zwei Kollegen von mir habe auch solche Dinger. Ich weiß aber nicht, ob die schon was damit veranstaltet haben. Ich habe leider noch ein ziemliches Backlog an Dingen, die ich machen möchte, weshalb ich schweren Herzens erstmal auf den Raspberry verzichte. :(
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: Raspberry Pi

Beitragvon Copro » Sa Jan 12, 2013 3:53 pm

Ich habe zwar die Version A mit nur 256 MB RAM aber YaCy lässt sich auch bei mir Starten. Ich bin nicht der von orbiter verlinkten Anleitung von Oracle gefolgt - werde das aber noch nachholen.
Auf meinem Pi läuft das aktuelle Raspian "wheezy" mit soft-float ABI von http://www.raspberrypi.org/downloads und ich habe mal IcedTea7 mit der Zero VM probiert.

java version "1.7.0_03"
OpenJDK Runtime Environment (IcedTea7 2.1.3) (7u3-2.1.3-1)
OpenJDK Zero VM (build 22.0-b10, mixed mode)

Danach ist er aber ziemlich ausgelastet ... obwohl der Crawler (wegen weniger als 2GB auf der SD Karte) abgeschalten ist.

top - 15:51:35 up 2:00, 1 user, load average: 20.20, 11.88, 10.29
Tasks: 65 total, 1 running, 64 sleeping, 0 stopped, 0 zombie
%Cpu(s): 1.0 us, 5.1 sy, 93.7 ni, 0.0 id, 0.0 wa, 0.0 hi, 0.3 si, 0.0 st
KiB Mem: 188880 total, 176548 used, 12332 free, 3404 buffers
KiB Swap: 102396 total, 7196 used, 95200 free, 29884 cached

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
4458 pi 30 10 1974m 128m 10m S 94.4 69.7 11:37.93 java
35 root 20 0 0 0 0 S 2.2 0.0 2:36.41 mmcqd/0


Wenn ich ihn laufen lasse ist er als raspiyacy unterwegs ... falls jemand mal einen Blick darauf werden will.

Eine schöne Zusammenfassung von Java auf dem Raspberry Pi findet sich in dem Thread:
http://www.raspberrypi.org/phpBB3/viewtopic.php?f=81&t=27805
Wünschenswert wäre also eine Standard Distribution mit hard-float ABI und dann z.B. die "Oracle JDK 8 (with JavaFX) for ARM Early Access" die dann auch für den Raspberry Pi Unterstützung mitbringt.

*SCNR*
Bild
Copro
 
Beiträge: 207
Registriert: Do Dez 13, 2007 3:37 am

Re: Raspberry Pi

Beitragvon Orbiter » Sa Jan 12, 2013 5:45 pm

wunderbar, ich hab auch eben meinen Raspberry PI das erste mal gestartet und probiere jetzt mal rum was man so machen kann...
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Raspberry Pi

Beitragvon Copro » Sa Jan 12, 2013 6:34 pm

Super - dann schaut sich das ja genau der Richtige an ;-)
Ich frage mich warum die Systemauslastung bei mir aktuell so hoch ist ... weil viel zu tun sollte er ja eigentlich nicht haben.

uptime
18:29:08 up 4:38, 1 user, load average: 25.38, 24.29, 20.03

tail -f DATA/LOG/yacy00.log
I 2013/01/12 18:27:31 org.apache.solr.core.SolrCore [collection1] webapp=null path=/select params={q=id%3A%2206ZZkNgYAJHY%22&rows=0&start=0} hits=0 status=0 QTime=1065
I 2013/01/12 18:27:32 org.apache.solr.core.SolrCore [collection1] webapp=null path=/select params={q=id%3A%222Mlp_02euSHZ%22&rows=0&start=0} hits=0 status=0 QTime=1162
I 2013/01/12 18:27:32 org.apache.solr.core.SolrCore [collection1] webapp=null path=/select params={q=id%3A%221udK51-Je7gQ%22&rows=0&start=0} hits=0 status=0 QTime=1113
I 2013/01/12 18:27:32 org.apache.solr.core.SolrCore [collection1] webapp=null path=/select params={q=id%3A%223P5MYcRlyQ8Q%22&rows=0&start=0} hits=0 status=0 QTime=1239
I 2013/01/12 18:27:32 org.apache.solr.core.SolrCore [collection1] webapp=null path=/select params={q=id%3A%22w8xJHlPCpqc4%22&rows=0&start=0} hits=0 status=0 QTime=1132
I 2013/01/12 18:27:32 org.apache.solr.core.SolrCore [collection1] webapp=null path=/select params={q=id%3A%222UVKIlG-XgUY%22&rows=0&start=0} hits=0 status=0 QTime=1340
I 2013/01/12 18:27:32 org.apache.solr.core.SolrCore [collection1] webapp=null path=/select params={q=id%3A%221QpItaUA5vtZ%22&rows=0&start=0} hits=0 status=0 QTime=1361
I 2013/01/12 18:27:32 org.apache.solr.core.SolrCore [collection1] webapp=null path=/select params={q=id%3A%22w8xJHlPCpqc4%22&rows=0&start=0} hits=0 status=0 QTime=1209
I 2013/01/12 18:27:32 org.apache.solr.core.SolrCore [collection1] webapp=null path=/select params={q=id%3A%220ayPjVEbMCLZ%22&rows=0&start=0} hits=0 status=0 QTime=1159
I 2013/01/12 18:27:32 org.apache.solr.core.SolrCore [collection1] webapp=null path=/select params={q=id%3A%22wDkRrMwFi-dA%22&rows=0&start=0} hits=0 status=0 QTime=1220
I 2013/01/12 18:27:32 org.apache.solr.core.SolrCore [collection1] webapp=null path=/select params={q=id%3A%2224yul7K-VV4Q%22&rows=0&start=0} hits=0 status=0 QTime=1263
I 2013/01/12 18:27:32 org.apache.solr.core.SolrCore [collection1] webapp=null path=/select params={q=id%3A%223hxxKOEVlM4Q%22&rows=0&start=0} hits=0 status=0 QTime=1141
I 2013/01/12 18:27:33 org.apache.solr.core.SolrCore [collection1] webapp=null path=/select params={q=id%3A%220NCSBQ68jGHA%22&rows=0&start=0} hits=0 status=0 QTime=923
I 2013/01/12 18:27:32 org.apache.solr.core.SolrCore [collection1] webapp=null path=/select params={q=id%3A%221JXGq_rwtdfR%22&rows=0&start=0} hits=0 status=0 QTime=1106
I 2013/01/12 18:27:32 org.apache.solr.core.SolrCore [collection1] webapp=null path=/select params={q=id%3A%22wbrSL7I-aWrR%22&rows=0&start=0} hits=0 status=0 QTime=1181
I 2013/01/12 18:27:32 org.apache.solr.core.SolrCore [collection1] webapp=null path=/select params={q=id%3A%2231R2dWXn90oB%22&rows=0&start=0} hits=0 status=0 QTime=1209
I 2013/01/12 18:27:32 org.apache.solr.core.SolrCore [collection1] webapp=null path=/select params={q=id%3A%2230vjPUP290EA%22&rows=0&start=0} hits=0 status=0 QTime=1181
I 2013/01/12 18:27:33 org.apache.solr.core.SolrCore [collection1] webapp=null path=/select params={q=id%3A%221EL0_KTiAn-Q%22&rows=0&start=0} hits=0 status=0 QTime=1038


Was macht der SolrCore da genau ? (Ich habe ja den Umstieg auf Solr gar nicht mitbekommen so lange hatte ich YaCy schon nicht mehr laufen ...)
Und gleich nachdem er den Shutdown Befehl bekommt kommen sehr viele Exceptions im Log:
yacy00.log.gz
yacy00.log.gz
(43.38 KiB) 423-mal heruntergeladen


Was ich noch probieren werde ist der Wechsel von der Zero VM zur jamvm unter IcedTea7 und dann später der Umstieg auf das hard-float ABI Raspian das schon im Download Ordner wartet ;-)
Copro
 
Beiträge: 207
Registriert: Do Dez 13, 2007 3:37 am

Re: Raspberry Pi

Beitragvon Orbiter » So Jan 13, 2013 8:03 pm

jetzt hatte ich ein wenig Zeit zum Experimentieren und hab jetzt schon mal YaCy am laufen. Mir scheint hier der RAM-Bedarf der Knackpunkt zu sein. Eine andere VM und hard-float ABI ausprobieren oder sogar ein anderes linux macht sicherlich auch Sinn.

Ich hab mal eine Wiki-Seite dazu angefangen, da können unsere Erfahrungen ja rein: http://www.yacy-websearch.net/wiki/inde ... spberry_Pi
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Raspberry Pi

Beitragvon Orbiter » Di Jan 15, 2013 8:26 pm

also ich muss zugeben dass ich mit der Performance auch absolut unzufrieden bin. Eine mögliche Ursache versuche ich beim IO zu suchen und habe so mal ein sysbench test gemacht um ggf. Unterschiede zwischen verschiedenen SD-Karten zu sehen.

Ich hatte eine 8GB microSD SanDisc Class 4 Karte drin und hier ist das Ergebnis:
Code: Alles auswählen
pi@raspberrypi ~ $ sudo apt-get install sysbench
pi@raspberrypi ~ $ sysbench --test=fileio --file-total-size=2G prepare
pi@raspberrypi ~ $ sysbench --test=fileio --file-total-size=2G --file-test-mode=rndrw --init-rng=on --max-time=300 --max-requests=0 run
sysbench 0.4.12:  multi-threaded system evaluation benchmark

Running the test with following options:
Number of threads: 1
Initializing random number generator from timer.


Extra file open flags: 0
128 files, 16Mb each
2Gb total file size
Block size 16Kb
Number of random requests for random IO: 0
Read/Write ratio for combined random IO test: 1.50
Periodic FSYNC enabled, calling fsync() each 100 requests.
Calling fsync() at the end of test, Enabled.
Using synchronous I/O mode
Doing random r/w test
Threads started!
Time limit exceeded, exiting...
Done.

Operations performed:  960 Read, 640 Write, 2016 Other = 3616 Total
Read 15Mb  Written 10Mb  Total transferred 25Mb  (85.223Kb/sec)
    5.33 Requests/sec executed

Test execution summary:
    total time:                          300.3881s
    total number of events:              1600
    total time taken by event execution: 2.2570
    per-request statistics:
         min:                                  0.11ms
         avg:                                  1.41ms
         max:                                 15.48ms
         approx.  95 percentile:               2.92ms

Threads fairness:
    events (avg/stddev):           1600.0000/0.00
    execution time (avg/stddev):   2.2570/0.00

pi@raspberrypi ~ $ sysbench --test=fileio cleanup

Diese 8GB Karte war nur provisorisch, denn ich hatte eine 64GB SDXC Class 10 Karte bestellt; die ist heute gekommen aber ich kann das Image nicht drauf spielen weil ich offenbar keinen XC-fähigen Kartenleser hier habe. Der ist nun bestellt sowie eine "SanDisk SDSDXPA-008G-X46 Card Extreme Pro SDHC 8GB (95MB/s)" die wohl nochmal geschwindigkeitsmäßig was drauflegen kann. Wenn das Geschwindigkeitsproblem bei YaCy wesentlich durch die SD-Karte bestimmt wird, so sollte das damit messbar werden.
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Raspberry Pi

Beitragvon Huppi » So Jan 20, 2013 12:45 pm

Prima! Dan brauche ich nicht zu basteln, sondern kann Eure Installationsanleitungen verwenden :-)

Da auch mein DSL-Anschluß nächste Woche von 2000 RAM auf 6000 RAM hochgeschaltet wird, kann dann der Pi rund um die Uhr hier mitlaufen

Wennn wir ein fertiges Image mit YaCy-Installation bereitstellen können, wird es sicher auch weitere Mitstreiter geben. Und für den Linux-Tag könnte das ein netter Hingucker werden :-)
Huppi
 
Beiträge: 898
Registriert: Fr Jun 29, 2007 9:49 am
Wohnort: Kürten

Re: Raspberry Pi

Beitragvon kilian » So Jan 20, 2013 11:40 pm

hat jemand schonmal die oracle JRE ausprobiert? Hab an verschiedenen Stellen gelesen, dass das manchmal was bringt.
kilian
 
Beiträge: 79
Registriert: Mi Feb 23, 2011 11:34 am
Wohnort: Bayern

Re: Raspberry Pi

Beitragvon Copro » Mo Jan 21, 2013 3:48 am

Ich habe auch eine 4GB Class4 Sandisk MicroSD mit einem SD Kartenadapter im Einsatz - aber noch keine Benchmarks gemacht.
Gedacht war es nur davon zu booten und die Daten dann auf Netzwerk auszulagern - aber bei mir wird es wohl eher der RAM sein der die Grenzen definiert.
Nachdem auch die jamvm mit IcedTea keine richtige Verbesserung gebracht hat wollte ich also mal die Vorschauversion vom neuen Oracle JDK probieren.
Ich habe also das Original raspbian auf die SD Karte kopiert und die Pre-Release jdk1.8.0 von Oracle geholt.

java version "1.8.0-ea"
Java(TM) SE Runtime Environment (build 1.8.0-ea-b36e)
Java HotSpot(TM) Client VM (build 25.0-b04, mixed mode)


Habe die startYaCy.sh JAVA_ARGS Konfiguration etwas geändert damit ich mit dem hartcodierten java binary aus dem Paket starten kann:
  • "-server" entfernt, um die Anwendung zu starten: ("Error occurred during initialization of VM Server VM is only supported on ARMv7+ VFP")
  • "-XX:MaxPermSize=256m" entfernt, um die Warnung abzustellen: ("Java HotSpot(TM) Server VM warning: ignoring option MaxPermSize=256m; support was removed in 8.0")
Übrig blieb:
Code: Alles auswählen
JAVA_ARGS="-Xss256k -XX:ReservedCodeCacheSize=124m -XX:-UseGCOverheadLimit -XX:+UseAdaptiveSizePolicy -Djava.net.preferIPv4Stack=true -Djava.awt.headless=true -Dfile.encoding=UTF-8";


Dann noch die schon geänderten Bilder in htroot/env/grafics und ein paar Änderungen zum aktuell doch limitierten Speicher gemacht.
Für den Arbeitsspeicher in der DATA/SETTINGS/yacy.conf die Werte
Code: Alles auswählen
javastart_Xms=Xms120m
javastart_Xmx=Xmx125m

Für den Festplattenspeicher, um lokale Crawls zu starten in der defaults/yacy.init
Code: Alles auswählen
# minimum free disk space for crawling (MiB)
disk.free = 1500


Rein gefühlsmäßig läuft er nun um Längen besser und schneller und ich denke so kann ich ihn nebenher laufen lassen.
raspiyacy_banner_principal.png
Raspberry Pi raspiyacy banner
raspiyacy_banner_principal.png (5.43 KiB) 38260-mal betrachtet

Habe hier die Bitmap Dateien zum Drüberkopieren von meinem Peer im Falle es wirklich ein angepasstes Image geben soll:
raspiyacy.zip
overlay htroot env grafics images for pi yacy
(62.9 KiB) 452-mal heruntergeladen


Wäre es zum Bereitstellen nicht sinnvoller ein extra raspbian repository wie das schon existierende debian repository zu erstellen ?
Dabei könnte man ja auch die verschiedenen Java VM + JRE Möglichkeiten als Abhängigkeiten auflisten.
Zumindest das Early Access darf aktuell noch nicht weiterverbreitet werden und ob es dazu dann auch eine Lizenz gibt ist auch noch fraglich.
Copro
 
Beiträge: 207
Registriert: Do Dez 13, 2007 3:37 am

Re: Raspberry Pi

Beitragvon Orbiter » Di Jan 22, 2013 10:56 am

Ich hab jetzt noch zwei Karten durchgetestet und Benchmarks gemacht, mit überraschendem Ergebnis! sysbench lief auf drei SD Karten und als Vergleich auch auf einer normalen normalschnellen Festplatte in einem i7-System. Das Ergebnis:

8GB SanDisc microSD HC Class 4:
85.223Kb/sec, 5.33 Requests/sec
64GB Platinum SD XC Class 10:
37.219Kb/sec, 2.33 Requests/sec (2 mal getestet, ja langsamer als die Class 4!!)
8GB SanDisk Extreme Pro 95 MB/s SD HC Class 10:
1.5255Mb/sec, 97.63 Requests/sec
Festplatte in i7:
1.3919Mb/sec 89.08 Requests/sec

Wenn ich nicht was falsch gemacht habe dann heisst das:
- die SDXC Class 10 ist langsamer als die SDHC Class 4 (vielleicht kann der RPi XC-Karten zwar lesen, aber nicht so gut?)
- die SanDisk Extreme Pro schlägt im RPi sogar eine Festplatte in einem schnellen Rechner
- die SanDisk Extreme Pro ist 18x schneller als eine normale SD Class 4!!!

Tatsächlich 'fühlt' sich die Extreme Pro auch schnell an im RPi. Der Preis für die Extreme Pro ist auch nicht so gewaltig, die 8GB haben 16 Euro gekostet.

Copro hat geschrieben:Ich habe also das Original raspbian auf die SD Karte kopiert und die Pre-Release jdk1.8.0 von Oracle geholt.

wäre interessant zu sehen wie die 1.6er-1.8er Versionen gegeneinander abschneiden, ich hab die 1.6er genommen um ein möglichst kleines und von Overhead freies Java zu testen. Mein Installationsvorgang steht im Wiki: http://www.yacy-websearch.net/wiki/inde ... spberry_Pi

Copro hat geschrieben:Habe die startYaCy.sh JAVA_ARGS Konfiguration etwas geändert damit ich mit dem hartcodierten java binary aus dem Paket starten kann:
  • "-server" entfernt, um die Anwendung zu starten: ("Error occurred during initialization of VM Server VM is only supported on ARMv7+ VFP")
  • "-XX:MaxPermSize=256m" entfernt, um die Warnung abzustellen: ("Java HotSpot(TM) Server VM warning: ignoring option MaxPermSize=256m; support was removed in 8.0")

Diese Fehlermeldungen habe ich nicht bekommen! Beide Optionen müsste man mal generell hinterfragen; ein MaxPermSize=256m macht auch wenig Sinn wenn sowieso nur 120mb freigegeben sind.

Copro hat geschrieben:Übrig blieb:
Code: Alles auswählen
JAVA_ARGS="-Xss256k -XX:ReservedCodeCacheSize=124m -XX:-UseGCOverheadLimit -XX:+UseAdaptiveSizePolicy -Djava.net.preferIPv4Stack=true -Djava.awt.headless=true -Dfile.encoding=UTF-8";


Und er ReservedCodeCacheSize in der Größe macht auch keinen Sinn. Ich denke diese Optionen müssten generell alle nochmal auf den Prüfstand.
Copro hat geschrieben:Dann noch die schon geänderten Bilder in htroot/env/grafics und ein paar Änderungen zum aktuell doch limitierten Speicher gemacht.

welche geänderten Bilder?

Copro hat geschrieben:Wäre es zum Bereitstellen nicht sinnvoller ein extra raspbian repository wie das schon existierende debian repository zu erstellen ?
Dabei könnte man ja auch die verschiedenen Java VM + JRE Möglichkeiten als Abhängigkeiten auflisten.
Zumindest das Early Access darf aktuell noch nicht weiterverbreitet werden und ob es dazu dann auch eine Lizenz gibt ist auch noch fraglich.

naja es gibt ja auch die 1.6er Version die man verwenden kann. Ein eigenes repository wäre sicherlich auch nicht schlecht, aber der Java Installationsprozess kannst du im Package Manager so nicht abbilden! Oder? Wenn du ein Package zusammenbekommst verlinke ich das gerne unter rpi.yacy.net.
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Raspberry Pi

Beitragvon Copro » Di Jan 22, 2013 3:31 pm

Super Anleitung im Wiki - werde ich bei Gelegenheit auch mal ausprobieren. Deutsche Übersetzung der Wiki Seite (De:Raspberry_Pi)
Ich wollte nur möglichst nahe am echten raspbian bleiben und habe deswegen nicht mehr die Soft-ABI Version installiert. Damit habe ich ja dann keine Wahl und kann die VFP Versionen der Oracle Embedded JREs nicht nutzen.
Hier der Benchmark von meiner Karte:
Code: Alles auswählen
sysbench --test=fileio --file-total-size=1G --file-test-mode=rndrw --init-rng=on --max-time=300 --max-requests=0 run
sysbench 0.4.12:  multi-threaded system evaluation benchmark

Running the test with following options:
Number of threads: 1
Initializing random number generator from timer.


Extra file open flags: 0
128 files, 8Mb each
1Gb total file size
Block size 16Kb
Number of random requests for random IO: 0
Read/Write ratio for combined random IO test: 1.50
Periodic FSYNC enabled, calling fsync() each 100 requests.
Calling fsync() at the end of test, Enabled.
Using synchronous I/O mode
Doing random r/w test
Threads started!
Time limit exceeded, exiting...
Done.

Operations performed:  3180 Read, 2120 Write, 6674 Other = 11974 Total
Read 49.688Mb  Written 33.125Mb  Total transferred 82.812Mb  (282.5Kb/sec)
   17.66 Requests/sec executed

Test execution summary:
    total time:                          300.1760s
    total number of events:              5300
    total time taken by event execution: 9.2857
    per-request statistics:
         min:                                  0.10ms
         avg:                                  1.75ms
         max:                                639.11ms
         approx.  95 percentile:               3.50ms

Threads fairness:
    events (avg/stddev):           5300.0000/0.00
    execution time (avg/stddev):   9.2857/0.00


Die Änderung der JAVA_ARGS habe ich nur gemacht, dass man YaCy mit der Pre-Release 1.8.0 überhaupt (und dann ohne Warnungen) starten konnte. Ich habe nun auch das Argument ReservedCodeCacheSize entfernt.
Mit geänderten Bildern meinte ich nur individuelle Icons für YaCy mit der Raspberry drauf - den Link zum ZIP Archiv habe ich weiter unten im Beitrag angehängt: raspiyacy.zip
Und wegen des rpi Repositories - ich bin leider kein debian Mann. Ich dachte nur es gibt die Möglichkeit auch java dependencies einzubauen - und auch aus den (embedded) Archiven bei Oracle sollte sich ja sowas bauen lassen (wenn das erlaubt ist). Laut der Oracle Seite wird die Installation auch manuell beschrieben: http://www.oracle.com/technetwork/articles/java/raspberrypi-1704896.html
Copro
 
Beiträge: 207
Registriert: Do Dez 13, 2007 3:37 am

Re: Raspberry Pi

Beitragvon Orbiter » Mo Feb 04, 2013 8:11 pm

oh super, danke für die Übersetzung!
deine Icon-Anpassung ist auch super, mal gucken wie ich das noch unter bekomme...

Was mir nun noch fehlt, ist eine Anleitung wie man so ein RPi Image wieder von der SD Karte herunterkopiert, und zwas so, dass
-(1) man nicht die vollen X Gigabyte der Kartengröße dumpen muss
-(2) man das wieder so auf eine neue Karten ziehen kann, dass sich die Kartengröße wieder neu einstellen lässt
-(3) man irgendwie Kontrolle über die IP des Servers bekommt, damit man in der Anleitung schreiben kann: http://<ip>:8090/ is die Adresse von YaCy

Dann könnten wir ein Image zum Download anbieten!
Ideen?
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Raspberry Pi

Beitragvon Lotus » Di Feb 19, 2013 5:59 pm

Orbiter hat geschrieben:Was mir nun noch fehlt, ist eine Anleitung wie man so ein RPi Image wieder von der SD Karte herunterkopiert, und zwas so, dass
-(1) man nicht die vollen X Gigabyte der Kartengröße dumpen muss
-(2) man das wieder so auf eine neue Karten ziehen kann, dass sich die Kartengröße wieder neu einstellen lässt
-(3) man irgendwie Kontrolle über die IP des Servers bekommt, damit man in der Anleitung schreiben kann: http://<ip>:8090/ is die Adresse von YaCy

Dann könnten wir ein Image zum Download anbieten!
Ideen?

Clonezilla (http://clonezilla.sourceforge.net/) erfüllt die Anforderungen zumindest, wenn man am PC Festplatten/Partitionen sichert und klont. Clonezilla greift dazu auf eine Reihe von Klon-Tools zurück, die auf deren Webseite aufgelistet sind.
Lotus
 
Beiträge: 1699
Registriert: Mi Jun 27, 2007 3:33 pm
Wohnort: Hamburg

Re: Raspberry Pi

Beitragvon Orbiter » Do Mär 14, 2013 8:35 pm

am Samstag hab ich das Ding in Chemnitz dabei, wenn ich es nicht dummerweise vergesse. Da werde ich versuchen den anwesenden Linux-Profis entsprechendes Wissen rauszuleiern was man noch machen kann. U.a. würde mich eine 'Hochzeit' mit Owncloud und Samba interessieren...
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Raspberry Pi

Beitragvon Low012 » Fr Mär 15, 2013 2:51 pm

So, mein Raspberry Pi ist jetzt auch bestellt. Ich konnte irgendwie nicht widerstehen... :ugeek:
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: Raspberry Pi

Beitragvon Orbiter » Di Jun 04, 2013 10:15 pm

etwas OT, aber varwandt; zu nebensächlich für einen eigenen Thread: hab nun einen TP-Link TL-MR3020, welcher als Hardware für eine PirateBox dienen soll. Nachdem ich nicht gleichzeitig ein RPi mit YaCy und einer PirateBox zusammen realisieren konnte, versuche ich das als Hardware-Bundle. Der MR3020 kostet nur 30 Euro und somit einen Versuch wert. Die verlinkte Anleitung funktioniert wunderbar und hab nun eine PirateBox laufen, die zumindest nächste Woche bei der Netzwerkrecherche Jahreskonferenz zum Einsatz kommen soll, und auch eine Kombination mit YaCy zeigen soll.

Der MR3020 ist jedenfalls auch spannend. Nach Einspielung des OpenWRT nach Anleitung (link oben) ist das Kästchen ein frei zugänglicher Linux-Rechner und das ist schon recht spannend. Vielleicht ergibt sich was im Duo RPi/MR3020.
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Raspberry Pi

Beitragvon Caliberry » So Jul 21, 2013 8:33 pm

hallo zusammen,
ich betreibe gerade einen YACY Peer gemäß der Anleitung aus dem Wiki mit einem B Modell (512MB RAM)
und einer 32GB Speicherkarte.

Hat jemand mittlerweile mehr Erfahrung mit dem YACY Betrieb auf dem Raspberry Pi gemacht und kann mir gute Werte für JVM, Cache usw. empfehlen?

Danke im Voraus
Caliberry
 
Beiträge: 2
Registriert: So Jul 21, 2013 8:13 pm

Re: Raspberry Pi

Beitragvon Ruhe » Fr Aug 02, 2013 8:19 am

Ansich finde ich den Gedanken YaCy auf dem Pi zu betreiben interessant - hab auch so einen hier rumfliegen.
Aber da ich einen bzgl. Hardware gut ausgestatteten Peer laufen habe, behaupte ich mal, der Pi ist für einen globalen YaCy-Peer definitiv nicht geeignet und viel zu schwach. Beginnt schon beim viel zu geringen Hauptspeicher.
Ruhe
 
Beiträge: 75
Registriert: So Jul 21, 2013 10:37 am

Re: Raspberry Pi

Beitragvon Orbiter » Do Okt 31, 2013 5:33 pm

ich wärme das hier mal wieder auf, weil ich gerade ein neues Raspbian ausprobiere: das von http://www.raspberrypi.org/downloads hat nun ein Java 1.7 vorinstalliert.

Was ich vorhabe: ein fertig aufgebautes Raspbian, so wie in http://www.yacy-websuche.de/wiki/index. ... spberry_Pi beschrieben wieder als Image zum Download anbieten.

Frage dazu in die Runde: wie erzeuge ich aus dem, was ich da dann auf meiner 8GB SD-Karte habe, wieder ein Image das man runterladen kann? Mich interessiert vor allem wie man das so macht dass das Image möglichst klein wird, also whitespace nullen etc.
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Raspberry Pi

Beitragvon wollomatic » Sa Nov 09, 2013 4:03 pm

Hallo Orbiter,

das könnte das sein, was Dich interessiert: http://wiki.stocksy.co.uk/wiki/Raspberry_Pi_Setup#Take_an_Image

Am besten erzeugst Du das Image auf einer 4GB-Karte, dann bleibt auch das Raw-Image klein.

Grüße
Wolfgang
wollomatic
 
Beiträge: 1
Registriert: So Aug 25, 2013 12:03 pm

Re: Raspberry Pi

Beitragvon Low012 » Mo Nov 11, 2013 3:25 pm

Habe eben das hier gesehen: http://www.golem.de/news/entwicklerplatine-cubietruck-mit-2-gbyte-ram-und-gbit-lan-1311-102613.html

Das Ding ist von der Hardware her deutlich besser bestückt als der erste Rechner, auf dem ich mal YaCy installiert habe. Allerdings dürfte der Pi eine erheblich höhere Verbreitung haben.
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: Raspberry Pi

Beitragvon neonknight » Do Nov 21, 2013 2:45 pm

Orbiter hat geschrieben:Mich interessiert vor allem wie man das so macht dass das Image möglichst klein wird, also whitespace nullen etc.


Hallo Orbiter, ich verwende dafür jeweils das folgende Skript (ggf noch mit Optmierungspotential) auf einem laufenden Raspbian:

Code: Alles auswählen
#!/bin/bash
rm -f /etc/udev/rules.d/70-persistent-*.rules
rm -f /var/log/*
rm -f /var/cache/apt/archives/*.deb
rm -f /var/cache/apt/archives/partial/*.deb
rm -f /etc/ssh/ssh_host*
rm -f /var/lib/dhcp/*
cat /dev/zero > /zeroes; rm -f /zeroes
poweroff


Danach wird die SD-Karte in den Linux-Desktop geschoben und dort per
Code: Alles auswählen
dd if=/dev/sdx bs=4096 | gzip -9 > custom-raspbian.img.gz

zu einem relativ kompakten Image verpackt. sdx musst du an die jeweils korrekte Bezeichnung deines Cardreaders anpassen.
neonknight
 
Beiträge: 1
Registriert: Mo Okt 15, 2012 3:42 pm

Raspberry Pi und CubieTruck

Beitragvon fherb » Di Nov 26, 2013 11:15 am

Hallo,

RasperyPi:

Bin erst seit kurzem mit Yacy zugange. RasperyPis habe ich schon mehrere in Betrieb genommen. Einer läuft bei mir am WAN als FTP-Server für einen Chor. Dafür reicht dessen Tempo locker aus. Vor einer Woche war ich nun am Experimentieren mit YACY auf dem RPi. Als Java hab ich die von Oracle genommen (nach Anleitung in einem Forumsbeitrag). Also es läuft. Beim Crawlen aber am Anschlag. Irgendwann ist er ja aber soweit durch, die kleine Festplatte voll, dass er dann nur noch mit den Aufträgen anderer Peers zu tun hat. Mit der Konfiguration habe ich soweit rumgespielt, dass es stabil läuft. Nur eines klemmt: Wegen des kleinen RAMs stoppt das Crawlen immer nach mehreren Minuten (RAM voll). Klar, er muss die gesammelten Daten im RAM erst mal verarbeiten. Aber das Crawlen läuft danach nicht immer wieder von selbst an. Hat jemand eine Konfiguration (oder habt ihr ("orbiter") das Image schon oben?), mit dem diese Probleme nicht auftreten?

Jetzt wird's interessant:

CubieTruck:

Das von Low012 genannte Teil habe ich seit Donnerstag auf dem Tisch. Und es hat mich schon viele Nerven gekostet. Das Teil wurde vor kurzem erst ausgeliefert und die Firmware ist noch nicht voll einsatzfähig. Die Community ist kleiner als beim RPi und nach wichtigen Informationen muss man ne ganze Zeit suchen. Kein Vergleich zum RPi. Aber wer Erfahrung mit solcher Art Hardware hat, kann sich ran wagen. Offenbar richtig lauffähig ist das Android-Image. Aber da geht's schon los: Nicht mit jedem Bildschirm. Meiner hat DVI (mit HDMI->DVI-Adapter) und VGA. Irgendwann mit irgend einer runtergeladenen und geflashenten Android-version habe ich dann mal den Zustand erreicht, wo es ging. Ein späterer Versuch scheiterte dann wieder. Mit Lubuntu geht mein Monitor per HDMI aber problemlos.

Hab inzwischen in der Summe 2 1/2 Arbeitstage investiert.

Der Stand ist:

* Das CubieTruck hat (als größerer Bruder vom Cubieboard 2) 2 GByte RAM, das aktuelle Lubuntu kann aber derzeit nur 1 GByte ansprechen.
* Und es besitzt gegenüber Cubieboard 2 integriertes WLAN.
* Beide Boards haben SATA und einen Dual-Cor-Prozessor (!).

aber
* WLAN funktioniert bei mir immer nur, wenn auch das LAN gesteckt ist (???)
* LAN scheint nicht Hot-Plug-fähig zu sein. Es muss beim Booten schon da sein. (Zumindest mit meiner Einstellung mit DHCP. Das lässt sich aber über ein Script sicher noch ändern.)
* SATA geht derzeit nicht mit Lubuntu (Das untersuche ich noch. Es sieht so aus, dass der Treiber die SATA-Stromversorgung nicht mit einschaltet. Forenbeiträge schlagen das Umkonfigurieren im Sourcecode und Kompilieren des u-boot vor. Ist es wirklich nur die Stromversorgung, müsste sie auch mittels Script über den GPIO einschaltbar sein. -> Mit dieser Methode geht aber Booten von SATA (noch) nicht. Dazu muss definitiv der Sourcecode geändert werden. Mit dem Android-Image im Flash soll es aber wohl gehen (nicht getestet).
* Booten über USB geht auch noch nicht. Offenbar werden die USB-Treiber beim Booten noch nicht geladen.
* Man sollte sich zutrauen, das Flash über USB zu laden. Ist aber eigentlich recht einfach und funktioniert zuverlässig, auch wenn man mal zwischendurch unterbricht. Der Bootloader für's Flashen ist also offenbar nicht mit auf dem Flash. Den macht man also beim Flashen nicht kaputt.
* Tastatur und Maus gehen bei mir nicht am USB-Port sondern nur über einen dort angesteckten Hub. Das ist aber definitiv kein Stromversorgungsproblem meines Steckernetzteils. Das liefert genug.
* Allgemein hat man beim Lesen der Forenbeiträge das Problem, die Beschreibungen nicht sicher bezüglich der Hardware auseinander halten zu können. Denn es gibt ein Cubieboard 1 (Single-Core A10), ein Cubieboard 2 (ab hier ein Dual-Core A20) und das Cubietruck (auch Cubieboard 3 genannt). Dinge, die auf dem Cubieboard 2 laufen, müssen nicht auf dem Cubietruck laufen. Außer auf der offiziellen Download-Seite lassen sich Images schlecht den betreffenden Versionen zuordnen. man muss probieren, was geht.

-> Das CubieTruck ist derzeit ein echtes Bastelprojekt, wenn man etwas Zeit dafür hat. Aber wenn man den RPi kennt: Im Gegensatz zu dem rasend schnell.

aber
* mit SD-Karte für das root-Filesystem läuft es an und lädt auch den USB-Treiber, um die Festplatte, die ich eigentlich ans SATA anschließen wollte, am USB zu nutzen. YACY will ich nicht auf der SD-Karte betreiben.
* Installation von YACY und Oracle Java ging nahezu problemlos. Die Pfadeinstellungen muss man aber mit der Hand machen. Laut Forenbeiträgen soll das bereits im Lubuntu integrierte Java auf dem CubieTruck (noch) nicht fehlerfrei laufen.
* Mit den derzeit ansprechbaren 1 Gbyte ist Yacy recht flott. Größenordnungen besser als der RPi!
* Crawlen läuft bei mir ohne Unterbrechungen durch zu wenig RAM. (seit gestern Vormittag bis jetzt am Stück)
* Die integrierten LEDs blinkern nervig hell. Ist zwar nicht wichtig, nervt aber, wenn man das Board beim Arbeiten noch vor der Tastatur bzw. Bildschirm liegen hat. Später soll's in den Schrank kommen. Dann ist's egal.

So, wie es aussieht, würde für Yacy auch das Cubieboard 2 mit 1GByte RAM voll zureichen. Für die 15 Euro mehr des CubieTruck bekommt man aber auch das integrierte WLAN und ein Plexiglas-Satz dazu, der ganz brauchbar als "Rack" dient. Eine 2 1/2"-Festplatte kann man gleich mit befestigen. Das passende SATA-Kabel liegt bei. (Wenn es denn dann irgendwann mal geht. Im Moment belegt der Aufbau mit dem externen SATA-USB-Adapter noch den halben Tisch.)

Mein Ziel für diesen Aufbau: SATA so weit lauffähig, dass man darauf booten kann und die SD-Karte nicht mehr benötigt wird. 2GByte RAM ansprechbar. (WLAN auch ohne angestecktes LAN; ist aber für mich nicht so wichtig, da das teil am Ende in meinen kleinen Serverschrank kommt, wo LAN drin ist.)

Meine Installationsschritte habe ich übrigens genauestens dokumentiert. Und vorgestern Abend damit noch mal ganz von vorn angefangen, um sicher zu sein, dass alles so stimmt, wie ich es mir notiert habe. Ins Netz habe ich das noch nicht gestellt. Will erst mal noch paar Sachen testen.

Ein Wort zum Preis (mit Versand): RPi um die 40 Euro, CubieTruck um die 95 Euro. Also das 2 1/2-fache. Diese Leistung bringt es aber auch.

Meiner Meinung nach ist das CubieTruck (wenn dann mal die Firmware rund ist) für einen recht leistungsfähigen Home-Server (NAS/FTP/WEB/TOR/YACY/Cloud...) gut zu gebrauchen. Die Montage einer Festplatte an den Plexi-Platten ist ne gute Lösung, zumal das mitgelieferte SATA-Kabel sehr kurz ist und nicht dumm rumhängt. Das Board am USB3.0-Port das Laptop (liefert 1A, CubieTruck kann nur USB2.0) zu flaschen und dabei den Monitor gesteckt lassen, geht. Zum Betrieb, zumal später direkt mit SATA, sollte man sich aber unbedingt ein 2A-Netzteil besorgen.

Viele Grüße!
Frank
fherb
 
Beiträge: 111
Registriert: Di Nov 26, 2013 10:02 am
Wohnort: Dresden (Germany)

YACY auf Cubieboard testen

Beitragvon fherb » Di Nov 26, 2013 11:36 am

Wer dieser Tage mal testen möchte: Derzeit läuft das Board (und crawlt vor sich hin) unter dem YACY-Namen "fherb_cubietruck1" an folgender Adresse:

http://fherb.de:8090

Ob als Dauerlösung, wird sich noch zeigen. Und derzeit natürlich nur, wenn ich es eingeschaltet habe und nicht dran rumexperimentiere.

Mein Netzzugang bzgl. Geschwindigkeit: Download meist über 25MBit/s; Upload recht stabil bei 2MBit/s (Kabeldeutschland)

Bei meinen Tests erreicht das Board auch mal über 150 PPM.

Viele Grüße!
fherb
 
Beiträge: 111
Registriert: Di Nov 26, 2013 10:02 am
Wohnort: Dresden (Germany)

Re: Raspberry Pi

Beitragvon Low012 » Di Nov 26, 2013 12:46 pm

Hallo Frank, vielen Dank für den ausführlichen Artikel. Ich hatte den Link zum CubieTruck nur mal hier angeladen, ohne Erfahrung damit zu haben.
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: Raspberry Pi

Beitragvon fherb » Mi Nov 27, 2013 12:48 am

Nun, Raspberry Pi ist bei mir auch noch Thema. Aber wegen der doch etwas begrenzten Leistungsfähigkeit hatte ich mich jetzt mal umgesehen, was es alternativ noch gibt. Zumindest zum Crawlen und Parsen ist der Pi doch etwas schwach. Wenn man ihn aber nur wenige PPM abarbeiten lässt und ihn nicht über die Weboberfläche mit Suchanfragen quält, kann er am Netz sicher einen kleinen, preiswerten Suchnutzen bringen. Gerade auch, wenn man noch eine ältere Laptop-Festplatte rumliegen hat. Der mittlere Stromverbrauch sollte für RPi und Festplatte unter 1 A, also 5 Watt liegen. Vorausgesetzt, das Netzteil ist nicht selbst ein Stromfresser.

Es wäre interessant von den Entwicklern mal zu erfahren, ob z.B. ein Cluster aus z.B. 10 RasPis mit jeweils einer 32GBit SD-Karte wirtschaftlicher ist als ein vergleichbar teurer Server. Ich schätze mal, der Gesamtpreis pro Clusterelement wird bei 70 Euro liegen (gemeinsames Netzteil und Hubs preislich auf alle umgelegt). Inkl. Kleinkram. Alternativ ein Server mit einer Ausstattung, wie der in der ct kürzlich aktualisierter 11-Watt-PC (Ruheleistung). Lag auch so um die 700 Euro.

An dem Cubieboard habe ich jetzt ne Festplatte, auf der rund 430GB für YACY Platz ist. Mal sehen, wie sich die Prozessorauslastung ändert, wenn die Platte gut gefüllt ist. Vielleicht ist das eine passendere Zusammenstellung: Irgendwas von einigen hundert Gigabyte Festplatte, einen 1- oder 2-corigen nicht zu langsamen ARM an einem DSL- bzw. Kabelnetzanschluss.

Viele Grüße!
fherb
 
Beiträge: 111
Registriert: Di Nov 26, 2013 10:02 am
Wohnort: Dresden (Germany)

Re: Raspberry Pi

Beitragvon fherb » Di Dez 03, 2013 12:56 am

Kurzer Zwischenstand, wen es interessiert. Und vielleicht kann ich jemanden mobilisieren, mitzumachen.
------------------------------------------------------------------------------------------------------------------------------------

Habe jetzt 3 auf interessante Weise vergleichbare Systeme laufen:

[*] fherb-hetzn62 Läuft auf einer virtuellen Maschine bei Hetzner; bekannte Randdaten: 512MB RAM, 100MBit-Anbindung, Verwendung eines Swapfiles
[*] fherb-CubieTruck1 Läuft bei mir zu Hause über LAN am Router. Der genannte CubieTruck. Randdaten: Dual-Core-Arm; derzeit reichlich 800MB RAM ansprechbar (noch Firmwareproblem; 2GB sind verlötet)
[*] fherb-RasPi1 Läuft ebenfalls bei mir zu Hause, aber über WLAN am Router. Hier tuckert ein ARM mit 512MB RAM.

Die beiden ARMse hängen an 24...32MBit Downloadrate und 2MBit Uploadrate im Netz von Kabeldeutschland.

Soweit ich das aber bisher beobachten kann: Nicht der mittlere Durchsatz des Netzes scheint die Kommunikation mit anderen Peers zu beeinflussen, sondern die Reaktionszeiten am Netz. Richtig? Ein reaktionsschneller Peer wird offenbar "gerne" ausgewählt, um Daten zu speichern, die von anderen Peers kommen. (s. Bemerkung unten)

Interessant: Der knappe Speicher von 512MB beim Hetzner-System scheint YACY bei der Netzwerkarbeit mit den anderen Peers wenig auszubremsen. Offenbar zählt hier vor allem schnelle Reaktion in der Netzwerkkommunikation. Die zugeteilte Prozessorleistung und Zugriff auf die Festplatte für diese VM scheint ganz passabel. Vielleicht sind das wenig beanspruchte Systeme, mit denen ich die Hardware bei Hetzner teilen muss. Auch scheint das Indexieren vor allem Leistung im Download (Netzanbindung) und im Parsen (Prozessor) zu fordern. Auch das geht ganz zügig.

Der CubieTruck hat mich inzwischen von seiner Leistungsfähigkeit gegenüber dem Raspberry Pi überzeugt. Beide liegen natürlich weit hinter dem Hetzner-System zurück. Beim RasPi macht das Zusammenspiel aus begrenzter Leistungsfähigkeit und nicht allzu großem RAM vor allem beim Crawlen Probleme. Aber: Er arbeitet stabil. Vermutlich sind aber auch seine Reaktionszeiten am Netz nicht so dolle, weswegen er von anderen Peers kaum zur Verwaltung von Daten angesprochen wird. Das klappt beim CubieTruck schon deutlich besser. Ob den CubieTruck nun eher die Netzwerkanbindung oder die eigene Leistungsfähigkeit bremst, weiß ich noch nicht. Die zwei Kerne sind jedenfalls nicht permanent bei 100%.

Die Probleme mit der SATA-Festplatte am CubieTruck sind gelöst: Auch ein 2A-Netzteil reicht nicht aus. Der zentrale Stromversorgungsbaustein resetet den Prozessor in dem Moment, wenn die Festplatte vom Prozessor eingeschaltet wird. Der Treiber beherrscht inzwischen alles: SATA wie auch das Einschalten der Stromversorgung. Und: Die Festplate wird nur versorgt, wenn man den Strom über den Rundsteckverbinder zuführt. Das CubieBoard lässt ebenso die Versorgung über die Mini-USB-Buchse zu. Aber wie ich der Schaltung inzwischen entnehmen konnte, ohne einen Teil der Peripherie zu versorgen. Also auch ein kräftiges 12W-Apple-Steckernetzteil mit Mini-USB-Stecker reicht nicht zu, um die Anordung mit Festplatte zu betreiben. - Ob man mittels Stützkondensator das CubieTruck inckl. Festplatte an einem 2A-Netzteil verwenden kann, teste ich noch. Nach dem Einschaltmoment des Spindelantriebs sollte das völlig ausreichend sein. - Nutzer von SSD-Festplaten haben dieses Problem nicht. Aber das wird vorerst der Sonderfall bleiben, da eine SSD am CubieTruck, wie auch am Raspberry Pi kostenmäßig Unsinn ist. Dann lieber das Geld in leistungsfähigere Prozessor(Mainboard)hardware stecken.

Das Tuning der Parameter zur Verbesserung der Leistungsfähigkeit ist für mich noch ein Rätsel. Manche Parameter sind ein wenig verständlich. Aber um das wirklich ausgewogen zu tun, muss man wohl die YACY-Software besser in ihrer Struktur und Leistungsverteilung kennen. Was ich vor allem tue: performanceIO etwas reduzieren. Sowie den Heap für Java gegenüber der Standardeinstellung zu reduzieren.

Bemerkung: Wenn reaktionsschnelle Peers von den Teilnehmern "gern" zur Ablage der Index-Informationen verwendet werden würde es doch Sinn machen, wenn wir neben zusätzlicher Hardware zu Hause lieber einen Server, von mir aus auch einen Virtuellen, bei einem gut angebundenen Hoster für das Netzwerk sponsoren (betreiben), das Crawlen aber vor allem mit unseren Systemen zu Hause erledigen, wenn sie gerade eingeschaltet sind. Dann müsste das Netz als solches doch auf Suchanfragen einerseits schnelle Antworten liefern können, während die mit reichlich Verzögerung versehenen Systeme zu Hause den Input liefern.
fherb
 
Beiträge: 111
Registriert: Di Nov 26, 2013 10:02 am
Wohnort: Dresden (Germany)

Re: Raspberry Pi

Beitragvon fherb » Mo Dez 09, 2013 11:58 pm

Im Moment verfolgt den Thread zwar offenbar niemand, aber ich setze ihn trotzdem fort, falls er wieder von Interesse wird.

Mein Raspberry Pi läuft nun seit Tagen nahezu ununterbrochen mit YaCy.

Aber auch genau so nutzlos. Rund 33.000 Dokuments werden angezeigt. Das änderte sich die letzten Tage nicht mehr. Und DHT Words liegt jetzt bei rund 206 000. Das geht mal runter und rauf. Meist bleibt es aber, wo es ist.

Mit htop und iotop habe ich mal die Auslastung beobachtet: Festplattenzugriffe (über USB) sind marginal. Schlauchen also nicht am System. Speicher ist ausgelastet wie auch beim Hetzner-System (welches kräftig am Netz aktiv ist). Aber der Prozessor ist faktisch immer auf 100%. Das bedeutet, dass er nur sehr träge auf Ereignisse reagiert. Der Aufruf der Webseiten geht zwar, ist jedoch entsprechend langsam. Und deshalb wird er inzwischen wohl auch nur noch sehr, sehr selten von anderen Peers zur Ablage von DHT/RWI/URL angesprochen. Auch beim Restart von Raspberry Pi oder YACY ändert sich nichts.

Demzufolge scheint der Raspberry Pi als vollwertiger grundsätzlich YACY-Peer nicht brauchbar. Flaschenhals ist die Prozessorleistung.

Für weitere "Forschungen" wäre überlegenswert, ob und wie man Raspberry Pi oder ähnliche Systeme in einem preiswerten Cluster zusammenführen kann, dass nur spezielle Aufgaben übernimmt, die dann möglichst resourcenschonend implementiert werden. Die Frage nach dem Kosten-Nutzenverhältnis bleibt aber. Das ist selbst mit so einer Spezialisierung womöglich bei etwas teureren Systemen, wie Cubieboard 2 oder 3 (CubieTruck) trotzdem viel günstiger.

Noch jemand Interesse am Experimentieren?

Bei den ganzen Versuchen habe ich etwas Mögliches im Hinterkopf: Eine selbstständig arbeitende YaCy-Box, die man einfach (so, wie auch ein fertig konfiguriertes NAS) in sein Homenetz hängt und die dann stromsparend tut, was für YaCy zu tun ist. Denn YaCy könnte zukünftig mit dem Nachteil konfrontiert werden, dass immer mehr Nutzer stromsparende Laptops statt Desktops nutzen, auf denen man (ich auch nicht) die Batterie und die gute SSD ungern für YaCy vor sich hinlaufen lassen will.

Viele Grüße
fherb
 
Beiträge: 111
Registriert: Di Nov 26, 2013 10:02 am
Wohnort: Dresden (Germany)

Re: Raspberry Pi

Beitragvon Low012 » Di Dez 10, 2013 12:22 pm

fherb hat geschrieben:Im Moment verfolgt den Thread zwar offenbar niemand, aber ich setze ihn trotzdem fort, falls er wieder von Interesse wird.

Ich lese hier interessiert mit, habe aber zur Zeit leider nicht genug Zeit, selbst aktiv zu werden.
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: Raspberry Pi

Beitragvon Orbiter » Di Dez 10, 2013 2:04 pm

Hi, ich hab mir auch noch vorgenommen für den 30C3 ein ArchLinux RPi + YaCy Image zu bauen, weiss aber noch nicht ob ich dazu komme.
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Raspberry Pi

Beitragvon fherb » Fr Dez 27, 2013 5:43 pm

Hab den CubieTruck heute mit einem neuen Linux ausgestattet. Jetzt arbeitet er mit den vollen 2GByte. Das Image ist von hier: http://www.cubieforums.com/index.php/topic,1275.0.html

Musste aber noch mit Java ausgestattet werden.
fherb
 
Beiträge: 111
Registriert: Di Nov 26, 2013 10:02 am
Wohnort: Dresden (Germany)

Re: Raspberry Pi

Beitragvon fherb » Fr Dez 27, 2013 6:09 pm

*STAUN* *zisch....* *flupppp* *schlapperappassssssiiitt*
Der Cubietruck geht beim Crawlen ab wie Schmidts Katze. Beide Kerne zu 100% ausgelastet. So war das bisher nur kurze Zeit mit neu installiertem YACY. Aktuell aber auch mit 700.000 indizierten Docs. Mal sehen, wie lang der Zustand anhält.
fherb
 
Beiträge: 111
Registriert: Di Nov 26, 2013 10:02 am
Wohnort: Dresden (Germany)

Re: Raspberry Pi

Beitragvon Low012 » Fr Dez 27, 2013 6:45 pm

Das hört sich ja echt gut an. Bitte weiter berichten! :)
Low012
 
Beiträge: 2214
Registriert: Mi Jun 27, 2007 12:11 pm

Re: Raspberry Pi

Beitragvon fherb » Fr Dez 27, 2013 9:02 pm

Arbeitsspeicher scheint ne kritische Größe zu sein. Hab bei Hetzner mit 512MB RAM Yacy/Java auf 360MB gestellt, damit die Kiste bei rund 1,5Mio Docs und 1,5Mio Worten über Web noch ordentlich reagiert. Dabei ist aber Swapping schon notwendig. Um 90MByte sind im Swap und das System hält um die 15MByte im RAM frei.

Das bedeutet, dass man beim RasPi mit seinen 512 MByte ebenso um Swapping nicht ganz drum rum kommt. Ich werde meinen RasPi jetzt noch mal entsprechend aufsetzen. Statt Wlan, werd ich ihn per Kabel ans Netz bringen. Wlan schein den Arm nicht unwesentlich zu belasten. Melde mich, wenn er in dieser Konfiguration läuft.
fherb
 
Beiträge: 111
Registriert: Di Nov 26, 2013 10:02 am
Wohnort: Dresden (Germany)

Re: Raspberry Pi

Beitragvon fherb » Fr Dez 27, 2013 11:59 pm

Cubietruck läuft jetzt in der 7. Stunde am Stück. Während vorher zwischen 200 und 300 Links pro Stunde dazu kammen, liegt das jetzt bei 5000 bis 6000.
Crawl lag vorher bei 4...9 PPM. Jetzt bei 76...111PPM.
fherb
 
Beiträge: 111
Registriert: Di Nov 26, 2013 10:02 am
Wohnort: Dresden (Germany)

Re: Raspberry Pi

Beitragvon fherb » Sa Dez 28, 2013 12:24 pm

Ich verstehe nicht:

CubieTruck indiziert immer noch in der gleichen Größenordnung von im Mittel um die 100PPM. Aber: Seit einigen Stunden ist die Zahl der Dokumente und DHT-Words absolut konstant. DHT-Sends sind im Log nicht zu sehen. Tut er nur, als ob er indiziert? Oder ist das ein normales Verhalten? Ist es möglich, dass das Seiten sind, die schon einmal früher besucht wurden und wo YACY jetzt bloß nach sieht, ob dort weitere URLs von Seiten drin sind, die noch nicht gescannt wurden? Nur so könnte ich mir das erklären.
fherb
 
Beiträge: 111
Registriert: Di Nov 26, 2013 10:02 am
Wohnort: Dresden (Germany)

Re: Raspberry Pi

Beitragvon fherb » Sa Dez 28, 2013 1:12 pm

Bin gerade dabei, ein RasPi-Image mit YACY vorzubereiten. Hab den folgenden Vorschlag am Ende ausprobiert:

neonknight hat geschrieben:
Orbiter hat geschrieben:Mich interessiert vor allem wie man das so macht dass das Image möglichst klein wird, also whitespace nullen etc.


Hallo Orbiter, ich verwende dafür jeweils das folgende Skript (ggf noch mit Optmierungspotential) auf einem laufenden Raspbian:

Code: Alles auswählen
#!/bin/bash
rm -f /etc/udev/rules.d/70-persistent-*.rules
rm -f /var/log/*
rm -f /var/cache/apt/archives/*.deb
rm -f /var/cache/apt/archives/partial/*.deb
rm -f /etc/ssh/ssh_host*
rm -f /var/lib/dhcp/*
cat /dev/zero > /zeroes; rm -f /zeroes
poweroff


Danach wird die SD-Karte in den Linux-Desktop geschoben und dort per
Code: Alles auswählen
dd if=/dev/sdx bs=4096 | gzip -9 > custom-raspbian.img.gz

zu einem relativ kompakten Image verpackt. sdx musst du an die jeweils korrekte Bezeichnung deines Cardreaders anpassen.


Danach erst mal testweise neu gebootet, ob das Image nach dem Script immer noch funktioniert. Aber nö: RasPi war am Netz nicht mehr zu erreichen.

Ich nehme eine 4GB-SD-Karte. Dann bleibt das Image eben erst mal so groß, wie es ist. Oder habt Ihr eine Empfehlung?
fherb
 
Beiträge: 111
Registriert: Di Nov 26, 2013 10:02 am
Wohnort: Dresden (Germany)

Re: Raspberry Pi

Beitragvon fherb » So Dez 29, 2013 2:19 am

Image für RasPi

So, ....

Während der Chaos Computer Club seine wichtige Konferenz in einem Jahr abgibt (Orbiter berichtet), dass wohl als das wichtigste Jahr während der ersten 50 Jahre Internet in die Geschichte eingehen wird, Google manchmal unbenutzbar wird, weil statt Informationen nur Sonderangebote offeriert werden, Snowden noch auf den Moment warten muss, wo ein wahrhaft demokratischer Staat ihm eine dauerhafte Lebensgrundlage bieten wird...

... da hab ich kleiner Wicht mir mal die Zeit genommen, ein vollständiges Image mit YaCy für den derzeit nahezu preiswertesten Linux-Rechner Raspberry Pi zusammenzustellen.

Im Moment arbeitet 7z auf meinem Laptop noch, die 4Gybte möglichst klein zu machen, bevor ich es online stelle. Ich habe aber schon den einführenden Beitrag dazu vorbereitet. Praktisch ein how-to, um ohne viel Aufwand in eine Einarbeitung in den RasPi ein YaCy zum Laufen darauf zu bekommen.

Nur für dieses Image und dessen mögliche zukünftige Pflege habe ich dazu einen eigenen Thread unter "Mitmachen" gestartet: http://forum.yacy-websuche.de/viewtopic.php?f=15&t=5058. Das Eingangs-Post beschreibt die Installation auf dem Niveau von Nicht-Insidern in RasPi. Das ist Absicht.

Die Diskussion können wir gerne hier weiter führen. Die Auslagerung in einen eigenen Thread hab ich nur wegen der Übersichtlichkeit getan. Wenn wir dort nur Aktualisierungen posten, bleibt das dort für neue Leser übersichtlich und nachvollziehbar.

Dieses Image arbeitet nun seit einigen Minuten auf einer schnellen 8GByte SD-Karte von Sandisk. Eine externe Festplatte über USB habe ich entgegen meinen ersten Versuchen nicht angeschlossen. Ich will mal sehen, wie das in dieser minimalen Konfiguration läuft. Es ist energetisch auch die sparsamste Variante.

So... 7Zip hat das Image jetzt unter 1GByte gepresst. Da werde ich mal sehen, wo ich es zum Download gut im Netz platzieren kann.

Viele Grüße!
fherb
 
Beiträge: 111
Registriert: Di Nov 26, 2013 10:02 am
Wohnort: Dresden (Germany)

Re: Raspberry Pi

Beitragvon fherb » Di Dez 31, 2013 12:38 am

Ausgehend von diesem Image ohne weitere Anpassungen der yacy.conf laufen jetzt zwei RasPi-Boards. Eines mit einer schnellen 8GB-Flash-Karte. Das Zweite mit einer Festplatte über USB.

Und vor allem: Beide Systeme nicht über WLAN. Mein erster Versuch, (in der Konfiguration mit der USB-Festplatte), mit WLAN-Interface endete bei unter 40.000 Dokumenten. Danach fand kaum noch Austausch mit anderen Peers statt. Obwohl der Prozessor weiterhin bei 100% werkelte. Indexing ging auch nicht mehr.

Beide Peers indizierten jetzt bereits über 100.000 Dokumente (aus Crawling und durch Übernahme von anderen Peers) und sie crawlen noch mit wenigen PPM. DHT-Transfer findet derzeit kaum statt. Obwohl im Terminal sehr wenig Indexing angezeigt wird, zeigt yacystats.de immer noch PPM im zweistelligen Bereich an. Die Raten sagen wenig über den Vergleich mit den beiden Speichermedien aus, da die gecrawlten Seiten unterschiedlicher Art sind und vermutlich die Prozessorlast durch Parsing hervorgerufen wird. Zumindest ist immer noch die Prozessorlast der Flaschenhals, der Zugriff auf SD bzw. HDD steigt nun aber anteilig schon etwas.

Die beiden Speichermedien (SD-Karte und HDD) unterscheiden sich wohl eher in der Frage der Alterung. Mir ist nicht bekannt, dass in den Treibern des Wheezy-Images für RasPi eine Optimierung für SD-Karten enthalten ist. Eine Weile mit iotop beobachtet liegen die Schreibraten inzwischen auch manchmal im Bereich von wenigen MByte/s. Ein Zeichen, dass inzwischen mehr an Daten geschrieben wird, als am Anfang.

Trotz allem: Das CubieBoard ist den RasPi's um Längen voraus. Jetzt bei knapp 1MIO Documents und 3 Mio DHT Words. (Es parst... , aber indiziert nicht in einem Forum. Dazu jedoch in einem anderen Thread.)
fherb
 
Beiträge: 111
Registriert: Di Nov 26, 2013 10:02 am
Wohnort: Dresden (Germany)

Re: Raspberry Pi

Beitragvon Yududi » Di Dez 31, 2013 2:30 pm

Wollte nur sagen ich verfolge deinen Beitrag hier sehr aufmerksam auch wenn ich mich nicht immer zu Wort melde.
Ich überlege auch meinen Peer auf einen Cubietruck zu verlegen.
So wie es ausschaut scheint es damit ja gut zu klappen.
Was den Raspberry Pi angeht: nette Spielerei aber ich glaube für YaCy nicht wirklich geeignet.
Denke sehen viele anders aber die Specs sind einfach zu gering dann lieber was anderes damit machen.
Yududi
 
Beiträge: 64
Registriert: Di Dez 10, 2013 12:30 pm

Re: Raspberry Pi

Beitragvon fherb » Do Jan 02, 2014 11:28 pm

Also ich muss wohl dieser Tage Asche (abgefackelter Feuerwerkskörper) auf mein Haupt streuen:

Seit RaspberryPi nicht mehr per Wlan am Netz hängt, läuft es überraschend gut. RasPi2, der die Usb-Festplatte für YaCy nutzt, ist die Tage mit Crawln über 500.000 Urls gekommen. Der RasPi1, alles auf SD-Karte, ist bei über 200.000 Urls. Das hat im Vergleich aber nichts zu sagen, da die Crawling-Aufgaben unterschiedlich waren und vom Inhalt abhängig sind.

Inzwischen hab ich die Crawls alle abgeschaltet und es läuft nur der DHT-Transfer. Dessen Rate ist aber nicht zu verachten. Darüber müssen die URLs ja nur einsortiert werden. Das scheint wenig Prozessorlast zu benötigen.

Da ich zwischenzeitlich immer versucht habe, die Versionen auf den aktuellsten Entwicklungsversionen zu halten, können die Fortschritte auch mit den Änderungen dort zusammenhängen. Weiß ich nicht. Aber irgendwann früher war mir auch schon mal aufgefallen, dass Wlan beim RasPi sehr an der Performance zehrt.

Mein Hetzner VServer ist für die Tests ein interessantes Vergleichsobjekt, da mir dort genau so wenig Ram zurVerfügung steht, wie beim RasPi. Die Festplattensschnittstelle und der eine Prozessorkern sind leistungsfähiger, sodass die Crawl- und URL-Zuwachsraten steiler sind und vielleicht auch bei etwas Swappen die Performance sicher besser ist. Aber die Index-Grenzen sollten vergleichbar sein. Folgender Wert wird also auch für die beiden RasPis interessant: Ab um die 3Mio URLs wurde mir das Hetznersystem instabil. Startet man den Crawl mit der Hand mehrfach wieder, ist dann irgendwann der Speicher zu klein und es crasht oder die Webschnittstelle reagiert nicht mehr. Durch den Proxy-Fehler der letzten Dev-Versionen ist mir der Index recht schnell angestiegen, ohne dass ich das anhalten konnte. Das Sicherheitsloch soll inzwischen geschlossen wurden sein.

Alles in allem müssten die RasPi also auch bis in die 2Mio URLs kommen. Mal sehen. Ich bin gespannt.

Ein Problem am Rande: Die Konfiguration des der Java-Engine zu Verfügung stehenden Ram ist ne schwierige Sache. Für xmx wird nur der Heap in seinem Maximum festgelegt. Java nutzt aber auch Ram, der nicht über den Heap verwaltet wird. Und dessen Wert kommt auf den Gesamtspeicherbedarf dazu. Für YaCy sind aus meinen Beobachtungen heraus wenigstens 150MByte zum Heap dazuzurechnen. Mir ist unklar, ob das unabhängig von der Größe des Index bzw. DHT ist.

Soweit für heute bzgl. RasPi.

Den CubieTruck hab ich bei gut 1Mio URLs angehalten. Ab jetzt soll er sich über DHT-Transfer mit Daten füllen. Wie die beiden RasPis auch. Die Vorgabe für den Heap habe ich trotz der zur Verfügung stehenden 2GByte Ram vorerst auf 600MByte festgelegt. Ich will sehen, wie viel Ram nach längerer Laufzeit tatsächlich verwendet wird und wie er auf die Grenze reagiert. Danach schraub ich das dann langsam hoch, bis die 2 Gbyte umfassend genutzt werden.

Viele Grüße
Frank
fherb
 
Beiträge: 111
Registriert: Di Nov 26, 2013 10:02 am
Wohnort: Dresden (Germany)

Re: Raspberry Pi

Beitragvon fherb » Sa Jan 04, 2014 2:16 pm

Aktueller Wert: "rund 200MByte hinzurechnen". Also zur Heap-Konfiguration. Wenn sonst nichts weiter läuft, wäre damit xmx mit 250MByte zu konfigurieren, um kurz vorm Überlauf in das Swapfile zu landen. Mal sehen, ob es dabei bleibt.
fherb
 
Beiträge: 111
Registriert: Di Nov 26, 2013 10:02 am
Wohnort: Dresden (Germany)

Re: Raspberry Pi

Beitragvon Orbiter » Sa Jan 04, 2014 11:42 pm

Hi, sorry dass ich noch nicht dazu gekommen bin deine Experimente zu kommentieren, aber ich finde das ist super was du inzwischen für Zahlen herausbekommen hast! Ich werde das auch mal mit deinem Image probieren und schauen wie es bei mir läuft, ich habe ja so eine extra-schnelle SD-Karte besorgt.
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Raspberry Pi

Beitragvon fherb » So Jan 05, 2014 10:29 pm

:) Prima. Ich vermute aber nach meinen Experimenten, die Geschwindigkeit der Karte wird nur wenig Einfluss haben. (Bei ner billigeren Karte ist es aber nicht so Schlimm, wenn sie "durchbrennt". :D )

Beim Crawlen ist der Prozessor die Bremse und beim Austausch von DHT/URLs mit anderen Peers spielt die Zugriffszeit wahrscheinlich auch gar keine so große Rolle. Eher die Response-Zeiten zwischen den Peers. Bei ner schnellen Karte habe ich auch schon überlegt, ob dann ein wenig Swappen Sinn macht, um etwas mehr "virtuellen" RAM zu haben. Sieht aber nicht aus, dass das der RasPi vernünftig schafft.

Im Moment schafft meine Karte etwa 20MByte/s beim Schreiben. Lesen soll noch schneller sein (30MByte/s steht drauf). Mit iotop sehe ich aber so hohe Zahlen nicht. Sind eher viele kurze, kleine Zugriffe. ...

... Irgendwie scheint der RaspPi zum Crawlen zu schwach und für nen großen Index zu klein (Ram). Zumindest, wenn er allein vor sich hinwurschtelt. Aber irgendwie reizt er mich doch. Man kann schön beobachten, was ein Flaschenhals bewirkt. (Mache ich bei meiner Software auf Arbeit auch immer. Da nehme ich die schwachbrüstisgte Hardware zum Testen und freue mich, wenn der Anwender über die fixen Reaktionen auf dem fetten Rechner staunt. :D )

--------

Ich lasse die zwei RasPis und den Cubietruck noch ne Weile so laufen. Mal sehen, wann wo was klemmt. Die beiden RasPis sind letzte Nacht ausgestiegen (Memory-Probleme). Aber nach einem Neustart laufen sie wieder seit über 12 Stunden und reagieren zügig am Webfrontend. Beide scheinen jetzt auch mal wieder URLs und DHTs abzugeben, um nicht weiter vollzulaufen.

Als nächstes Ziel steht bei mir, mal eine Energiebilanz zu messen. Zwischen RasPi, CubieTruck und meinem Desktop. Wenn beim RasPi mit SD-Karte diese Karte keine Probleme bekommt, würde ich das mal am CubieTruck mit Karte statt Festplatte probieren. Die Platte frisst das Meiste an Strom.

Schade, dass es für Linux keinen Treiber spezielle für SD-Karten gibt, der wie die Firmware von SSDs die Zugriffe optimiert und die Karte "schonend" verbraucht. Oder hat schon mal jemand etwas davon gehört, dass es das doch gibt?
fherb
 
Beiträge: 111
Registriert: Di Nov 26, 2013 10:02 am
Wohnort: Dresden (Germany)

Re: Raspberry Pi

Beitragvon fherb » Mo Jan 06, 2014 12:11 am

Naja. Eben ist einer der RasPis (mit den derzeit weniger URLs) wieder hängen geblieben:

java.lang.OutOfMemoryError: Java heap space

Das sollte eigentlich nicht passieren. Der RasPi hat über 250MByte Heap zur Verfügung. Den Hetzner-VServer habe ich mit 150MByte statt 250MByte Heap in Verwendung und der hat inzwischen die doppelte Menge an Dokumenten im Index. Da ist sicher nicht die Schuld bei der geringen Performance zu suchen. Speicher sollte nie überlaufen und zum Crash führen. Die Software hat vorher ihr Verhalten anzupassen. (Ist meine theoretische Meinung.)

----------------

Kurze Fragen an Orbiter:

Mit der Integration von Solr, so habe ich es für mich verstanden, hast Du kaum Einfluss mehr auf die Art und Weise, wie der Index und die DHT in RAM und auf Festplatte gemananged werden. Richtig?

Oder ist die DHT kein Bestandteil von Solr und wird von Dir programmiert? Was ich bei Apache Solr gefunden habe sieht nicht nach einer "massiv distributed-Lösung" aus, wie YaCy ja im Ursprung sein soll. Sondern nur nach der lokalen Indizier-Maschine und der "distributed"-Teil ist dann der Anteil, den YaCy beibringt.

Eigentlich beeindruckt mich die langjährige Entwicklung von YaCy ungemein! Schließlich haben sich die Randbedingungen der Rechentechnik immer wieder geändert. Erst war das Netz langsam, die Festplatten immer zu klein, der Prozessor immer zu langsam, dann wurde dies besser, dann wieder das...

... Im Moment scheint alles ausreichend zu sein, nur nicht der Arbeitsspeicher. ... Und auf einmal gibt es Festplatten mit super-Zugriffsraten vom 10-Fachen des vorher Üblichen. ... Und dann kommt jemand mit dem RasPi, der alles wieder "Auf Anfang" setzt. :)
fherb
 
Beiträge: 111
Registriert: Di Nov 26, 2013 10:02 am
Wohnort: Dresden (Germany)

Re: Raspberry Pi

Beitragvon Orbiter » Mo Jan 06, 2014 12:20 pm

Hi, zu deinen Fragen:

durch Solr geht tatsächlich etwas an Kontrolle verloren, aber nicht im Bezug zur DHT-Konstruktion, denn dies wird nicht durch Solr ersetzt. Im Sinne der P2P-Suche im Netz wird weiterhin die DHT und die damit geschaffenen Datenstrukturen genutzt, in diesem Bezug dient Solr nur als Metadaten-Archiv. Da aber die Suche in Solr eine wesentliche Erweiterung der Such-Möglichkeiten bedeutet, wird dies in YaCy evenfalls genutzt, aber nur lokal und im Netz ebenfalls, aber nur als 'Robinson-Beimischung', nicht nach DHT-Regeln.

Solr nutzt einen RAM-Zugriff ausserhalb der in der jvm zugewiesenen Werte durch -Xmx Startup-Attribute. Das macht es insbesondere bei knappen Speicher schwierig, abzuschätzen wieviel man YaCy zuweisen soll. Man darf den verfügbaren Speicher eben nicht auch komplett YaCy zuweisen.
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Raspberry Pi

Beitragvon Orbiter » Mo Jan 06, 2014 12:23 pm

Hier kommt was spannendes: Ein YaCy Kickstarter-Projekt für den RPi! Ich denke die dort eingesetze Architektur sollten wir auch genau im Auge behalten, der Projektanbieter hat offenbar schon Erfahrung mit effizienten RPi Spezialanwendungen:
http://www.kickstarter.com/projects/145 ... net-search

Für die 10.000$ müssen die rund 400 RPi-Images auf SD-Karten raushauen. Ich finde das ganz ok und uns hilft es.
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Nächste

Zurück zu Mitmachen

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast