Startzeit verkürzen

Ideen und Vorschläge sind willkommen.

Startzeit verkürzen

Beitragvon celle » Mi Nov 12, 2008 7:46 pm

Hallo,

ich starte mein YaCy als Service unter Windows und benutze es als Proxy. Auch mache ich öfters ein Update auf ein aktuelles SVN. Dadurch sind einige Neustarts notwendig. Das dauert aber circa 10 Minuten und das ist nervig für diese Zeit den Proxy umzustellen.

D 2008/11/12 19:22:23 STARTUP OPENING COLLECTION INDEX
I 2008/11/12 19:22:23 ECOTABLE initialization of f:\yacy\DATA\INDEX\freeworld\TEXT\RICOLLECTION\collection.index: available RAM: 758MB, allocating space for 9544936 entries
I 2008/11/12 19:22:23 ECOTABLE f:\yacy\DATA\INDEX\freeworld\TEXT\RICOLLECTION\collection.index: EcoTable f:\yacy\DATA\INDEX\freeworld\TEXT\RICOLLECTION\collection.index has table copy DISABLED
I 2008/11/12 19:22:23 ECOTABLE initializing RAM index for EcoTable collection.index, please wait.
D 2008/11/12 19:23:00 STARTUP opened array file f:\yacy\DATA\INDEX\freeworld\TEXT\RICOLLECTION\collection.04.0028.00.00.kca with 7125544 RWIs
D 2008/11/12 19:23:00 STARTUP opened array file f:\yacy\DATA\INDEX\freeworld\TEXT\RICOLLECTION\collection.04.0028.01.00.kca with 1659923 RWIs
D 2008/11/12 19:23:00 STARTUP opened array file f:\yacy\DATA\INDEX\freeworld\TEXT\RICOLLECTION\collection.04.0028.02.00.kca with 1153231 RWIs
D 2008/11/12 19:23:00 STARTUP opened array file f:\yacy\DATA\INDEX\freeworld\TEXT\RICOLLECTION\collection.04.0028.03.00.kca with 508635 RWIs
D 2008/11/12 19:23:00 STARTUP opened array file f:\yacy\DATA\INDEX\freeworld\TEXT\RICOLLECTION\collection.04.0028.04.00.kca with 106066 RWIs
D 2008/11/12 19:23:00 STARTUP opened array file f:\yacy\DATA\INDEX\freeworld\TEXT\RICOLLECTION\collection.04.0028.05.00.kca with 62892 RWIs
D 2008/11/12 19:23:00 STARTUP opened array file f:\yacy\DATA\INDEX\freeworld\TEXT\RICOLLECTION\collection.04.0028.06.00.kca with 21389 RWIs
D 2008/11/12 19:23:00 STARTUP opened array file f:\yacy\DATA\INDEX\freeworld\TEXT\RICOLLECTION\collection.04.0028.07.00.kca with 3989 RWIs
D 2008/11/12 19:23:00 STARTUP opened array file f:\yacy\DATA\INDEX\freeworld\TEXT\RICOLLECTION\collection.04.0028.08.00.kca with 0 RWIs
I 2008/11/12 19:23:01 kelondroSplitTable opening partial eco table f:\yacy\DATA\INDEX\freeworld\TEXT\urls.200804
I 2008/11/12 19:23:01 ECOTABLE initialization of f:\yacy\DATA\INDEX\freeworld\TEXT\urls.200804: available RAM: 611MB, allocating space for 7359620 entries
I 2008/11/12 19:23:01 ECOTABLE f:\yacy\DATA\INDEX\freeworld\TEXT\urls.200804: EcoTable f:\yacy\DATA\INDEX\freeworld\TEXT\urls.200804 has table copy DISABLED
I 2008/11/12 19:23:01 ECOTABLE initializing RAM index for EcoTable urls.200804, please wait.
I 2008/11/12 19:25:59 kelondroSplitTable opening partial eco table f:\yacy\DATA\INDEX\freeworld\TEXT\urls.200809
I 2008/11/12 19:25:59 ECOTABLE initialization of f:\yacy\DATA\INDEX\freeworld\TEXT\urls.200809: available RAM: 479MB, allocating space for 3206455 entries
I 2008/11/12 19:25:59 ECOTABLE f:\yacy\DATA\INDEX\freeworld\TEXT\urls.200809: EcoTable f:\yacy\DATA\INDEX\freeworld\TEXT\urls.200809 has table copy DISABLED
I 2008/11/12 19:25:59 ECOTABLE initializing RAM index for EcoTable urls.200809, please wait.
I 2008/11/12 19:27:41 kelondroSplitTable opening partial eco table f:\yacy\DATA\INDEX\freeworld\TEXT\urls.200810
I 2008/11/12 19:27:41 ECOTABLE initialization of f:\yacy\DATA\INDEX\freeworld\TEXT\urls.200810: available RAM: 433MB, allocating space for 3195216 entries
I 2008/11/12 19:27:41 ECOTABLE f:\yacy\DATA\INDEX\freeworld\TEXT\urls.200810: EcoTable f:\yacy\DATA\INDEX\freeworld\TEXT\urls.200810 has table copy DISABLED
I 2008/11/12 19:27:41 ECOTABLE initializing RAM index for EcoTable urls.200810, please wait.
I 2008/11/12 19:31:36 kelondroSplitTable opening partial eco table f:\yacy\DATA\INDEX\freeworld\TEXT\urls.200808
I 2008/11/12 19:31:36 ECOTABLE initialization of f:\yacy\DATA\INDEX\freeworld\TEXT\urls.200808: available RAM: 384MB, allocating space for 3146962 entries
I 2008/11/12 19:31:37 ECOTABLE f:\yacy\DATA\INDEX\freeworld\TEXT\urls.200808: EcoTable f:\yacy\DATA\INDEX\freeworld\TEXT\urls.200808 has table copy DISABLED
I 2008/11/12 19:31:37 ECOTABLE initializing RAM index for EcoTable urls.200808, please wait.
I 2008/11/12 19:32:52 kelondroSplitTable opening partial eco table f:\yacy\DATA\INDEX\freeworld\TEXT\urls.200807
I 2008/11/12 19:32:52 ECOTABLE initialization of f:\yacy\DATA\INDEX\freeworld\TEXT\urls.200807: available RAM: 339MB, allocating space for 1347265 entries
I 2008/11/12 19:32:52 ECOTABLE f:\yacy\DATA\INDEX\freeworld\TEXT\urls.200807: EcoTable f:\yacy\DATA\INDEX\freeworld\TEXT\urls.200807 has table copy DISABLED
I 2008/11/12 19:32:52 ECOTABLE initializing RAM index for EcoTable urls.200807, please wait.
I 2008/11/12 19:33:22 kelondroSplitTable opening partial eco table f:\yacy\DATA\INDEX\freeworld\TEXT\urls.200811
I 2008/11/12 19:33:22 ECOTABLE initialization of f:\yacy\DATA\INDEX\freeworld\TEXT\urls.200811: available RAM: 286MB, allocating space for 941832 entries
I 2008/11/12 19:33:22 ECOTABLE f:\yacy\DATA\INDEX\freeworld\TEXT\urls.200811: EcoTable f:\yacy\DATA\INDEX\freeworld\TEXT\urls.200811 has table copy DISABLED
I 2008/11/12 19:33:22 ECOTABLE initializing RAM index for EcoTable urls.200811, please wait.
I 2008/11/12 19:33:44 kelondroSplitTable opening partial eco table f:\yacy\DATA\INDEX\freeworld\TEXT\urls.200805
I 2008/11/12 19:33:44 ECOTABLE initialization of f:\yacy\DATA\INDEX\freeworld\TEXT\urls.200805: available RAM: 271MB, allocating space for 405719 entries
I 2008/11/12 19:33:44 ECOTABLE f:\yacy\DATA\INDEX\freeworld\TEXT\urls.200805: EcoTable f:\yacy\DATA\INDEX\freeworld\TEXT\urls.200805 has table copy DISABLED
I 2008/11/12 19:33:44 ECOTABLE initializing RAM index for EcoTable urls.200805, please wait.
I 2008/11/12 19:33:54 kelondroSplitTable opening partial eco table f:\yacy\DATA\INDEX\freeworld\TEXT\urls.200806
I 2008/11/12 19:33:54 ECOTABLE initialization of f:\yacy\DATA\INDEX\freeworld\TEXT\urls.200806: available RAM: 273MB, allocating space for 76127 entries
I 2008/11/12 19:33:54 ECOTABLE f:\yacy\DATA\INDEX\freeworld\TEXT\urls.200806: EcoTable f:\yacy\DATA\INDEX\freeworld\TEXT\urls.200806 has table copy DISABLED
I 2008/11/12 19:33:54 ECOTABLE initializing RAM index for EcoTable urls.200806, please wait.
I 2008/11/12 19:33:56 kelondroBLOBHeap BLOB seed.new.heap: merged 0 free records
I 2008/11/12 19:33:57 kelondroBLOBHeap BLOB seed.old.heap: merged 0 free records
I 2008/11/12 19:33:57 kelondroBLOBHeap BLOB seed.pot.heap: merged 0 free records
I 2008/11/12 19:33:58 ECOTABLE initialization of f:\yacy\DATA\INDEX\freeworld\NETWORK\news.db: available RAM: 277MB, allocating space for 17430 entries
I 2008/11/12 19:33:58 ECOTABLE f:\yacy\DATA\INDEX\freeworld\NETWORK\news.db: EcoTable f:\yacy\DATA\INDEX\freeworld\NETWORK\news.db has table copy ENABLED
I 2008/11/12 19:33:58 ECOTABLE initializing RAM index for EcoTable news.db, please wait.


Die Collections werden schnell geöffnet, die URL DBs brauchen dafür ziemlich lange. Das liegt daran, dass es für die Collections einen Index gibt, für die URL-DBs jedoch nicht. Kann man da nicht auch einen bauen, der zum Beispiel um IO zu sparen nur beim runterfahren erstellt wird und dann beim nächsten Start benutzt wird?

tschüss

celle
celle
 
Beiträge: 47
Registriert: Mi Jun 27, 2007 11:52 am

Re: Startzeit verkürzen

Beitragvon DanielR » Mi Nov 12, 2008 8:57 pm

celle hat geschrieben:Kann man da nicht auch einen bauen, der zum Beispiel um IO zu sparen nur beim runterfahren erstellt wird und dann beim nächsten Start benutzt wird?

Dann kommt der nächste Thread: "Stopzeit verkürzen". Das ist zwar gefühlt besser, aber wenn ich den Rechner neustarten bzw. ausschalten will, muss ich auch warten.

Das mit den langen Starts kenn ich aber auch...
DanielR
 
Beiträge: 395
Registriert: Di Feb 12, 2008 2:22 pm

Re: Startzeit verkürzen

Beitragvon Huppi » Mo Nov 17, 2008 7:21 pm

YaCy ist wg. der langen Startzeit wieder aus meinem Windows XP Autostart verschwunden. Damit ist der Peer jetzt weniger häufig online.
Huppi
 
Beiträge: 898
Registriert: Fr Jun 29, 2007 9:49 am
Wohnort: Kürten

Re: Startzeit verkürzen

Beitragvon Orbiter » Mo Nov 17, 2008 11:12 pm

ich denke mal darüber nach was man machen kann.
Orbiter
 
Beiträge: 5796
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Startzeit verkürzen

Beitragvon dulcedo » Di Nov 18, 2008 5:52 am

Evtl. einen Schalter der die Startprozedur verlängert(!) und dafür den Ressourcenbedarf verringert?
So wäre den Leuten mit Autostart geholfen weil der Prozess dann mit niedriger Prio im Hintergrund am werkeln wäre. Ist alles initialisiert kann man die Leistung ja wieder hochfahren.
Vielleicht sehe ich das zu einfach, kenne ja die Startprozedur nicht, aber auf die Art würde es mich nicht stören wenn YaCy auf meinem Arbeitrechner mitstarten würde.
dulcedo
 
Beiträge: 1006
Registriert: Do Okt 16, 2008 6:36 pm
Wohnort: Bei Karlsruhe

Re: Startzeit verkürzen

Beitragvon Orbiter » So Nov 23, 2008 7:31 pm

also, bevor ich beginne noch ein extra index-File anzulegen, habe ich darüber nachgedacht was man tun kann um den aktuellen Startprozess zu verkürzen. Das Ergebnis gibt es nun in SVN 5361, YaCy 0.615.
Ich habe an allen Datenstrukturen die einen initialen Indexaufbau machen einen Concurrency-Trick angewendet. Die Startzeit sollte sich jetzt schon mal ohne weitere Indexfiles verkürzen. Bitte mal gucken ob es damit schon mal besser geht.
Orbiter
 
Beiträge: 5796
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Startzeit verkürzen

Beitragvon Orbiter » Di Dez 30, 2008 11:52 am

mit SVN 5420 werden nun index-files zu den BLOBHeaps geschrieben, und beim Starten wieder geladen. Das sollte die Startzeit weiter verkürzen.
Orbiter
 
Beiträge: 5796
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main


Zurück zu Wunschliste

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste

cron