'table copy' deaktivieren

Keine Scheu, hier darf alles gefragt und diskutiert werden. Das ist das Forum für YaCy-Anfänger. Hier kann man 'wo muss man klicken' fragen und sich über Grundlagen zur Suchmaschinentechnik unterhalten.
Forumsregeln
Hier werden Fragen beantwortet und wir versuchen die Probleme von YaCy-Newbies zu klären. Bitte beantwortete Fragen im YaCy-Wiki http://wiki.yacy.de dokumentieren!

'table copy' deaktivieren

Beitragvon gaston » Mi Mai 22, 2013 1:03 pm

Gibt es dafür ein Schalter, und wenn nicht, könnt ihr das bitte ändern. Danke.

Code: Alles auswählen
I 2013/05/22 12:56:39 TABLE initialization of text.urlmd.20120124102410124.table. table copy: yes, available RAM: 1104MB, needed: 2900MB, allocating space for 4330026 entries
gaston
 
Beiträge: 143
Registriert: Fr Jan 06, 2012 2:22 pm

Re: 'table copy' deaktivieren

Beitragvon Orbiter » Mo Mai 27, 2013 2:36 pm

es gibt keinen Schalter dafür, aber es ist ein guter Hinweis dass wir diese Funktion noch drin haben. Ich habe es nun etwas 'erschwert' dass eine Table Copy angelegt wird, und zwar muss der Speicher dafür mindestens 600MB frei haben, sonst macht er es nicht.
Orbiter
 
Beiträge: 5787
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: 'table copy' deaktivieren

Beitragvon gaston » Mo Mai 27, 2013 9:51 pm

Ist es den schwierig/aufwendig einen Schalter einzubauen, zumindest für 'text.urlmd...' ? Ich habe hier mehrere Dateien davon und es wird wenn sowieso nur eine Datei geladen, die dann um die 1,6GB belegt. Den Speicher kann YaCy bestimmt für was anderes besser gebrauchen, zumal ich so manchmal ein OutOfMemory bekomme.
gaston
 
Beiträge: 143
Registriert: Fr Jan 06, 2012 2:22 pm

Re: 'table copy' deaktivieren

Beitragvon Seitenreiter » Di Mai 28, 2013 7:23 am

Vielleicht eine dumme Frage, aber könnte jemand bitte kurz erklären, was dabei passiert?
Seitenreiter
 
Beiträge: 120
Registriert: Di Jul 28, 2009 2:45 pm

Re: 'table copy' deaktivieren

Beitragvon gaston » Di Mai 28, 2013 2:53 pm

Dabei wird nicht nur der Index im Speicher geladen sondern alle anderen Daten wie z.B. die URL auch.
gaston
 
Beiträge: 143
Registriert: Fr Jan 06, 2012 2:22 pm

Re: 'table copy' deaktivieren

Beitragvon Orbiter » Di Mai 28, 2013 3:11 pm

ja, alle Metadaten und alles was in der Table steht. Das gibts auch für andere tabellen, bsp. die Seeds. Dieser Vorgang wird aber nur gestartet wenn nach dem Laden noch genügend Speicher übrig bleibt. Das sollte eine auto-Anpassung an mehr Speicher sein, damit eine Mehrzuweisung von RAM auch mehr Performance bringt. Das sollte auch weiterhin so sein; aber:

die metadaten sind sowieso outdated und sollten langsam in Solr hinein migriert werden. D.h. die Tabelle um die es geht habe ich hier nicht mehr, nur die ganz alten Peers, und diese sollten sich allmählich auf das neue System umstellen. Daher sollte das 'Problem' (sollte ja ein Feature sein) sich im laufe der Zeit von selbst auflösen.
Orbiter
 
Beiträge: 5787
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: 'table copy' deaktivieren

Beitragvon gaston » Di Mai 28, 2013 6:39 pm

Ich habe hier noch 11 Dateien mit 14,5 GB, das migrieren läuft schon von Anfang an mit, seit es Solr in YaCy gibt. Alte Daten habe ich über 'IndexDeletion_p.html' auch schon gelöscht. Wie bekomme ich jetzt schnell die übrigen 14,5 GB nach Solr?
gaston
 
Beiträge: 143
Registriert: Fr Jan 06, 2012 2:22 pm

Re: 'table copy' deaktivieren

Beitragvon gaston » Mi Mai 29, 2013 6:24 pm

Bitte einen Schalter einbauen oder einfach deaktivieren, das dürfte für die meisten wegen Solr kein Nachteil sein.

Die bei mir belegen 1,6 GB Speicher fehlen mir...
Code: Alles auswählen
E 2013/05/29 19:19:57 org.apache.solr.update.CommitTracker auto commit error...:java.lang.IllegalStateException: this writer hit an OutOfMemoryError; cannot com
mit
        at org.apache.lucene.index.IndexWriter.prepareCommitInternal(IndexWriter.java:2673)
        at org.apache.lucene.index.IndexWriter.commitInternal(IndexWriter.java:2839)
        at org.apache.lucene.index.IndexWriter.commit(IndexWriter.java:2819)
        at org.apache.solr.update.DirectUpdateHandler2.commit(DirectUpdateHandler2.java:536)
        at org.apache.solr.update.CommitTracker.run(CommitTracker.java:216)
        at java.util.concurrent.Executors$RunnableAdapter.call(Unknown Source)
        at java.util.concurrent.FutureTask$Sync.innerRun(Unknown Source)
        at java.util.concurrent.FutureTask.run(Unknown Source)
        at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(Unknown Source)
        at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(Unknown Source)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(Unknown Source)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(Unknown Source)
        at java.lang.Thread.run(Unknown Source)
gaston
 
Beiträge: 143
Registriert: Fr Jan 06, 2012 2:22 pm

Re: 'table copy' deaktivieren

Beitragvon Orbiter » Fr Mai 31, 2013 12:17 pm

hab den code durchgeguckt wie man das am besten patchen kann und habe dabei ein Attribut für die Konfig gefunden welche man ganz einfach benutzen kann: tableCachingLimit
Setze den Wert höher als den Speicher den du hast, und die Table Copy sollte nicht mehr erstellt werden!
Du musst den Wert in DATA/SETTINGS/yacy.conf vor einem Start setzen, hänge einfach ein paar nullen dran.
Orbiter
 
Beiträge: 5787
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: 'table copy' deaktivieren

Beitragvon gaston » Sa Jun 01, 2013 2:09 pm

Danke, so funktioniert es auch.
gaston
 
Beiträge: 143
Registriert: Fr Jan 06, 2012 2:22 pm


Zurück zu Hilfe für Einsteiger und Anwender

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast

cron