Indexgröße zu extrem?

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

Indexgröße zu extrem?

Beitragvon LA_FORGE » Mo Jul 10, 2017 1:07 pm

Hi,

seit einiger Zeit tauchen bei mir im Log "komische" Fehlermeldungen/Exceptions auf:

Code: Alles auswählen
W 2017/07/06 18:02:12 ConcurrentLog java.io.IOException: org.apache.solr.common.SolrException: Exception writing document id QeCbK3o3g_15 to the index; possible analysis error.
java.io.IOException: org.apache.solr.common.SolrException: Exception writing document id QeCbK3o3g_15 to the index; possible analysis error.
        at net.yacy.cora.federate.solr.connector.SolrServerConnector.add(SolrServerConnector.java:285)
        at net.yacy.cora.federate.solr.connector.MirrorSolrConnector.add(MirrorSolrConnector.java:210)
        at net.yacy.cora.federate.solr.connector.ConcurrentUpdateSolrConnector.commitDocBuffer(ConcurrentUpdateSolrConnector.java:106)
        at net.yacy.cora.federate.solr.connector.ConcurrentUpdateSolrConnector.access$100(ConcurrentUpdateSolrConnector.java:52)
        at net.yacy.cora.federate.solr.connector.ConcurrentUpdateSolrConnector$CommitHandler.run(ConcurrentUpdateSolrConnector.java:61)
Caused by: org.apache.solr.common.SolrException: Exception writing document id QeCbK3o3g_15 to the index; possible analysis error.
        at org.apache.solr.update.DirectUpdateHandler2.addDoc(DirectUpdateHandler2.java:180)
        at org.apache.solr.update.processor.RunUpdateProcessor.processAdd(RunUpdateProcessorFactory.java:68)
        at org.apache.solr.update.processor.UpdateRequestProcessor.processAdd(UpdateRequestProcessor.java:48)
        at org.apache.solr.update.processor.DistributedUpdateProcessor.doLocalAdd(DistributedUpdateProcessor.java:934)
        at org.apache.solr.update.processor.DistributedUpdateProcessor.versionAdd(DistributedUpdateProcessor.java:1089)
        at org.apache.solr.update.processor.DistributedUpdateProcessor.processAdd(DistributedUpdateProcessor.java:712)
        at org.apache.solr.update.processor.LogUpdateProcessorFactory$LogUpdateProcessor.processAdd(LogUpdateProcessorFactory.java:103)
        at org.apache.solr.handler.loader.XMLLoader.processUpdate(XMLLoader.java:250)
        at org.apache.solr.handler.loader.XMLLoader.load(XMLLoader.java:177)
        at org.apache.solr.handler.UpdateRequestHandler$1.load(UpdateRequestHandler.java:94)
        at org.apache.solr.handler.ContentStreamHandlerBase.handleRequestBody(ContentStreamHandlerBase.java:69)
        at org.apache.solr.handler.RequestHandlerBase.handleRequest(RequestHandlerBase.java:155)
        at org.apache.solr.core.SolrCore.execute(SolrCore.java:2102)
        at org.apache.solr.client.solrj.embedded.EmbeddedSolrServer.request(EmbeddedSolrServer.java:178)
        at org.apache.solr.client.solrj.SolrRequest.process(SolrRequest.java:149)
        at org.apache.solr.client.solrj.SolrClient.add(SolrClient.java:106)
        at org.apache.solr.client.solrj.SolrClient.add(SolrClient.java:123)
        at net.yacy.cora.federate.solr.connector.SolrServerConnector.add(SolrServerConnector.java:279)
        ... 4 more
Caused by: org.apache.lucene.store.AlreadyClosedException: this IndexWriter is closed
        at org.apache.lucene.index.IndexWriter.ensureOpen(IndexWriter.java:720)
        at org.apache.lucene.index.IndexWriter.ensureOpen(IndexWriter.java:734)
        at org.apache.lucene.index.IndexWriter.updateDocument(IndexWriter.java:1473)
        at org.apache.solr.update.DirectUpdateHandler2.doNormalUpdate(DirectUpdateHandler2.java:282)
        at org.apache.solr.update.DirectUpdateHandler2.addDoc0(DirectUpdateHandler2.java:214)
        at org.apache.solr.update.DirectUpdateHandler2.addDoc(DirectUpdateHandler2.java:169)
        ... 21 more
Caused by: org.apache.lucene.store.AlreadyClosedException: FileLock invalidated by an external force: NativeFSLock(path=/mnt/3200gb/yacy2/DATA/INDEX/freeworld/SEGMENTS/solr_5_5/collection1/data/index/write.lock,impl=sun.nio.ch.FileLockImpl[0:9223372036854775807 exclusive invalid],ctime=2014-12-25T02:18:55Z)
        at org.apache.lucene.store.NativeFSLockFactory$NativeFSLock.ensureValid(NativeFSLockFactory.java:166)
        at org.apache.lucene.store.LockValidatingDirectoryWrapper.createOutput(LockValidatingDirectoryWrapper.java:43)
        at org.apache.lucene.store.TrackingDirectoryWrapper.createOutput(TrackingDirectoryWrapper.java:43)
        at org.apache.lucene.codecs.compressing.CompressingStoredFieldsWriter.<init>(CompressingStoredFieldsWriter.java:108)
        at org.apache.lucene.codecs.compressing.CompressingStoredFieldsFormat.fieldsWriter(CompressingStoredFieldsFormat.java:128)
        at org.apache.lucene.codecs.lucene50.Lucene50StoredFieldsFormat.fieldsWriter(Lucene50StoredFieldsFormat.java:183)
        at org.apache.lucene.index.DefaultIndexingChain.initStoredFieldsWriter(DefaultIndexingChain.java:81)
        at org.apache.lucene.index.DefaultIndexingChain.startStoredFields(DefaultIndexingChain.java:279)
        at org.apache.lucene.index.DefaultIndexingChain.processDocument(DefaultIndexingChain.java:316)
        at org.apache.lucene.index.DocumentsWriterPerThread.updateDocument(DocumentsWriterPerThread.java:234)
        at org.apache.lucene.index.DocumentsWriter.updateDocument(DocumentsWriter.java:450)
        at org.apache.lucene.index.IndexWriter.updateDocument(IndexWriter.java:1477)
        at org.apache.solr.update.DirectUpdateHandler2.doNormalUpdate(DirectUpdateHandler2.java:282)
        at org.apache.solr.update.DirectUpdateHandler2.addDoc0(DirectUpdateHandler2.java:214)
        at org.apache.solr.update.DirectUpdateHandler2.addDoc(DirectUpdateHandler2.java:169)
        at org.apache.solr.update.processor.RunUpdateProcessor.processAdd(RunUpdateProcessorFactory.java:68)
        at org.apache.solr.update.processor.UpdateRequestProcessor.processAdd(UpdateRequestProcessor.java:48)
        at org.apache.solr.update.processor.DistributedUpdateProcessor.doLocalAdd(DistributedUpdateProcessor.java:934)
        at org.apache.solr.update.processor.DistributedUpdateProcessor.versionAdd(DistributedUpdateProcessor.java:1089)
        at org.apache.solr.update.processor.DistributedUpdateProcessor.processAdd(DistributedUpdateProcessor.java:712)
        at org.apache.solr.update.processor.LogUpdateProcessorFactory$LogUpdateProcessor.processAdd(LogUpdateProcessorFactory.java:103)
        at org.apache.solr.handler.loader.XMLLoader.processUpdate(XMLLoader.java:250)
        at org.apache.solr.handler.loader.XMLLoader.load(XMLLoader.java:177)
        at org.apache.solr.handler.UpdateRequestHandler$1.load(UpdateRequestHandler.java:94)
        at org.apache.solr.handler.ContentStreamHandlerBase.handleRequestBody(ContentStreamHandlerBase.java:69)
        at org.apache.solr.handler.RequestHandlerBase.handleRequest(RequestHandlerBase.java:155)
        at org.apache.solr.core.SolrCore.execute(SolrCore.java:2102)
        at org.apache.solr.client.solrj.embedded.EmbeddedSolrServer.request(EmbeddedSolrServer.java:178)
        at org.apache.solr.client.solrj.SolrRequest.process(SolrRequest.java:149)
        at org.apache.solr.client.solrj.SolrClient.add(SolrClient.java:106)
        at org.apache.solr.client.solrj.SolrClient.add(SolrClient.java:123)
        at net.yacy.cora.federate.solr.connector.SolrServerConnector.add(SolrServerConnector.java:256)
        at net.yacy.cora.federate.solr.connector.MirrorSolrConnector.add(MirrorSolrConnector.java:210)
        at net.yacy.cora.federate.solr.connector.ConcurrentUpdateSolrConnector.commitDocBuffer(ConcurrentUpdateSolrConnector.java:106)
        at net.yacy.cora.federate.solr.connector.ConcurrentUpdateSolrConnector.concurrentIDsByQuery(ConcurrentUpdateSolrConnector.java:376)
        at net.yacy.search.schema.CollectionConfiguration$CRHost.<init>(CollectionConfiguration.java:1963)
        at net.yacy.search.schema.CollectionConfiguration.createRankingMap(CollectionConfiguration.java:1691)
        at net.yacy.search.schema.CollectionConfiguration.postprocessing(CollectionConfiguration.java:1277)
        at net.yacy.search.Switchboard.cleanupJob(Switchboard.java:2580)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:497)
        at net.yacy.kelondro.workflow.InstantBusyThread.job(InstantBusyThread.java:105)
        at net.yacy.kelondro.workflow.AbstractBusyThread.run(AbstractBusyThread.java:215)


Besonders das FileLock invalidated by an external force: NativeFSLock(path=/mnt/3200gb/yacy2/DATA/INDEX/freeworld/SEGMENTS/solr_5_5/collection1/data/index bereitet mir Kopfzerbrechen. Kann es sein dass mein Index zu groß ist? Die Enterprise-Serial-Attached-SCSI-Platte mit 3,4 ms Zugriffszeit kommt da wohl auch nicht mehr hinterher :-(


Viele Grüße

LA_FORGE
LA_FORGE
 
Beiträge: 555
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Indexgröße zu extrem?

Beitragvon LA_FORGE » Do Jul 13, 2017 3:55 pm

Ich habe auch schon ein 'Solr Optimize' auf der Seite IndexControlURLs_p.html versucht (merge to max. 8 Segments) aber irgendwie bekomme ich kein Feedback ob die Optimierung läuft oder abgebrochen ist, die Seite läd sich einfach neu. Kann ich die Optimierung auch irgendwie von der Bash aus starten? Vllt. kommt da ja ein Output obs läuft oder abgebrochen ist.
LA_FORGE
 
Beiträge: 555
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Indexgröße zu extrem?

Beitragvon sixcooler » Do Jul 13, 2017 9:28 pm

Hi LA_FORGE,

das ein indexWriter im schreiben geschlossen wird, hatte ich auch noch nicht. Aber was Effekte bei fetten Indexen angeht bist Du nun mal 'Vorreiter' :-)
Das mit den Optimize ist auf jeden Fall eine gute Idee und einen Versuch wert. Leider gibt es weder eine Bash- oder sonstwie alternative Möglichkeit das aufzurufen. Auch ist es nicht so einfach Feedback in YaCy einzubauen. Das ist einfach eine Funktion vom Solr die aufgerufen wird und fertig - ohne große Rückmeldungen, soweit ich mich erinnere.
D.h. wenn man das abfeuert, lädt die Seite bis der Job durch ist.
In der Crawler Überwachung (/Crawler_p.html) sollte danach die menge der Segmente kleiner als zuvor sein: ein paar mini-segmente werden aber schnell wieder nach erfolgten Optimize erstellt, weswegen man nur super kurz die eingegebenen 8 Segmente in Deinem Fall hat.

Berichte auf jeden Fall bitte mal ob das etwas gebracht hat in diesem Problem.

Cu, sixcooler.
sixcooler
 
Beiträge: 494
Registriert: Do Aug 14, 2008 5:22 pm

Re: Indexgröße zu extrem?

Beitragvon LA_FORGE » Fr Jul 14, 2017 11:21 am

vielen Dank für die ausführliche Erklärung. Ich habe nochmal auf Optimize gedrückt aber 12 Stunden später steht immer noch '100' als Anzahl der Semente auf der Seite Crawler_p.html :-( irgendwas verhindert anscheinend, dass die Optimierung gestartet werden kann. Ich hatte vor ein paar Wochen auch mal ein Checkindex mit der Solr-Eigenen Funktion laufen lassen, da wurden keine Fehler gefunden. Ich bin momentan auf der v1.92/9174
LA_FORGE
 
Beiträge: 555
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Indexgröße zu extrem?

Beitragvon LA_FORGE » Fr Jul 14, 2017 2:54 pm

Code: Alles auswählen
Opening index @ DATA/INDEX/freeworld/SEGMENTS/solr_5_5/collection1/data/index/

Segments file=segments_3b8mn numSegments=100 versions=[5.5.1 .. 5.5.4] id=7ko5zx  9mry48c4wx7t9v3tra6 format= userData={commitTimeMSec=1496343246696}
  1 of 100: name=_gl4jg maxDoc=37552898
    version=5.5.1
    id=bk7lyqnlfkp3j53q49bd0zdsj
    codec=Lucene54
    compound=false
    numFiles=11
    size (MB)=55,711.298
    diagnostics = {os=Linux, java.vendor=Oracle Corporation, java.version=1.8.0_  40, java.vm.version=25.40-b25, lucene.version=5.5.1, mergeMaxNumSegments=10, os.  arch=amd64, java.runtime.version=1.8.0_40-b26, source=merge, mergeFactor=12, os.  version=3.16.0-4-amd64, timestamp=1469061590754}
    has deletions [delGen=196923]
    test: open reader.........OK [took 2.082 sec]
    test: check integrity.....OK [took 688.886 sec]
    test: check live docs.....OK [7421967 deleted docs] [took 0.148 sec]
    test: field infos.........OK [156 fields] [took 0.001 sec]
    test: field norms.........OK [37 fields] [took 0.037 sec]
    test: terms, freq, prox...OK [310352285 terms; 4649524778 terms/docs pairs; 5068182732 tokens] [took 532.889 sec]
    test: stored fields.......OK [3109437904 total field count; avg 103.2 fields per doc] [took 801.876 sec]
    test: term vectors........OK [0 total term vector count; avg 0.0 term/freq vector fields per doc] [took 0.000 sec]
    test: docvalues...........OK [0 docvalues fields; 0 BINARY; 0 NUMERIC; 0 SORTED; 0 SORTED_NUMERIC; 0 SORTED_SET] [took 0.000 sec]


2 of 100: name=_gteb4 maxDoc=8291303
    version=5.5.1
    id=55qhq137lr3y15vfx5ruph8lt
    codec=Lucene54
    compound=true
    numFiles=4
    size (MB)=33,045.186
    diagnostics = {os=Linux, java.vendor=Oracle Corporation, java.version=1.8.0_40, java.vm.version=25.40-b25, lucene.version=5.5.1, mergeMaxNumSegments=10, os.arch=amd64, java.runtime.version=1.8.0_40-b26, source=merge, mergeFactor=29, os.version=3.16.0-4-amd64, timestamp=1473807394029}
    has deletions [delGen=28888]
    test: open reader.........OK [took 0.994 sec]
    test: check integrity.....OK [took 384.653 sec]
    test: check live docs.....OK [908674 deleted docs] [took 0.020 sec]
    test: field infos.........OK [143 fields] [took 0.000 sec]
    test: field norms.........OK [37 fields] [took 0.000 sec]
    test: terms, freq, prox...OK [79063381 terms; 1273311082 terms/docs pairs; 2547622084 tokens] [took 276.284 sec]
    test: stored fields.......OK [339168196 total field count; avg 45.9 fields per doc] [took 322.163 sec]
    test: term vectors........OK [0 total term vector count; avg 0.0 term/freq vector fields per doc] [took 0.000 sec]
    test: docvalues...........OK [62 docvalues fields; 0 BINARY; 28 NUMERIC; 15 SORTED; 0 SORTED_NUMERIC; 19 SORTED_SET] [took 41.370 sec]


Ich lasse doch nochmal die Checkindex-Routine drüberlaufen und Upgrade dann auf die 1.921 9288
LA_FORGE
 
Beiträge: 555
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Indexgröße zu extrem?

Beitragvon LA_FORGE » Fr Jul 14, 2017 5:08 pm

Da sind ja mehrere solcher 50 GB Brocken, insgesamt sind das über 700 GB :D

10 of 100: name=_gl4jf maxDoc=88051612
version=5.5.1
id=bk7lyqnlfkp3j53q49bd0zdsi
codec=Lucene54
compound=false
numFiles=13
size (MB)=55,742.925
diagnostics = {os=Linux, java.vendor=Oracle Corporation, java.version=1.8.0_40, java.vm.version=25.40-b25, lucene.version=5.5.1, mergeMaxNumSegments=10, os.arch=amd64, java.runtime.version=1.8.0_40-b26, source=merge, mergeFactor=30, os.version=3.16.0-4-amd64, timestamp=1469046805149}
has deletions [delGen=43729]
test: open reader.........OK [took 2.418 sec]
test: check integrity.....


mergeMaxNumSegments=10 steht ja da bei der Ausgabe von Checkindex, bedeutet das, dass sie zum nächstmöglichen Zeitpunkt gemerged werden und dass die 12 Stunden die ich ihm Zeit gelassen habe zu wenig waren?
LA_FORGE
 
Beiträge: 555
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Indexgröße zu extrem?

Beitragvon sixcooler » Fr Jul 14, 2017 7:13 pm

mergeMaxNumSegments=10 bedeutet das Solr sobeld es 10 etwa gleich große Segmente gibt, diese zu einem zusammenfügen wird.
Das ist dann etwa wie bei dem Optimize - nur das hierbei unabhängig von den bestehenden auf eine Ziel-Zahl von Segmenten zusammengemerged wird.
Theoretisch ist es performanter wenn man wenige große Segmente hat.
Ob das bei Deinen Dimensionen auch gild kann ich nicht sagen :-)
sixcooler
 
Beiträge: 494
Registriert: Do Aug 14, 2008 5:22 pm

Re: Indexgröße zu extrem?

Beitragvon LA_FORGE » Fr Jul 14, 2017 9:07 pm

thx

I 2017/07/14 21:54:38 SolrEmbeddedInstance detected default solr core: collection1
E 2017/07/14 21:54:38 STARTUP YaCy cannot start: SolrCore 'collection1' is not available due to init failure: Error opening new searcher


Oops! Kann ich das solr_5_5 Verzeichnis einfach nach solr_6_6 verschieben oder kann Solr 6.6 mit den "alten" Datendateien nix anfangen?
LA_FORGE
 
Beiträge: 555
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Indexgröße zu extrem?

Beitragvon sixcooler » Fr Jul 14, 2017 9:29 pm

das umbenennen von solr_5_5 nach solr_6_6 sollte YaCy eigentlich übernehmen - im Zeifel manuell nachhelfen wurde ich sagen
sixcooler
 
Beiträge: 494
Registriert: Do Aug 14, 2008 5:22 pm

Re: Indexgröße zu extrem?

Beitragvon LA_FORGE » Sa Jul 15, 2017 11:21 am

Das manuelle Verschieben hat geholfen. Vielen Dank. Das mergen/optimize scheint jetzt auch zu laufen ohne dass es abbricht, da die Seite IndexControlURLs_p.html jetzt schon seit 8 Stunden läd :-) und

Code: Alles auswählen
Thread= Lucene Merge Thread #1 daemon id=218 RUNNABLE
at java.nio.DirectByteBuffer.get(DirectByteBuffer.java:280)
at org.apache.lucene.store.ByteBufferGuard.getBytes(ByteBufferGuard.java:93)
at org.apache.lucene.store.ByteBufferIndexInput.readBytes(ByteBufferIndexInput.java:89)
at org.apache.lucene.codecs.blocktree.SegmentTermsEnumFrame.loadBlock(SegmentTermsEnumFrame.java:176)
at org.apache.lucene.codecs.blocktree.SegmentTermsEnum.next(SegmentTermsEnum.java:962)
at org.apache.lucene.index.MultiTermsEnum.pushTop(MultiTermsEnum.java:275)
at org.apache.lucene.index.MultiTermsEnum.next(MultiTermsEnum.java:301)
at org.apache.lucene.index.FilterLeafReader$FilterTermsEnum.next(FilterLeafReader.java:196)
at org.apache.lucene.codecs.blocktree.BlockTreeTermsWriter.write(BlockTreeTermsWriter.java:336)
at org.apache.lucene.codecs.FieldsConsumer.merge(FieldsConsumer.java:105)
at org.apache.lucene.codecs.perfield.PerFieldPostingsFormat$FieldsWriter.merge(PerFieldPostingsFormat.java:164)
at org.apache.lucene.index.SegmentMerger.mergeTerms(SegmentMerger.java:216)
at org.apache.lucene.index.SegmentMerger.merge(SegmentMerger.java:101)
at org.apache.lucene.index.IndexWriter.mergeMiddle(IndexWriter.java:4356)
at org.apache.lucene.index.IndexWriter.merge(IndexWriter.java:3931)
at org.apache.solr.update.SolrIndexWriter.merge(SolrIndexWriter.java:188)
at org.apache.lucene.index.ConcurrentMergeScheduler.doMerge(ConcurrentMergeScheduler.java:624)
at org.apache.lucene.index.ConcurrentMergeScheduler$MergeThread.run(ConcurrentMergeScheduler.java:661)



läuft :-) jetzt hab ich nur noch folgende NPE im Log gefunden:

Code: Alles auswählen
W 2017/07/15 02:22:21 ConcurrentLog java.lang.NullPointerException
java.lang.NullPointerException
        at java.util.concurrent.ConcurrentHashMap.putVal(ConcurrentHashMap.java:1011)
        at java.util.concurrent.ConcurrentHashMap.put(ConcurrentHashMap.java:1006)
        at net.yacy.cora.federate.solr.connector.EmbeddedSolrConnector.getSchemaField(EmbeddedSolrConnector.java:278)
        at net.yacy.cora.federate.solr.connector.EmbeddedSolrConnector.doc2SolrDoc(EmbeddedSolrConnector.java:287)
        at net.yacy.cora.federate.solr.connector.EmbeddedSolrConnector.SolrQueryResponse2SolrDocumentList(EmbeddedSolrConnector.java:257)
        at net.yacy.cora.federate.solr.connector.EmbeddedSolrConnector.getDocumentListByParams(EmbeddedSolrConnector.java:372)
        at net.yacy.cora.federate.solr.connector.AbstractSolrConnector.getDocumentListByQuery(AbstractSolrConnector.java:423)
        at net.yacy.cora.federate.solr.connector.MirrorSolrConnector.getDocumentListByQuery(MirrorSolrConnector.java:233)
        at net.yacy.search.schema.CollectionConfiguration.postprocessing_doublecontent(CollectionConfiguration.java:1809)
        at net.yacy.search.schema.CollectionConfiguration$1.run(CollectionConfiguration.java:1428)

W 2017/07/15 02:25:24 ConcurrentLog java.lang.NullPointerException
java.lang.NullPointerException
        at java.util.concurrent.ConcurrentHashMap.putVal(ConcurrentHashMap.java:1011)
        at java.util.concurrent.ConcurrentHashMap.put(ConcurrentHashMap.java:1006)
        at net.yacy.cora.federate.solr.connector.EmbeddedSolrConnector.getSchemaField(EmbeddedSolrConnector.java:278)
        at net.yacy.cora.federate.solr.connector.EmbeddedSolrConnector.doc2SolrDoc(EmbeddedSolrConnector.java:287)
        at net.yacy.cora.federate.solr.connector.EmbeddedSolrConnector.SolrQueryResponse2SolrDocumentList(EmbeddedSolrConnector.java:257)
        at net.yacy.cora.federate.solr.connector.EmbeddedSolrConnector.getDocumentListByParams(EmbeddedSolrConnector.java:372)
        at net.yacy.cora.federate.solr.connector.AbstractSolrConnector.getDocumentListByQuery(AbstractSolrConnector.java:423)
        at net.yacy.cora.federate.solr.connector.MirrorSolrConnector.getDocumentListByQuery(MirrorSolrConnector.java:233)
        at net.yacy.search.schema.CollectionConfiguration.postprocessing_doublecontent(CollectionConfiguration.java:1809)
        at net.yacy.search.schema.CollectionConfiguration$1.run(CollectionConfiguration.java:1428)


Was ist denn da los? v1.921/9288
LA_FORGE
 
Beiträge: 555
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Indexgröße zu extrem?

Beitragvon LA_FORGE » Sa Jul 15, 2017 11:22 am

Zusatzinfo: Die og. NPE tritt auf beim "normalen" Freeworld-Betrieb ohne dass gerade ein Crawl läuft.
LA_FORGE
 
Beiträge: 555
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Indexgröße zu extrem?

Beitragvon LA_FORGE » Mo Jul 17, 2017 8:49 am

Hi,

das Mergen hat mir fast 100 GB freien Speicherplatz gebracht! @sixcooler Vielen Dank für alles!

@devs

Bitte schaut euch nochmal

Code: Alles auswählen
W 2017/07/15 02:22:21 ConcurrentLog java.lang.NullPointerException
java.lang.NullPointerException
        at java.util.concurrent.ConcurrentHashMap.putVal(ConcurrentHashMap.java:1011)
        at java.util.concurrent.ConcurrentHashMap.put(ConcurrentHashMap.java:1006)
        at net.yacy.cora.federate.solr.connector.EmbeddedSolrConnector.getSchemaField(EmbeddedSolrConnector.java:278)
        at net.yacy.cora.federate.solr.connector.EmbeddedSolrConnector.doc2SolrDoc(EmbeddedSolrConnector.java:287)
        at net.yacy.cora.federate.solr.connector.EmbeddedSolrConnector.SolrQueryResponse2SolrDocumentList(EmbeddedSolrConnector.java:257)
        at net.yacy.cora.federate.solr.connector.EmbeddedSolrConnector.getDocumentListByParams(EmbeddedSolrConnector.java:372)
        at net.yacy.cora.federate.solr.connector.AbstractSolrConnector.getDocumentListByQuery(AbstractSolrConnector.java:423)
        at net.yacy.cora.federate.solr.connector.MirrorSolrConnector.getDocumentListByQuery(MirrorSolrConnector.java:233)
        at net.yacy.search.schema.CollectionConfiguration.postprocessing_doublecontent(CollectionConfiguration.java:1809)
        at net.yacy.search.schema.CollectionConfiguration$1.run(CollectionConfiguration.java:1428)

W 2017/07/15 02:25:24 ConcurrentLog java.lang.NullPointerException
java.lang.NullPointerException
        at java.util.concurrent.ConcurrentHashMap.putVal(ConcurrentHashMap.java:1011)
        at java.util.concurrent.ConcurrentHashMap.put(ConcurrentHashMap.java:1006)
        at net.yacy.cora.federate.solr.connector.EmbeddedSolrConnector.getSchemaField(EmbeddedSolrConnector.java:278)
        at net.yacy.cora.federate.solr.connector.EmbeddedSolrConnector.doc2SolrDoc(EmbeddedSolrConnector.java:287)
        at net.yacy.cora.federate.solr.connector.EmbeddedSolrConnector.SolrQueryResponse2SolrDocumentList(EmbeddedSolrConnector.java:257)
        at net.yacy.cora.federate.solr.connector.EmbeddedSolrConnector.getDocumentListByParams(EmbeddedSolrConnector.java:372)
        at net.yacy.cora.federate.solr.connector.AbstractSolrConnector.getDocumentListByQuery(AbstractSolrConnector.java:423)
        at net.yacy.cora.federate.solr.connector.MirrorSolrConnector.getDocumentListByQuery(MirrorSolrConnector.java:233)
        at net.yacy.search.schema.CollectionConfiguration.postprocessing_doublecontent(CollectionConfiguration.java:1809)
        at net.yacy.search.schema.CollectionConfiguration$1.run(CollectionConfiguration.java:1428)


Diese NPE an vor dem nächsten Main-Release.

Vielen Dank

VG

LA_FORGE
LA_FORGE
 
Beiträge: 555
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Indexgröße zu extrem?

Beitragvon LA_FORGE » Di Aug 08, 2017 7:17 am

Noch ein Stacktrace in diesem Fehlerkontext:

Code: Alles auswählen
E 2017/08/08 05:29:35 org.apache.solr.handler.RequestHandlerBase org.apache.solr.common.SolrException: Exception during facet.field: coordinate_p
        at org.apache.solr.request.SimpleFacets.lambda$getFacetFieldCounts$0(SimpleFacets.java:809)
        at java.util.concurrent.FutureTask.run(FutureTask.java:266)
        at org.apache.solr.request.SimpleFacets$3.execute(SimpleFacets.java:742)
        at org.apache.solr.request.SimpleFacets.getFacetFieldCounts(SimpleFacets.java:818)
        at org.apache.solr.handler.component.FacetComponent.getFacetCounts(FacetComponent.java:330)
        at org.apache.solr.handler.component.FacetComponent.process(FacetComponent.java:274)
        at org.apache.solr.handler.component.SearchHandler.handleRequestBody(SearchHandler.java:296)
        at org.apache.solr.handler.RequestHandlerBase.handleRequest(RequestHandlerBase.java:173)
        at net.yacy.cora.federate.solr.connector.EmbeddedSolrConnector.query(EmbeddedSolrConnector.java:219)
        at net.yacy.http.servlets.SolrSelectServlet.service(SolrSelectServlet.java:251)
        at org.eclipse.jetty.servlet.ServletHolder.handle(ServletHolder.java:833)
        at org.eclipse.jetty.servlet.ServletHandler.doHandle(ServletHandler.java:535)
        at org.eclipse.jetty.server.handler.ScopedHandler.handle(ScopedHandler.java:143)
        at org.eclipse.jetty.security.SecurityHandler.handle(SecurityHandler.java:524)
        at org.eclipse.jetty.server.handler.HandlerWrapper.handle(HandlerWrapper.java:132)
        at org.eclipse.jetty.server.handler.ScopedHandler.nextHandle(ScopedHandler.java:190)
        at org.eclipse.jetty.server.session.SessionHandler.doHandle(SessionHandler.java:1595)
        at org.eclipse.jetty.server.handler.ScopedHandler.nextHandle(ScopedHandler.java:188)
        at org.eclipse.jetty.server.handler.ContextHandler.doHandle(ContextHandler.java:1253)
        at org.eclipse.jetty.server.handler.ScopedHandler.nextScope(ScopedHandler.java:168)
        at org.eclipse.jetty.servlet.ServletHandler.doScope(ServletHandler.java:473)
        at org.eclipse.jetty.server.session.SessionHandler.doScope(SessionHandler.java:1564)
        at org.eclipse.jetty.server.handler.ScopedHandler.nextScope(ScopedHandler.java:166)
        at org.eclipse.jetty.server.handler.ContextHandler.doScope(ContextHandler.java:1155)
        at org.eclipse.jetty.server.handler.ScopedHandler.handle(ScopedHandler.java:141)
        at org.eclipse.jetty.server.handler.ContextHandlerCollection.handle(ContextHandlerCollection.java:219)
        at org.eclipse.jetty.server.handler.HandlerWrapper.handle(HandlerWrapper.java:132)
        at net.yacy.http.CrashProtectionHandler.handle(CrashProtectionHandler.java:33)
        at org.eclipse.jetty.server.handler.HandlerWrapper.handle(HandlerWrapper.java:132)
        at org.eclipse.jetty.server.Server.handle(Server.java:564)
        at org.eclipse.jetty.server.HttpChannel.handle(HttpChannel.java:317)
        at org.eclipse.jetty.server.HttpConnection.onFillable(HttpConnection.java:251)
        at org.eclipse.jetty.io.AbstractConnection$ReadCallback.succeeded(AbstractConnection.java:279)
        at org.eclipse.jetty.io.FillInterest.fillable(FillInterest.java:110)
        at org.eclipse.jetty.io.ChannelEndPoint$2.run(ChannelEndPoint.java:124)
        at org.eclipse.jetty.util.thread.QueuedThreadPool.runJob(QueuedThreadPool.java:673)
        at org.eclipse.jetty.util.thread.QueuedThreadPool$2.run(QueuedThreadPool.java:591)
        at java.lang.Thread.run(Thread.java:748)
Caused by: java.lang.IllegalStateException: unexpected docvalues type NONE for field 'coordinate_p' (expected=SORTED). Re-index with correct docvalues type.
        at org.apache.lucene.index.DocValues.checkField(DocValues.java:212)
        at org.apache.lucene.index.DocValues.getSorted(DocValues.java:264)
        at org.apache.solr.request.PerSegmentSingleValuedFaceting$SegFacet.countTerms(PerSegmentSingleValuedFaceting.java:272)
        at org.apache.solr.request.PerSegmentSingleValuedFaceting.lambda$getFacetCounts$0(PerSegmentSingleValuedFaceting.java:114)
        at java.util.concurrent.FutureTask.run(FutureTask.java:266)
        at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
        at java.util.concurrent.FutureTask.run(FutureTask.java:266)
        at org.apache.solr.common.util.ExecutorUtil$MDCAwareThreadPoolExecutor.lambda$execute$0(ExecutorUtil.java:229)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
        ... 1 more


LA_FORGE
 
Beiträge: 555
Registriert: Sa Okt 11, 2008 5:24 pm


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast