Mein "Geschenk" an die Community

Ereignisse, Vorschläge und Aktionen

Re: Mein "Geschenk" an die Community

Beitragvon LA_FORGE » Mi Nov 23, 2011 7:14 pm

Code: Alles auswählen
System Status

Process
    0.99/7986
    Uptime: 32 days 19:01
System Resources
    Processors: 16
Protection
    password-protected [Configure]
Address
    Host: 10.130.201.7:9090
    Public Address: http://sokrates.homeunix.net:9090
    YaCy Address: http://endeavour.yacy
Remote Proxy
    not used
Auto-popup on start-up
    Enabled [Disable]
Tray-Icon
    Experimental
Memory Usage
    free: 12.97 GB
    total: 92.07 GB
    max: 92.07 GB
Traffic [Reset]
    Proxy: 0 Bytes
    Crawler: 200.07 GB


200 GB Crawler Traffic :-)
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Mein "Geschenk" an die Community

Beitragvon LA_FORGE » Sa Dez 03, 2011 12:36 pm

Code: Alles auswählen
E 2011/12/03 12:48:45 ReferenceIterator lost entry '[B@57922f46' because of too low memory: net.yacy.kelondro.index.RowSpaceExceededException: 671088760 bytes needed for importRowSet: alloc != b.length - exportOverheadSize: 12255348048 free at Sat Dec 03 12:48:45 CET 2011


Was ist da denn passiert? SVN 8134
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Mein "Geschenk" an die Community

Beitragvon LA_FORGE » Mo Jan 09, 2012 2:24 pm

Code: Alles auswählen
Total DISK READ: 112.73 M/s | Total DISK WRITE: 214.51 K/s
  TID  PRIO  USER     DISK READ  DISK WRITE  SWAPIN     IO>    COMMAND
15801 be/4 stefan    112.78 M/s    0.00 B/s  0.00 % 63.30 % java -Xms~.yacy.yacy
10779 be/4 stefan      0.00 B/s    7.80 K/s  0.00 %  0.00 % java -Xms~.yacy.yacy


Yeah ich glaube das kann sich sehen lassen :-)

Nachdem ich meine Faulheit mal überwunden hatte und div. notwendige Features in den Linux-Kernel mit reinkompiliert habe,die für iotop erforderlich sind, liess sich es dann nach einem Reboot der Maschine (Dauert bei mir immer 2 Stunden bis ich danach wieder alle VMs und Daemons so laufen habe wie es soll) auch mal starten :-)
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Mein "Geschenk" an die Community

Beitragvon PCA42 » Mo Jan 09, 2012 7:45 pm

Kann ich mal fragen, was dein Peer an Platz auf des Festplatte belegt? Mein Crawler-Peer ist inzwischen bei knapp 300 GB angekommen. Den RAM-Bedarf habe ich über die Blob-Größe (max. 60 GB) derzeit im grünen Bereich, noch komme ich gut mit 10 GB hin.
PCA42
 
Beiträge: 621
Registriert: Mi Jan 23, 2008 4:19 pm
Wohnort: @Home

Re: Mein "Geschenk" an die Community

Beitragvon LA_FORGE » Mo Jan 09, 2012 11:54 pm

Selbstverständlich darfst du fragen. Momentan bin ich bei 353 GB. Muss aber dazu sagen, dass ich gerade ein 13 GB großes XML-File von der französischen Wikipedia am indexieren bin :-)

Der Ordner belegt schon seit einem halben Jahr etwas mehr als 300 GB, der benötigte Speicherplatz ist also lange Zeit konstant geblieben. Was ich noch dazu sagen muss, dass ich die Größe vom HTCACHE auf 8 GB einstellt habe.
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Mein "Geschenk" an die Community

Beitragvon LA_FORGE » Di Jan 10, 2012 3:12 pm

Beim Wikipedia-Dump-Import geht dann auch die Load Averages hoch:

endeavour:# w
16:35:41 up 1 day, 2:29, 4 users, load average: 20.79, 21.72, 21.97


Endlich hat die Kiste mal was zu tun :D
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Mein "Geschenk" an die Community

Beitragvon LA_FORGE » Fr Jan 13, 2012 2:18 pm

Code: Alles auswählen
Total DISK READ: 244.74 M/s | Total DISK WRITE: 111.67 K/s
  TID  PRIO  USER     DISK READ  DISK WRITE  SWAPIN     IO>    COMMAND
24377 be/4 stefan     60.94 M/s   24.05 M/s  0.00 % 69.63 % java -Xms~.yacy.yacy
22082 be/4 stefan    183.20 M/s    0.00 B/s  0.00 % 44.95 % java -Xms~.yacy.yacy


Krass!!Da macht sich dann doch das SAS-RAID bemerkbar :D
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Mein "Geschenk" an die Community

Beitragvon LA_FORGE » So Jan 22, 2012 11:24 pm

Code: Alles auswählen
W 2012/01/23 00:48:57 ReferenceContainerArray timout in index retrieval (2): 2 tables searched. timeout = 3000


Hm.. ich glaube die Architektur stoesst an ihre Grenzen :(

Kann ich dieses Timeout irgendwo hoch setzen?
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Mein "Geschenk" an die Community

Beitragvon Orbiter » Mo Jan 23, 2012 3:00 am

das ist hardcoded, habs mal auf 5000 gesetzt
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main

Re: Mein "Geschenk" an die Community

Beitragvon LA_FORGE » Mo Jan 23, 2012 7:22 pm

Vielen Dank!!

Dieses schei** IcedTea JRE hat mir ne Menge Blobs zerschossen :-( hatte überhaupt nicht gemerkt, dass es wieder das Default JRE war, vorher hatte ich doch die Empfehlung von Vega (JRockit JDK) laufen ohne Probs. Aber ein Update von Debian hat mir das anscheinend überschrieben :-(

Was passiert eigentlich wenn man einfach div. korrupte BLOBS manuell aus dem Index löscht? Kann das den ganzen Index zerlegen?
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Mein "Geschenk" an die Community

Beitragvon PCA42 » Di Jan 24, 2012 6:47 pm

LA_FORGE hat geschrieben:Was passiert eigentlich wenn man einfach div. korrupte BLOBS manuell aus dem Index löscht? Kann das den ganzen Index zerlegen?

YaCy sortiert eigentlich bei einem Neustart defekte Blobs von alleine aus. Bei einem manuellen Löschung wird halt der Teil an RWI-Daten entfernt, der in dem jeweiligen Blob liegt. Der Rest ist davon nicht betroffen.
PCA42
 
Beiträge: 621
Registriert: Mi Jan 23, 2008 4:19 pm
Wohnort: @Home

Re: Mein "Geschenk" an die Community

Beitragvon Vega » Sa Jan 28, 2012 11:25 pm

Danke für Dein beharrliches (wenn auch unbeabsichtigtes) Testen mit den verschiedenen JREs, die JRockit ist ja auch klar auf Serverbetrieb/Prozessoren optimiert... Ich bin mir aber nicht sicher ob man das bei IcedTea mit ein paar Optimierungen auch hinbekommet - vielleicht können da noch ein paar mehr Leute Ihr Wissen beisteuern.
Ich habe leider aktuell wenig Zeit für sowas, meine Peers sind sehr klein (Forum-Suche, OAI-Suche), die laufen alle mit der Sun-JRE.

Thomas

LA_FORGE hat geschrieben:Vielen Dank!!

Dieses schei** IcedTea JRE hat mir ne Menge Blobs zerschossen :-( hatte überhaupt nicht gemerkt, dass es wieder das Default JRE war, vorher hatte ich doch die Empfehlung von Vega (JRockit JDK) laufen ohne Probs. Aber ein Update von Debian hat mir das anscheinend überschrieben :-(

Was passiert eigentlich wenn man einfach div. korrupte BLOBS manuell aus dem Index löscht? Kann das den ganzen Index zerlegen?
Vega
 
Beiträge: 824
Registriert: Mi Jun 27, 2007 3:34 pm
Wohnort: Dresden

Re: Mein "Geschenk" an die Community

Beitragvon LA_FORGE » So Jul 22, 2012 10:15 am

Code: Alles auswählen
System Status
Process
1.04/9000
Uptime: 1 day 17:27
Traffic [Reset]
Proxy: 0 Bytes
Crawler: 84.2 GB


Oh krass, noch nicht mal 2 Tage Uptime und schon über 80 GB Traffic :D und das noch nicht mal auf meiner Strahlenkanone mit mittlerweile 144 GB RAM, sondern auf meinem Netbook :D
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Mein "Geschenk" an die Community

Beitragvon iqualfragile » So Jul 22, 2012 1:26 pm

also ich betreibe meinen peer seit je her mit der openjre, und das gibt in der tat manchmal probleme: bei einigen starts ist plötzlich offensichtlich ein teil des indexes korrupt und yacy hängt sich in einer endlosschleife auf beim versuch diesen teil zu laden.
zudem scheint es auch irgendwie geschwindigkeitsprobleme zu geben, das kann aber auch an yacy selbst liegen, keine ahnung, ich schau mal ob ich das entsprechend mit ner anderen jre gegenprüfe.
mein peer ist auch halbwegs groß, 44.009.652 links und 9.091.771 words, nach neusten zählungen (und das mit nur 8 gb ram, friss dass laforge ;D)
iqualfragile
 
Beiträge: 60
Registriert: Do Jan 19, 2012 8:54 pm

Re: Mein "Geschenk" an die Community

Beitragvon LA_FORGE » Mo Okt 29, 2012 12:38 pm

Mittlerweile ist RAM gar nicht mehr so das Problem, die Entwickler haben in den letzten Monaten hervorragende Arbeit geleistet!! Jetzt habe ich das Problem, dass mir der Speicherplatz auf der Festplatte ausgeht :-( Ich habe 2 x 450 GB SAS zu einer 900 GB gemacht (RAID0). Da läuft noch ein anderer Peer auf der gleichen Platte (Vaisheshika).

Jetzt habe ich mich mal im Enterprise-Segment umgeschaut, was eine 2 TB Platte angeht: Leider scheint es noch kein Modell mit so einer guten Zugriffszeit zu geben wie die Platten, die ich momentan verwende. Die 2 TB SAS-Platten haben alle eine Zugriffszeit von 8 ms & mehr :-( Das wirkt sich doch sehr negativ auf die Performance beim Peer aus, oder? Ich habe momentan über 68 Mio. Links im Index.
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Mein "Geschenk" an die Community

Beitragvon LA_FORGE » Di Okt 30, 2012 7:01 pm

PCA42 hat geschrieben:
LA_FORGE hat geschrieben:Was passiert eigentlich wenn man einfach div. korrupte BLOBS manuell aus dem Index löscht? Kann das den ganzen Index zerlegen?

YaCy sortiert eigentlich bei einem Neustart defekte Blobs von alleine aus. Bei einem manuellen Löschung wird halt der Teil an RWI-Daten entfernt, der in dem jeweiligen Blob liegt. Der Rest ist davon nicht betroffen.


Wie sieht es denn bei der v1.1 aus? Ich bekomme jede Menge "possible corruption found" wird es immer noch automatisch gefixt? Ich bekomme den Peer nicht mehr gestartet, hatte mit diesem Peer gerade einen krassen 200 GB Wikipedia-Crawl am laufen und habe dann irgendwann auf "Pause" gedrückt beim Crawler und ein Update auf die neueste Version gemacht.
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Mein "Geschenk" an die Community

Beitragvon sixcooler » Di Okt 30, 2012 7:18 pm

Hallo,

was die RWI-Blobs angeht sollte das immer noch so gehen.
Dein Problem mussalso eine andere Ursache haben.

Hast Du etwas Logfile für uns?

cu, sixcooler.
sixcooler
 
Beiträge: 494
Registriert: Do Aug 14, 2008 5:22 pm

Re: Mein "Geschenk" an die Community

Beitragvon LA_FORGE » Sa Jan 05, 2013 2:55 pm

Code: Alles auswählen
System Status
Process
1.3/9000
Uptime: 2 days 15:25
System Resources
Processors: 1
Protection
password-protected [Configure]
Address
Host: 10.130.201.56:8090
Public Address: http://91.6.243.168:8090
YaCy Address: http://_anonufe-20967468-23.yacy
Remote Proxy
not used
Auto-popup on start-up
Enabled [Disable]
Tray-Icon
Experimental
Memory Usage
free: 128.45 MB
total: 2.27 GB
max: 2.27 GB
Traffic [Reset]
Proxy: 0 Bytes
Crawler: 101.58 GB
Incoming Connections


@Developer 102 GB Traffic in 2 Tagen, das ist genial!! Die Performance ist super!! Hervorragende Arbeit!! Vielen Dank!!
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Mein "Geschenk" an die Community

Beitragvon LA_FORGE » Sa Jan 05, 2013 3:17 pm

sixcooler hat geschrieben:Hallo,

was die RWI-Blobs angeht sollte das immer noch so gehen.
Dein Problem mussalso eine andere Ursache haben.

Hast Du etwas Logfile für uns?

cu, sixcooler.


Läuft mittlerweile wieder einwandfrei. Trotzdem vielen Dank!

Läuft der Dubletten-Check eigentlich auch jedes mal beim Start von YaCy? Das würde nämlich erklären wenn ich Blobs mit ca. 20 Mio. URLS von einem anderen Peer in das Verzeichnis von meinem "Hauptpeer" kopiere, warum sich aber die Größe des Gesamtindex nur geringfügig verändert.
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Mein "Geschenk" an die Community

Beitragvon sixcooler » Mo Jan 07, 2013 12:31 am

Hallo,

Läuft der Dubletten-Check eigentlich auch jedes mal beim Start von YaCy? Das würde nämlich erklären wenn ich Blobs mit ca. 20 Mio. URLS von einem anderen Peer in das Verzeichnis von meinem "Hauptpeer" kopiere, warum sich aber die Größe des Gesamtindex nur geringfügig verändert.

Doubletten in verschiedenen Blobs werden bei deren Merge zusammengeführt.
Die Angabe der RWIs ist eher als grobe Schätzung zu verstehen, da sie nur die Menge des größtem Blobs angiebt (es könnte ja theoretisch in den anderen Blobs nur Doubletten sein).

Cu, sixcooler.
sixcooler
 
Beiträge: 494
Registriert: Do Aug 14, 2008 5:22 pm

Re: Mein "Geschenk" an die Community

Beitragvon LA_FORGE » Do Jan 10, 2013 12:37 pm

Vielen Dank!!
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Mein "Geschenk" an die Community

Beitragvon LA_FORGE » Mo Jul 15, 2013 9:06 pm

Code: Alles auswählen
W 2013/07/15 23:51:38 StackTrace Timeout occured while waiting response from server at: http://127.0.0.1:8983/solr/collection1
org.apache.solr.client.solrj.SolrServerException: Timeout occured while waiting response from server at: http://127.0.0.1:8983/solr/collection1


Baut doch bitte eine Konfigurationsmöglichkeit ein für dieses Zeitfenster ein. Oder gibts da schon eine Variable die ich verändern kann?
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Mein "Geschenk" an die Community

Beitragvon LA_FORGE » So Aug 04, 2013 11:59 am

Vielen Dank fürs einbauen des Attributs federated.service.solr.indexing.timeout!

Mir ist noch was anderes aufgefallen in meinem Log, hat jemand eine Idee woran das liegen könnte? Das neueste Schema habe ich gemäß der Anleitung im Wiki in den remote Solr eingespielt.

Code: Alles auswählen
W 2013/08/04 14:50:39 StackTrace Server at http://127.0.0.1:8983/solr/collection1 returned non ok status:500, message:Server Error
org.apache.solr.client.solrj.impl.HttpSolrServer$RemoteSolrException: Server at http://127.0.0.1:8983/solr/collection1 returned non ok status:500, message:Server Error
   at org.apache.solr.client.solrj.impl.HttpSolrServer.request(HttpSolrServer.java:385)
   at org.apache.solr.client.solrj.impl.HttpSolrServer.request(HttpSolrServer.java:180)
   at org.apache.solr.client.solrj.request.AbstractUpdateRequest.process(AbstractUpdateRequest.java:117)
   at org.apache.solr.client.solrj.SolrServer.deleteById(SolrServer.java:239)
   at org.apache.solr.client.solrj.SolrServer.deleteById(SolrServer.java:225)
   at net.yacy.cora.federate.solr.instance.ServerShard.deleteById(ServerShard.java:250)
   at net.yacy.cora.federate.solr.connector.SolrServerConnector.add(SolrServerConnector.java:228)
   at net.yacy.cora.federate.solr.connector.MirrorSolrConnector.add(MirrorSolrConnector.java:178)
   at net.yacy.cora.federate.solr.connector.ConcurrentUpdateSolrConnector.add(ConcurrentUpdateSolrConnector.java:361)
   at net.yacy.crawler.data.ZURL.push(ZURL.java:195)
   at net.yacy.crawler.data.CrawlQueues$Loader.run(CrawlQueues.java:640)
W 2013/08/04 14:50:39 StackTrace Server at http://127.0.0.1:8983/solr/collection1 returned non ok status:500, message:Server Error
org.apache.solr.client.solrj.impl.HttpSolrServer$RemoteSolrException: Server at http://127.0.0.1:8983/solr/collection1 returned non ok status:500, message:Server Error
   at org.apache.solr.client.solrj.impl.HttpSolrServer.request(HttpSolrServer.java:385)
   at org.apache.solr.client.solrj.impl.HttpSolrServer.request(HttpSolrServer.java:180)
   at org.apache.solr.client.solrj.request.AbstractUpdateRequest.process(AbstractUpdateRequest.java:117)
   at org.apache.solr.client.solrj.SolrServer.add(SolrServer.java:116)
   at net.yacy.cora.federate.solr.instance.ServerShard.add(ServerShard.java:122)
   at net.yacy.cora.federate.solr.connector.SolrServerConnector.add(SolrServerConnector.java:223)
   at net.yacy.cora.federate.solr.connector.MirrorSolrConnector.add(MirrorSolrConnector.java:178)
   at net.yacy.cora.federate.solr.connector.ConcurrentUpdateSolrConnector.add(ConcurrentUpdateSolrConnector.java:361)
   at net.yacy.crawler.data.ZURL.push(ZURL.java:195)
   at net.yacy.crawler.data.CrawlQueues$Loader.run(CrawlQueues.java:640)
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Mein "Geschenk" an die Community

Beitragvon LA_FORGE » Sa Mär 07, 2015 9:19 am

Hat noch jemand einen Download-Link für die 1.72er Version?
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Mein "Geschenk" an die Community

Beitragvon fusion » Mi Mär 11, 2015 10:21 pm

Unter https://github.com/Orbiter/YaCy/releases gibt es eine 1.72er Version.
fusion
 
Beiträge: 3
Registriert: So Aug 17, 2014 7:20 pm

Re: Mein "Geschenk" an die Community

Beitragvon LA_FORGE » Mo Apr 06, 2015 5:52 pm

Vielen Dank.

Code: Alles auswählen
20688 yacy      39  19  107m  11m  644 R 100.3  0.0  56833:20 gs
19151 yacy      39  19  107m  11m  644 R 100.0  0.0  56843:51 gs
21014 yacy      39  19  107m  11m  644 R 100.0  0.0  56831:13 gs
21542 yacy      39  19  107m  11m  644 R 100.0  0.0  56827:19 gs


:D ich bin schon seit fast 2 Wochen auf Spurensuche, warum mein Hauptpeer lediglich die Crawler-Queue füllt aber nicht abarbeitet, wenn ich einen Crawl mit einer HTML-Datei aus dem lokalen Dateisystem starte. Gerade habe ich unter dem Useraccount yacy (Hier läuft schon seit über 2 Wochen keine Yacy-Instanz mehr) 4 x Prozesse von Ghostscript gefunden, die im Deadlock hingen. Kaum habe ich killall -9 gs gemacht, legt der Crawler der YaCy-Instanz die unter einem anderem Benutzerkonto (nämlich yacy2) läuft sofort los. Woran könnte das liegen?
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Mein "Geschenk" an die Community

Beitragvon LA_FORGE » Mo Jun 01, 2015 5:41 pm

Ich habe noch einen alten Peer bei mir gefunden von Ende 2012. Es sind 8 x RAR-Archive á 20 GB :D

Code: Alles auswählen
Migrate URLdb to embedded Solr Index

Convert old meta data (urldb) index to embedded Solr fulltext index.

    A low priority background job has been started which reads the old index, adds it to Solr and deletes the entry from the old index.

    The default "slow migration" updates any entry in the old urldb index upon access (e.g. during search events).
    If you feel that the not accessed entries are still relevant, with this migration all entries from the old urldb index will be migrated.

    You may refresh this page to see how many entries in the old index are left for migration

    Hint: this background task runs until all entries are migrated or YaCy is shutdown. The migration is not automatically restarted.

65281515 entries in old index left to migrate.


Die Migration dauert noch sehr lange bis das durch ist :-( Ich will mehr Power! Kann man da was machen?
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Mein "Geschenk" an die Community

Beitragvon LA_FORGE » Di Jun 16, 2015 8:43 pm

Code: Alles auswählen
I 2015/06/16 08:38:24 migrateUrldbtoSolr 59966864 entries left (convert next chunk of 1000 entries)


Ich brauch MEHR POWER :D
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Mein "Geschenk" an die Community

Beitragvon davide » Mi Jun 17, 2015 8:04 pm

Notable effort Stefan for keep striving on YaCy for almost 5 years :D

Though I wonder: did you struck on any trouble with a corrupted or lost index? I see that, after the years, the Endeavour still has less than 100M documents. I wonder 'cause I just bought some (more-modest-than-yours) hardware aimed at reaching 100M for my index, but I want to climb that in a few months, not years!

So, were there any problems which prevented the Endeavour to reach its 400M target?


Clause: I haven't understood about 30% of this thread by Google translate.
davide
 
Beiträge: 84
Registriert: Fr Feb 15, 2013 8:03 am

Re: Mein "Geschenk" an die Community

Beitragvon David » Fr Jun 19, 2015 11:59 am

Nur so nebenbei: Ich glaube, wenn man mit YaCy grosse Mengen an Indexdaten erzeugen und bereitstellen will, ist es schlussendlich besser, wenn man mehrere kleine Peers betreibt anstatt eines riesigen. Andere Suchmaschinenbetreiber machen das ja auch so, soweit ich weiss.
David
 
Beiträge: 170
Registriert: Di Mär 05, 2013 5:35 pm

Re: Mein "Geschenk" an die Community

Beitragvon LA_FORGE » Fr Jun 19, 2015 12:33 pm

We can continue in english, you*re welcome :-)

Yes, sometimes my Index was broken because of a power outage or a broken harddrive. The Pre-Solr-Time, as YaCy used it's own data(base)structure I often deleted the corrupted file. Since Solr found the way into YaCy I'm using the checkindex.sh found in the bin-directory. I currently have over 200 million Documents but this Instance of Endeavour is currenty shutdown because I'm currently migrating an old Index of a 2012 backup of Endeavour to the new Solr Index. When it's done, I think it's at the end of the year, I'm exporting these documents with the great new feature developed by Orbiter and import it in the 200 million documents Instance of Endeavour. Since I got no software development skills at all, I'm currently searching for help to boost the migration process as mentioned in the post above.

Greetings

Steve
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Mein "Geschenk" an die Community

Beitragvon LA_FORGE » Fr Jun 19, 2015 12:40 pm

David hat geschrieben:Nur so nebenbei: Ich glaube, wenn man mit YaCy grosse Mengen an Indexdaten erzeugen und bereitstellen will, ist es schlussendlich besser, wenn man mehrere kleine Peers betreibt anstatt eines riesigen. Andere Suchmaschinenbetreiber machen das ja auch so, soweit ich weiss.


Genau, dafür haben wir freeworld. Ich hatte mal eine Zeitlang 4 YaCy's ohne lokalen Index laufen, die auf einen zentralen Solr zugegriffen haben. Dann hats mir irgendwann nach 140 TB I/O die Platten zerlegt :-( Aber Solr/Lucene ist dafür prädestiniert mit großen Datenmengen zu "jonglieren" und YaCy hat mittlerweile auch einen Reifegrad erreicht, dass auch Indexgrößen von >200 Mio. Dokumente kein Problem darstellen sollte, wenn genug RAM vorhanden ist :-)
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Mein "Geschenk" an die Community

Beitragvon LA_FORGE » So Jul 05, 2015 11:43 am

LA_FORGE hat geschrieben:Ich habe noch einen alten Peer bei mir gefunden von Ende 2012. Es sind 8 x RAR-Archive á 20 GB :D

Code: Alles auswählen
Migrate URLdb to embedded Solr Index

Convert old meta data (urldb) index to embedded Solr fulltext index.

    A low priority background job has been started which reads the old index, adds it to Solr and deletes the entry from the old index.

    The default "slow migration" updates any entry in the old urldb index upon access (e.g. during search events).
    If you feel that the not accessed entries are still relevant, with this migration all entries from the old urldb index will be migrated.

    You may refresh this page to see how many entries in the old index are left for migration

    Hint: this background task runs until all entries are migrated or YaCy is shutdown. The migration is not automatically restarted.

65281515 entries in old index left to migrate.


Die Migration dauert noch sehr lange bis das durch ist :-( Ich will mehr Power! Kann man da was machen?



Code: Alles auswählen
      t.setPriority(Thread.MIN_PRIORITY);
            t.start();


Ist das die richtige Stelle die ich da im Code gefunden habe (migration.java)? Was muss ich danach machen? Reicht ein Neustart von YaCy oder muss ich die Klasse neu kompilieren?
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Mein "Geschenk" an die Community

Beitragvon sixcooler » So Jul 05, 2015 10:21 pm

Hallo LA_FORGE,

wenn Du Dir da sicher bust den rchtigen Thread am wickel zu haben - ändern, neu kompileiren und neu starten - gutes Gelingen!

Cu, sixcooler.
sixcooler
 
Beiträge: 494
Registriert: Do Aug 14, 2008 5:22 pm

Re: Mein "Geschenk" an die Community

Beitragvon LA_FORGE » Mo Jul 06, 2015 8:30 pm

Vielen Dank. Achso du meinst den Programm-Thread, ich war gerade etwas verpeilt und dachte an den Foren-Thread :D

Nach der Änderung läuft es konstant mit 1000 Pages/Min. In 2 Monaten ist es durch :-)

Code: Alles auswählen
I 2015/07/05 20:07:02 migrateUrldbtoSolr some error while adding old data to new index, continue with next entry


Hehe, Ein Bißchen Schwund ist immer :-) Ich hab mir extra eine Screen-Session dafür gebaut, 'watch' und 'tail' haben den letzten Log-Eintrag immer direkt wieder verworfen nach dem 1. Eintrag angezeigt wurde, jetzt habe ich's so gemacht:

Code: Alles auswählen
while true; do cat /mnt/1800gb/yacy/DATA/LOG/yacy00.log | grep "migrateUrldbtoSolr"; sleep 60; done


Außerdem noch eine weitere Screen-Session zum monitoren von Remote-Suchanfragen:

Code: Alles auswählen
while true; do cat /mnt/1800gb/yacy/DATA/LOG/yacy00.log | grep "HASH"; sleep 8; done


Die Ausgabe sieht dann so aus:

Code: Alles auswählen
I 2015/07/06 19:10:43 YACY EXIT HASH SEARCH: [rMb.........] - 70045 links found, 10 links selected, 0 index abstracts, 6270 milliseconds
I 2015/07/06 19:34:15 YACY EXIT HASH SEARCH: [LEB.........] - 586 links found, 0 links selected, 0 index abstracts, 8103 milliseconds
I 2015/07/06 19:38:50 YACY EXIT HASH SEARCH: [il2........., tzw.........] - 163751 links found, 10 links selected, 2360264 index abstracts, 14542 milliseconds
I 2015/07/06 19:44:21 YACY EXIT HASH SEARCH: [CZ_........., NRM........., c76........., f9P.........] - 1631 links found, 10 links selected, 2460570 index abstracts, 15379 milliseconds
I 2015/07/06 19:52:06 YACY EXIT HASH SEARCH: [EUX........., XTi.........] - 37 links found, 1 links selected, 999033 index abstracts, 10591 milliseconds
I 2015/07/06 20:14:13 YACY EXIT HASH SEARCH: [nJU.........] - 153053 links found, 10 links selected, 0 index abstracts, 12321 milliseconds
I 2015/07/06 20:23:08 YACY INIT HASH SEARCH (query-auto): [PDZ........., feA.........] - 10 links
I 2015/07/06 20:25:51 YACY EXIT HASH SEARCH: [Xop.........] - 150052 links found, 10 links selected, 0 index abstracts, 11257 milliseconds
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Mein "Geschenk" an die Community

Beitragvon LA_FORGE » So Jul 12, 2015 10:09 am

Code: Alles auswählen
I 2015/07/27 17:49:37 org.apache.solr.core.SolrCore SolrDeletionPolicy.onCommit: commits:num=2
        commit{dir=/mnt/1800gb/yacy/DATA/INDEX/freeworld/SEGMENTS/solr_40/collection1/data/index,segFN=segments_11mw2,generation=1755938,filenames=[_1su8w_nrm.cfe, _1w22j.fnm, _1yjj7.fdx, _1ymgn.fdt, _1ykxv_1.del, _1yjj7.fdt, _1x3kp_22.del, _1yfon.fnm, _1ymms_Lucene41_0.tim, _nn6o.prx, _1qhbu_nrm.cfe, _1su8w_nrm.cfs, _1ymgn.fdx, _1qhbu_s0.del, _1ylmb_nrm.cfe, _1qhbu_Lucene41_0.doc, _1ymms_Lucene41_0.tip, _1yfon_Lucene41_0.pos, _1ymgn.si, _1qhbu.si, _1ymms.fnm, _1tyfd.fdx, _1xb66.si, _1ym4g_nrm.cfe, _1x3kp_Lucene41_0.pos, _nn6o.fnm, _nn6o.tis, _1ykxv_nrm.cfe, _1xb66_66.del, _1yjj7_Lucene41_0.doc, _1ykxv_nrm.cfs, _1yjj7_nrm.cfe, _1ym4g_nrm.cfs, _1vosl.fdx, _1su8w_Lucene41_0.pos, _nn6o.si, _1vosl.fdt, _1ylub_Lucene41_0.tim, _1tyfd_Lucene41_0.pos, _1tyfd.si, _1ylub_Lucene41_0.tip, _1ykxv.si, _1y9qe_d.del, _1ym4g_Lucene41_0.tim, _1ymmr.si, _1yjj7_nrm.cfs, _1ym4g_Lucene41_0.tip, _1o97o.si, _1whcx.fnm, _1y5dq.fdx, _1ylub.fnm, _1ymgn_nrm.cfe, _1ylmb.fdx, _1ymmr_Lucene41_0.tip, _1y5dq.fdt, _1ymmn_Lucene41_0.pos, _1ym4g_Lucene41_0.pos, _1ylmb.fdt, _1l6fk_Lucene41_0.tip, _1whcx_Lucene41_0.tip, _1l6fk_Lucene41_0.tim, _1whcx_Lucene41_0.tim, _1ymgn_nrm.cfs, _nn6o.tii, _1x3kp.fnm, _1ymgn_Lucene41_0.pos, _1yfon_Lucene41_0.tim, _1yfon_Lucene41_0.tip, _1ymmr_Lucene41_0.tim, _1y9qe_Lucene41_0.pos, _1y9qe.si, _1ymlb.fnm, _1tyfd.fdt, _13gc1.fdt, _1su8w_Lucene41_0.tim, _1ymlb_Lucene41_0.doc, _1su8w_Lucene41_0.tip, _1qhbu_nrm.cfs, _1ylmb_Lucene41_0.doc, _1y5dq.si, _1y5dq_Lucene41_0.tim, _nn6o_upgraded.si, _1w22j_aj.del, _1yjj7_2.del, _1y5dq_x.del, _1ymmn.fdx, _1l6fk.fnm, _1y1me_Lucene41_0.pos, _1xb66_Lucene41_0.pos, _1vosl.si, _1ymmr.fnm, _1ykxv.fdx, _1yd3u.fnm, _1ykxv.fdt, _1ykxv_Lucene41_0.tim, _1ymmr_Lucene41_0.pos, _1ykxv_Lucene41_0.tip, _1ylev.fdx, _1ymmn.fdt, _1w22j_Lucene41_0.tip, _1w22j_Lucene41_0.tim, _1yfon_nrm.cfs, segments_11mw2, _nn6o.frq, _1y1me.fnm, _1y9qe.fdt, _1xb66.fnm, _1vosl_Lucene41_0.doc, _1y5dq_nrm.cfs, _1y9qe.fdx, _13gc1.si, _13gc1.fnm, _1yd3u_Lucene41_0.pos, _1y1me.si, _nn6o.nrm, _1ymms.fdx, _1y5dq_Lucene41_0.pos, _1ymmr_nrm.cfs, _1tyfd_16u.del, _1ymms_Lucene41_0.pos, _1ymms.fdt, _1ykxv_Lucene41_0.pos, _1su8w_Lucene41_0.doc, _1ylev_nrm.cfs, _1w22j_Lucene41_0.pos, _1ymmr_nrm.cfe, _1o97o_Lucene41_0.pos, _1ylev_nrm.cfe, _1ylmb.si, _1o97o.fnm, _1ylev.fdt, _1ylev_Lucene41_0.pos, _1yfon_nrm.cfe, _1l6fk_Lucene41_0.doc, _1ylmb_nrm.cfs, _1o97o_1ld.del, _1whcx_Lucene41_0.pos, _1yd3u_Lucene41_0.tim, _1ylub_Lucene41_0.pos, _1yfon.fdt, _1yd3u_Lucene41_0.tip, _1yfon.fdx, _1yfon_Lucene41_0.doc, _1ym4g.fnm, _1yd3u.si, _13gc1_2c4.del, _1x3kp.fdx, _1o97o_nrm.cfs, _1l6fk_x3.del, _1vosl_nrm.cfe, _1x3kp_Lucene41_0.doc, _1yjj7_Lucene41_0.pos, _13gc1_nrm.cfs, _1vosl.fnm, _1x3kp.fdt, _1x3kp_nrm.cfe, _1x3kp_nrm.cfs, _1ylub.si, _1ylub.fdt, _1tyfd_Lucene41_0.doc, _1ylub.fdx, _1o97o_Lucene41_0.tip, _1vosl_nrm.cfs, _1w22j.si, _1ylmb_Lucene41_0.pos, _13gc1_Lucene40_0.tip, _1ymlb_nrm.cfe, _13gc1_Lucene40_0.tim, _1qhbu.fnm, _1o97o_Lucene41_0.tim, _1y9qe_Lucene41_0.doc, _1ymlb_nrm.cfs, _1w22j.fdx, _1o97o.fdt, _1o97o_nrm.cfe, _1w22j.fdt, _1su8w.fdx, _1y5dq.fnm, _1ylmb.fnm, _1tyfd.fnm, _1su8w.fdt, _13gc1_nrm.cfe, _1yd3u_nrm.cfs, _1ymlb.si, _1su8w_ho.del, _1x3kp.si, _13gc1_Lucene40_0.prx, _1w22j_Lucene41_0.doc, _1y1me_Lucene41_0.tip, _1y1me_30.del, _nn6o.fdx, _1xb66_Lucene41_0.tim, _1yfon.si, _1yjj7_Lucene41_0.tim, _1y5dq_nrm.cfe, _nn6o.fdt, _1yjj7_Lucene41_0.tip, _1y1me_Lucene41_0.tim, _1y9qe_nrm.cfe, _1ymlb.fdt, _1ymlb_Lucene41_0.pos, _1ymgn.fnm, _1yd3u_i.del, _1yjj7.si, _1xb66.fdx, _1y9qe_nrm.cfs, _1ylev_Lucene41_0.tim, _1xb66.fdt, _1yjj7.fnm, _1ym4g_Lucene41_0.doc, _1ymmr.fdx, _1ymlb.fdx, _1ylev_Lucene41_0.tip, _1ymmr.fdt, _1ymmn.fnm, _1whcx.fdx, _1whcx.fdt, _1xb66_Lucene41_0.tip, _1qhbu_Lucene41_0.pos, _1ymmn_Lucene41_0.doc, _1ymgn_Lucene41_0.doc, _1y5dq_Lucene41_0.tip, _1tyfd_nrm.cfe, _1y1me_nrm.cfe, _1ymms_nrm.cfs, _1y9qe_Lucene41_0.tim, _1l6fk_Lucene41_0.pos, _1y9qe_Lucene41_0.tip, _1xb66_nrm.cfe, _1w22j_nrm.cfe, _1y1me_nrm.cfs, _13gc1_Lucene40_0.frq, _1qhbu_Lucene41_0.tip, _1su8w.si, _13gc1.fdx, _1yd3u_Lucene41_0.doc, _1ymms_nrm.cfe, _1l6fk_nrm.cfe, _1vosl_Lucene41_0.pos, _1ymlb_Lucene41_0.tim, _1ymmn_Lucene41_0.tim, _1w22j_nrm.cfs, _1ymgn_Lucene41_0.tim, _1ymmn_Lucene41_0.tip, _1ymms.si, _1ymgn_Lucene41_0.tip, _1l6fk_nrm.cfs, _1ykxv.fnm, _1ymms_Lucene41_0.doc, _1vosl_11k.del, _1qhbu_Lucene41_0.tim, _1tyfd_nrm.cfs, _1ylev.fnm, _1ym4g.si, _1l6fk.si, _nn6o_367.del, _1o97o_Lucene41_0.doc, _1l6fk.fdt, _1ymmr_Lucene41_0.doc, _1ymmn.si, _1l6fk.fdx, _1whcx_8o.del, _1ylub_nrm.cfe, _1ymmn_nrm.cfe, _1ym4g.fdx, _1ym4g.fdt, _1o97o.fdx, _1ylub_nrm.cfs, _1yd3u_nrm.cfe, _1whcx_nrm.cfs, _1y1me.fdx, _1ymmn_nrm.cfs, _1vosl_Lucene41_0.tim, _1y1me.fdt, _1ylub_Lucene41_0.doc, _1y9qe.fnm, _1ylmb_Lucene41_0.tim, _1vosl_Lucene41_0.tip, _1y5dq_Lucene41_0.doc, _1qhbu.fdx, _1ylmb_Lucene41_0.tip, _1yd3u.fdt, _1whcx_nrm.cfe, _1x3kp_Lucene41_0.tim, _1su8w.fnm, _1x3kp_Lucene41_0.tip, _1xb66_Lucene41_0.doc, _1whcx.si, _1ymlb_Lucene41_0.tip, _1whcx_Lucene41_0.doc, _1qhbu.fdt, _1y1me_Lucene41_0.doc, _1yd3u.fdx, _1ylev.si, _1tyfd_Lucene41_0.tip, _1tyfd_Lucene41_0.tim, _1ykxv_Lucene41_0.doc, _1xb66_nrm.cfs, _1ylev_Lucene41_0.doc]
        commit{dir=/mnt/1800gb/yacy/DATA/INDEX/freeworld/SEGMENTS/solr_40/collection1/data/index,segFN=segments_11mw3,generation=1755939,filenames=[_1su8w_nrm.cfe, _1w22j.fnm, _1yjj7.fdx, _1ymgn.fdt, _1ykxv_1.del, _1yjj7.fdt, _1x3kp_22.del, _1yfon.fnm, _nn6o.prx, _1qhbu_nrm.cfe, _1su8w_nrm.cfs, _1ymgn.fdx, _1qhbu_s0.del, _1ylmb_nrm.cfe, _1qhbu_Lucene41_0.doc, _1ymmw.si, _1yfon_Lucene41_0.pos, _1ymgn.si, _1qhbu.si, _1tyfd.fdx, _1xb66.si, _1ym4g_nrm.cfe, _1x3kp_Lucene41_0.pos, _nn6o.fnm, _nn6o.tis, _1ykxv_nrm.cfe, _1xb66_66.del, _1yjj7_Lucene41_0.doc, _1ykxv_nrm.cfs, _1yjj7_nrm.cfe, _1ym4g_nrm.cfs, _1vosl.fdx, _1su8w_Lucene41_0.pos, _nn6o.si, _1vosl.fdt, _1ylub_Lucene41_0.tim, _1tyfd_Lucene41_0.pos, _1tyfd.si, _1ylub_Lucene41_0.tip, _1ykxv.si, _1y9qe_d.del, _1ym4g_Lucene41_0.tim, _1ymmr.si, _1yjj7_nrm.cfs, _1ym4g_Lucene41_0.tip, _1o97o.si, _1whcx.fnm, _1y5dq.fdx, _1ylub.fnm, _1ymgn_nrm.cfe, _1ylmb.fdx, _1ymmr_Lucene41_0.tip, _1y5dq.fdt, _1ym4g_Lucene41_0.pos, _1ylmb.fdt, _1l6fk_Lucene41_0.tip, _1whcx_Lucene41_0.tip, _1l6fk_Lucene41_0.tim, _1whcx_Lucene41_0.tim, _1ymgn_nrm.cfs, _nn6o.tii, _1ymmw.fnm, _1x3kp.fnm, _1ymgn_Lucene41_0.pos, _1yfon_Lucene41_0.tim, _1yfon_Lucene41_0.tip, _1ymmr_Lucene41_0.tim, _1y9qe_Lucene41_0.pos, _1y9qe.si, _1ymlb.fnm, _1ymmw_Lucene41_0.doc, _1tyfd.fdt, _13gc1.fdt, _1su8w_Lucene41_0.tim, _1ymlb_Lucene41_0.doc, _1su8w_Lucene41_0.tip, _1qhbu_nrm.cfs, _1ylmb_Lucene41_0.doc, _1y5dq.si, _1y5dq_Lucene41_0.tim, _nn6o_upgraded.si, _1w22j_aj.del, _1yjj7_2.del, _1y5dq_x.del, _1l6fk.fnm, _1y1me_Lucene41_0.pos, _1ymmw.fdt, _1xb66_Lucene41_0.pos, _1vosl.si, _1ymmr.fnm, _1ymmw.fdx, _1ykxv.fdx, _1yd3u.fnm, _1ykxv.fdt, _1ykxv_Lucene41_0.tim, _1ymmr_Lucene41_0.pos, _1ykxv_Lucene41_0.tip, _1ylev.fdx, _1w22j_Lucene41_0.tip, _1w22j_Lucene41_0.tim, _1yfon_nrm.cfs, segments_11mw3, _nn6o.frq, _1ymmw_nrm.cfe, _1y1me.fnm, _1y9qe.fdt, _1xb66.fnm, _1vosl_Lucene41_0.doc, _1ymmv.si, _1y5dq_nrm.cfs, _1y9qe.fdx, _1ymmw_nrm.cfs, _13gc1.si, _13gc1.fnm, _1yd3u_Lucene41_0.pos, _1y1me.si, _nn6o.nrm, _1ymmw_Lucene41_0.tip, _1ymmv.fnm, _1y5dq_Lucene41_0.pos, _1ymmr_nrm.cfs, _1ymmw_Lucene41_0.tim, _1tyfd_16u.del, _1ykxv_Lucene41_0.pos, _1su8w_Lucene41_0.doc, _1ylev_nrm.cfs, _1w22j_Lucene41_0.pos, _1ymmr_nrm.cfe, _1ymmv_Lucene41_0.pos, _1o97o_Lucene41_0.pos, _1ylev_nrm.cfe, _1ylmb.si, _1o97o.fnm, _1ylev.fdt, _1ylev_Lucene41_0.pos, _1yfon_nrm.cfe, _1l6fk_Lucene41_0.doc, _1ylmb_nrm.cfs, _1o97o_1ld.del, _1whcx_Lucene41_0.pos, _1yd3u_Lucene41_0.tim, _1ylub_Lucene41_0.pos, _1yfon.fdt, _1yd3u_Lucene41_0.tip, _1yfon.fdx, _1yfon_Lucene41_0.doc, _1ym4g.fnm, _1yd3u.si, _13gc1_2c4.del, _1x3kp.fdx, _1o97o_nrm.cfs, _1l6fk_x3.del, _1vosl_nrm.cfe, _1x3kp_Lucene41_0.doc, _1yjj7_Lucene41_0.pos, _13gc1_nrm.cfs, _1vosl.fnm, _1x3kp.fdt, _1x3kp_nrm.cfe, _1x3kp_nrm.cfs, _1ylub.si, _1ymmw_Lucene41_0.pos, _1ymmv_Lucene41_0.tim, _1ylub.fdt, _1tyfd_Lucene41_0.doc, _1ymmv.fdt, _1ylub.fdx, _1o97o_Lucene41_0.tip, _1vosl_nrm.cfs, _1w22j.si, _1ymmv_Lucene41_0.tip, _1ylmb_Lucene41_0.pos, _13gc1_Lucene40_0.tip, _1ymlb_nrm.cfe, _13gc1_Lucene40_0.tim, _1qhbu.fnm, _1o97o_Lucene41_0.tim, _1ymmv.fdx, _1y9qe_Lucene41_0.doc, _1ymlb_nrm.cfs, _1w22j.fdx, _1o97o.fdt, _1o97o_nrm.cfe, _1w22j.fdt, _1su8w.fdx, _1y5dq.fnm, _1ylmb.fnm, _1tyfd.fnm, _1su8w.fdt, _13gc1_nrm.cfe, _1yd3u_nrm.cfs, _1ymlb.si, _1su8w_ho.del, _1x3kp.si, _13gc1_Lucene40_0.prx, _1w22j_Lucene41_0.doc, _1y1me_Lucene41_0.tip, _1y1me_30.del, _nn6o.fdx, _1xb66_Lucene41_0.tim, _1yfon.si, _1yjj7_Lucene41_0.tim, _1y5dq_nrm.cfe, _nn6o.fdt, _1yjj7_Lucene41_0.tip, _1y1me_Lucene41_0.tim, _1y9qe_nrm.cfe, _1ymlb.fdt, _1ymlb_Lucene41_0.pos, _1ymgn.fnm, _1yd3u_i.del, _1yjj7.si, _1xb66.fdx, _1y9qe_nrm.cfs, _1ylev_Lucene41_0.tim, _1xb66.fdt, _1yjj7.fnm, _1ym4g_Lucene41_0.doc, _1ymmr.fdx, _1ymlb.fdx, _1ylev_Lucene41_0.tip, _1ymmr.fdt, _1whcx.fdx, _1whcx.fdt, _1xb66_Lucene41_0.tip, _1qhbu_Lucene41_0.pos, _1ymgn_Lucene41_0.doc, _1y5dq_Lucene41_0.tip, _1tyfd_nrm.cfe, _1y1me_nrm.cfe, _1y9qe_Lucene41_0.tim, _1l6fk_Lucene41_0.pos, _1y9qe_Lucene41_0.tip, _1xb66_nrm.cfe, _1w22j_nrm.cfe, _1y1me_nrm.cfs, _13gc1_Lucene40_0.frq, _1qhbu_Lucene41_0.tip, _1su8w.si, _13gc1.fdx, _1yd3u_Lucene41_0.doc, _1l6fk_nrm.cfe, _1vosl_Lucene41_0.pos, _1ymlb_Lucene41_0.tim, _1w22j_nrm.cfs, _1ymgn_Lucene41_0.tim, _1ymgn_Lucene41_0.tip, _1l6fk_nrm.cfs, _1ykxv.fnm, _1vosl_11k.del, _1qhbu_Lucene41_0.tim, _1tyfd_nrm.cfs, _1ylev.fnm, _1ym4g.si, _1l6fk.si, _nn6o_367.del, _1o97o_Lucene41_0.doc, _1l6fk.fdt, _1ymmr_Lucene41_0.doc, _1l6fk.fdx, _1whcx_8o.del, _1ylub_nrm.cfe, _1ym4g.fdx, _1ym4g.fdt, _1o97o.fdx, _1ylub_nrm.cfs, _1yd3u_nrm.cfe, _1whcx_nrm.cfs, _1y1me.fdx, _1vosl_Lucene41_0.tim, _1y1me.fdt, _1ylub_Lucene41_0.doc, _1y9qe.fnm, _1ylmb_Lucene41_0.tim, _1vosl_Lucene41_0.tip, _1y5dq_Lucene41_0.doc, _1qhbu.fdx, _1ylmb_Lucene41_0.tip, _1yd3u.fdt, _1whcx_nrm.cfe, _1x3kp_Lucene41_0.tim, _1su8w.fnm, _1ymmv_nrm.cfe, _1x3kp_Lucene41_0.tip, _1xb66_Lucene41_0.doc, _1whcx.si, _1ymlb_Lucene41_0.tip, _1whcx_Lucene41_0.doc, _1qhbu.fdt, _1y1me_Lucene41_0.doc, _1yd3u.fdx, _1ylev.si, _1ymmv_Lucene41_0.doc, _1tyfd_Lucene41_0.tip, _1tyfd_Lucene41_0.tim, _1ykxv_Lucene41_0.doc, _1xb66_nrm.cfs, _1ylev_Lucene41_0.doc, _1ymmv_nrm.cfs]


So, das musste einfach mal gesagt werden :D
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Re: Mein "Geschenk" an die Community

Beitragvon LA_FORGE » Di Apr 11, 2017 3:32 pm

Hi,

nach längeren Monaten Analyse meines Peers Endeavour im 'freeworld' habe ich den Flaschenhals bei einer Indexgröße von fast 200 Mio. Dokumenten ausgemacht: Zu wenig RAM ist überhaupt kein Problem mehr - vielmehr ist die Zugriffszeit der Festplatte zumm Hauptproblem geworden: Obwohl ich eine Enterprise SAS 2.0 Festplatte mit 3,4 ms Zugriffszeit und 32 MB Cache verwende kommt es zur folgenden Problematik: Ticket Nr. 736 im Mantis

<spass>
Villeicht will mir ja jemand eine 4 TB PCIe SSD spendieren.
</spass>

:D :D :D :D


Viele Grüße

LA_FORGE
LA_FORGE
 
Beiträge: 559
Registriert: Sa Okt 11, 2008 5:24 pm

Vorherige

Zurück zu Mitmachen

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast