PROXY: Indexed web page... obwohl PROXY nicht verwendet

Hier finden YaCy User Hilfe wenn was nicht funktioniert oder anders funktioniert als man dachte. Bei offensichtlichen Fehlern diese bitte gleich in die Bugs (http://bugs.yacy.net) eintragen.
Forumsregeln
In diesem Forum geht es um Benutzungsprobleme und Anfragen für Hilfe. Wird dabei ein Bug identifiziert, wird der thread zur Bearbeitung in die Bug-Sektion verschoben. Wer hier also einen Thread eingestellt hat und ihn vermisst, wird ihn sicherlich in der Bug-Sektion wiederfinden.

PROXY: Indexed web page... obwohl PROXY nicht verwendet

Beitragvon fherb » Di Dez 31, 2013 12:56 pm

Hallo,

habe seit gestern vermehrt Proxy-Indexing im Terminal aufgelistet, wie z.B.

Code: Alles auswählen
PROXY: Indexed web page:http://www.395jh.com/Service/view/65.html
  中州假日酒店-巨美结婚网


Meine Proxy-Einstellungen sind aber

localhost,127\.0\.0\.1,192\.168\..*,10\..*,0:0:0:0:0:0:0:1.*
Keine PROXY-Accounts


Ich habe auch lokal weder lighttpd noch proftpd so konfiguriert, dass sie über den PROXY laufen könnten.

Ist da was faul?

Viele Grüße
fherb
 
Beiträge: 111
Registriert: Di Nov 26, 2013 10:02 am
Wohnort: Dresden (Germany)

Re: PROXY: Indexed web page... obwohl PROXY nicht verwendet

Beitragvon Yududi » Di Dez 31, 2013 2:20 pm

Was steht denn bei Traffic für den Proxy unter
https://yududi.de/Status.html
(URL nur zum Beispiel)
Bei mir: Proxy: 0 Bytes, Crawler: 7,66 GB
Daran seh ich mein Proxy wird nicht genutzt.
Hoffe ist das was du meinst.
Gruß von Peer YuDuDi!
Yududi
 
Beiträge: 64
Registriert: Di Dez 10, 2013 12:30 pm

Re: PROXY: Indexed web page... obwohl PROXY nicht verwendet

Beitragvon fherb » Mi Jan 01, 2014 10:26 pm

Traffic für Proxy und Crawler bleibt konstant 0.

Ich gehe im Moment von einem Sicherheitsloch aus.


Folgendes Szenario im Moment:

Ich habe meine eigenen Crawls vollkommen abgeschaltet.
Remote Crawl ebenso.
Dann habe ich auf der Statusseite auch noch Remote- und Local indexing gestoppt.
Habe im Creation Monitor den Speed auf 1PPM gesetzt.
Die Internet-Dienste sendmail, lighttpd, proftpd und Tor (Relay) sind dabei nicht gestartet.


Aber YaCy indiziert fleißig weiter. Und folgende Log-Zeilen zeigen, dass es wahrscheinlich kein besonders seriöser Crawl ist:

Code: Alles auswählen
I 2014/01/01 21:53:25 Fulltext indexing: lO5hLL6PW3mQ http://www.nifty.org/nifty/gay/adult-youth/the-pimple-doctor/the-pimple-doctor-2
I 2014/01/01 21:53:25 Fulltext indexing: ms3GVL6PW3mQ http://www.nifty.org/nifty/gay/incest/jack-and-the-beast/jack-and-the-beast-6
I 2014/01/01 21:53:25 Fulltext indexing: kyh1yL6PW3mQ http://www.nifty.org/nifty/gay/camping/brad-and-alans-canoe-trip
I 2014/01/01 21:53:25 Fulltext indexing: krr3TL6PW3mQ http://www.nifty.org/nifty/gay/young-friends/street-kids/street-kids-16.html
I 2014/01/01 21:53:25 Fulltext indexing: khWOmL6PW3mQ http://www.nifty.org/nifty/gay/beginnings/the-knife-that-twists-within/angels-trumpets-8
I 2014/01/01 21:53:25 Fulltext indexing: nOpRRqyq7zVb http://no.thefreedictionary.com/lovlighet
I 2014/01/01 21:53:25 Fulltext indexing: mNJ9gL6PW3mQ http://www.nifty.org/nifty/gay/college/mastering-situations/mastering-situations-5
I 2014/01/01 21:53:25 Fulltext indexing: nEsobL6PW3mQ http://www.nifty.org/nifty/gay/authoritarian/give-me-some-lovin/give-me-some-lovin-7
I 2014/01/01 21:53:25 Fulltext indexing: nOJWrL6PW3mQ http://www.nifty.org/nifty/gay/highschool/my-matt/my-matt-1
I 2014/01/01 21:53:25 Fulltext indexing: lHid-L6PW3mQ http://www.nifty.org/nifty/gay/urination/boys-in-a-window
I 2014/01/01 21:53:25 Fulltext indexing: nr-aqL6PW3mQ http://www.nifty.org/nifty/gay/incest/big-brothers-cum-dump/big-brothers-cum-dump-6
I 2014/01/01 21:53:25 Fulltext indexing: nRL5DL6PW3mQ http://www.nifty.org/nifty/gay/interracial/sailing-in-bahia/sailing-in-bahia-1
I 2014/01/01 21:53:25 Fulltext indexing: mARqSL6PW3mQ http://www.nifty.org/nifty/lesbian/adult-friends/a-new-life/a-new-life-2
I 2014/01/01 21:53:25 Fulltext indexing: nOYeLL6PW3mQ http://www.nifty.org/nifty/gay/highschool/lil-bros/lil-bros-10
I 2014/01/01 21:53:25 Fulltext indexing: nJGsvqyq7zVb http://no.thefreedictionary.com/%C3%B8nskelighet
I 2014/01/01 21:53:25 Fulltext indexing: ks8xDqyq7zVb http://no.thefreedictionary.com/plutselig%2Bprisfall
I 2014/01/01 21:53:25 Fulltext indexing: mbs25JopPzIE http://thelinuxgames.blogspot.com.ar/2013/03/obsidian-is-open-source-3d-virtual.html
I 2014/01/01 21:53:25 Fulltext indexing: naCLQqyq7zVb http://no.thefreedictionary.com/gard
I 2014/01/01 21:53:25 Fulltext indexing: lhjR7P93VMNB http://www.amac-buch.de/WebRoot/Store2/Shops/15188806/5239/B509/3E75/8559/FC16/C0A8/28BC/7B82/iPhone-5s_850px_h.png
I 2014/01/01 21:53:25 Fulltext indexing: lQTY6L6PW3mQ http://www.nifty.org/nifty/gay/adult-youth/jomel/jomel-7
I 2014/01/01 21:53:25 Fulltext indexing: lFjzGr8-uccZ http://allikerr.wordpress.com/iron-eagle-bodybuilding-figure-classic/
I 2014/01/01 21:53:25 Fulltext indexing: meehCL6PW3mQ http://www.nifty.org/nifty/gay/highschool/the-farm-hand/the-farm-hand-16
I 2014/01/01 21:53:25 Fulltext indexing: lLJB3L6PW3mQ http://www.nifty.org/nifty/gay/adult-youth/homeless-waif/homeless-waif-4
I 2014/01/01 21:53:25 Fulltext indexing: kIl0nqyq7zVb http://no.thefreedictionary.com/plutselig%2Buventet%2Bhendelse
I 2014/01/01 21:53:25 Fulltext indexing: mJBQCL6PW3mQ http://www.nifty.org/nifty/gay/athletics/wrestling-with-mike
I 2014/01/01 21:53:25 Fulltext indexing: kwd-uqyq7zVb http://no.thefreedictionary.com/prudepike
I 2014/01/01 21:53:25 Fulltext indexing: mK-eA94yM-aQ http://tuxtor.shekalug.org/mitos-y-realidades-de-la-server-jre/
I 2014/01/01 21:53:25 Fulltext indexing: lGeHgL6PW3mQ http://www.nifty.org/nifty/gay/highschool/pieces-of-destiny/pieces-of-destiny-11.html
I 2014/01/01 21:53:25 Fulltext indexing: lFot5L6PW3mQ http://www.nifty.org/nifty/gay/adult-youth/after-school-special/after-school-special-5
I 2014/01/01 21:53:25 Fulltext indexing: kGORwL6PW3mQ http://www.nifty.org/nifty/gay/beginnings/jack-and-steve/jack-and-steve-1
I 2014/01/01 21:53:25 Fulltext indexing: nbm7NL6PW3mQ http://www.nifty.org/nifty/gay/celebrity/zeke-and-ringo/zeke-and-ringo-5
I 2014/01/01 21:53:25 Fulltext indexing: nEj7PL6PW3mQ http://www.nifty.org/nifty/gay/highschool/in-pain/in-pain-18.html
I 2014/01/01 21:53:25 Fulltext indexing: lms7sL6PW3mQ http://www.nifty.org/nifty/gay/camping/passen-through/passen-through-4
I 2014/01/01 21:53:25 Fulltext indexing: nBuy5qyq7zVb http://no.thefreedictionary.com/bridge
I 2014/01/01 21:53:25 YACY Received 207 URLs from peer rR-fsVV2FmsN:_anonufe-19772999-21/1.63009183 in 1275 ms, blocked 0 URLs
D 2014/01/01 21:53:25 SWITCHBOARD Processing 137 bytes / 1 words / 1 entries from GQZYz3iwTw-G:_anonufe-56485120-101/1.64009201
I 2014/01/01 21:53:25 SWITCHBOARD Received 1 RWIs, 1 Words [Qj7lfto8KGDK .. Qj7lfto8KGDK], processed in 3 milliseconds, 3814326708828401408, blocked 0, requesting 0/1 URLs from GQZYz3iwTw-G:_anonufe-56485120-101/1.64009201



Oder noch ein Ausschnitt:

Code: Alles auswählen
I 2014/01/01 22:16:23 Fulltext indexing: Jusp5ZvU1QsA http://ordenden.hoestpastilles.nyborjarplatser.sundays.nkat.forum.mythem.es/overkookte/licuefa$
I 2014/01/01 22:16:23 HTCACHE storing content of url http://ordenden.hoestpastilles.nyborjarplatser.sundays.nkat.forum.mythem.es/drenzen/voorpoor/ca$
D 2014/01/01 22:16:23 SWITCHBOARD processResourceStack processCase=PROXY_LOAD, depth=0, maxDepth=0, must-match=.*, must-not-match=, initiatorHash=nu$
I 2014/01/01 22:16:23 SWITCHBOARD Excluded 0 words in URL http://ordenden.hoestpastilles.nyborjarplatser.sundays.nkat.forum.mythem.es/drenzen/voorpo$
I 2014/01/01 22:16:23 SWITCHBOARD *Indexed 29 words in URL http://ordenden.hoestpastilles.nyborjarplatser.sundays.nkat.forum.mythem.es/drenzen/voorp$
        Description:
        MimeType: text/plain | Charset: UTF-8 | Size: 99 bytes |
        LinkStorageTime: 0 ms | indexStorageTime: 0 ms
I 2014/01/01 22:16:23 Fulltext indexing: AaXBHLvU1QsA http://ordenden.hoestpastilles.nyborjarplatser.sundays.nkat.forum.mythem.es/drenzen/voorpoor/c$
I 2014/01/01 22:16:23 HTCACHE storing content of url http://imgallery.net/And-3D-mapping-efforts-Microsoft-then-improved-upon-the-camera-that-Vexcel$
D 2014/01/01 22:16:23 SWITCHBOARD processResourceStack processCase=PROXY_LOAD, depth=0, maxDepth=0, must-match=.*, must-not-match=, initiatorHash=nu$
I 2014/01/01 22:16:23 SWITCHBOARD Excluded 0 words in URL http://imgallery.net/And-3D-mapping-efforts-Microsoft-then-improved-upon-the-camera-that-V$
I 2014/01/01 22:16:23 SWITCHBOARD *Indexed 52 words in URL http://imgallery.net/And-3D-mapping-efforts-Microsoft-then-improved-upon-the-camera-that-$
        Description:  imgallery.net
        MimeType: text/html | Charset: UTF-8 | Size: 141 bytes |
        LinkStorageTime: 10 ms | indexStorageTime: 0 ms
I 2014/01/01 22:16:23 Fulltext indexing: pXuMg75CFUDR http://imgallery.net/And-3D-mapping-efforts-Microsoft-then-improved-upon-the-camera-that-Vexce$
I 2014/01/01 22:16:23 HTCACHE storing content of url http://imgallery.net/A-spectator-sport-But-if-all-goes-well-it-looks-like-he-ll-have-an-opportu$
D 2014/01/01 22:16:23 SWITCHBOARD processResourceStack processCase=PROXY_LOAD, depth=0, maxDepth=0, must-match=.*, must-not-match=, initiatorHash=nu$
I 2014/01/01 22:16:23 SWITCHBOARD Excluded 0 words in URL http://imgallery.net/A-spectator-sport-But-if-all-goes-well-it-looks-like-he-ll-have-an-op$
I 2014/01/01 22:16:23 SWITCHBOARD *Indexed 56 words in URL http://imgallery.net/A-spectator-sport-But-if-all-goes-well-it-looks-like-he-ll-have-an-o$
        Description:  imgallery.net
        MimeType: text/html | Charset: UTF-8 | Size: 141 bytes |
        LinkStorageTime: 19 ms | indexStorageTime: 0 ms
I 2014/01/01 22:16:23 Fulltext indexing: ZAxvb75CFUDR http://imgallery.net/A-spectator-sport-But-if-all-goes-well-it-looks-like-he-ll-have-an-opport$
I 2014/01/01 22:16:23 HTCACHE storing content of url http://www.teampepka.com/find-real-estate/fl/33953/, 181942 bytes
I 2014/01/01 22:16:23 REJECTED http://www.teampepka.com/find-real-estate/fl/33953/ - Stale_(denied_by_cache-control=PRIVATE)
I 2014/01/01 22:16:23 HTCACHE storing content of url http://imgallery.net/Of-an-anime-that-makes-viewers-say-holy-shit-this-show-is-a-memorable-post$
D 2014/01/01 22:16:23 SWITCHBOARD processResourceStack processCase=PROXY_LOAD, depth=0, maxDepth=0, must-match=.*, must-not-match=, initiatorHash=nu$
I 2014/01/01 22:16:23 SWITCHBOARD Excluded 0 words in URL http://imgallery.net/Of-an-anime-that-makes-viewers-say-holy-shit-this-show-is-a-memorable$
I 2014/01/01 22:16:23 SWITCHBOARD *Indexed 51 words in URL http://imgallery.net/Of-an-anime-that-makes-viewers-say-holy-shit-this-show-is-a-memorabl$
        Description:  imgallery.net
        MimeType: text/html | Charset: UTF-8 | Size: 141 bytes |
        LinkStorageTime: 12 ms | indexStorageTime: 1 ms


Die Zielserver wechseln stark, haben aber meist ziemlich kryptische Namen oder sehr lange Namen. Teilweise tauchen auch asiatische Zeichen auf.

Ich fahr den jetzt erst mal runter. Sicher ist sicher.
Zuletzt geändert von fherb am Mi Jan 01, 2014 10:43 pm, insgesamt 2-mal geändert.
fherb
 
Beiträge: 111
Registriert: Di Nov 26, 2013 10:02 am
Wohnort: Dresden (Germany)

Re: PROXY: Indexed web page... obwohl PROXY nicht verwendet

Beitragvon fherb » Mi Jan 01, 2014 10:26 pm

Ich poste mal einen Verweis in die Buglist.
fherb
 
Beiträge: 111
Registriert: Di Nov 26, 2013 10:02 am
Wohnort: Dresden (Germany)

Re: PROXY: Indexed web page... obwohl PROXY nicht verwendet

Beitragvon reger » Do Jan 02, 2014 4:53 am

Hallo,

fherb hat geschrieben:Hallo,

habe seit gestern vermehrt Proxy-Indexing im Terminal aufgelistet, wie z.B.

Ist da was faul?



ja, da war etwas faul in den Development Versionen,
was bei der kürzlichen Umstellung des http Servers hinein geraten ist.
Ab v1.67/9629 ist ein Fix bzgl. Proxy-Security vorhanden.

cu
reger
 
Beiträge: 46
Registriert: Mi Jan 02, 2013 9:23 am

Re: PROXY: Indexed web page... obwohl PROXY nicht verwendet

Beitragvon Orbiter » Do Jan 02, 2014 6:55 pm

hier gehts dazu weiter: viewtopic.php?f=15&t=5065
Orbiter
 
Beiträge: 5792
Registriert: Di Jun 26, 2007 10:58 pm
Wohnort: Frankfurt am Main


Zurück zu Fragen und Antworten

Wer ist online?

Mitglieder in diesem Forum: Bing [Bot] und 3 Gäste