Seite 1 von 1

Scroogle unter Beschuss und aktuell offline

BeitragVerfasst: Mo Jul 05, 2010 10:14 pm
von Copro
Aktuell hat Scroogle sowohl mit einer Interface Änderung beim Scrapee als auch mit einem Botnetz oder einem anderen Angriff zu kämpfen: http://www.scroogle.org/botnote.html
Der Scraper nach einer Änderung auf den Gugl Seiten abgeschalten. Das einfache Webinterface das dort gescraped wurde existier aktuell nicht mehr und sollte man dieses nicht irgendwie andersweitig wieder auffinden bleibt der Service nicht erreichbar.

July 1, 2010: Here we go again...
We regret to announce that our Google scraper may have to be permanently retired, thanks to a change at Google. It depends on whether Google is willing to restore the simple interface that we've been scraping since Scroogle started five years ago. Actually, we've been using that interface for scraping since Google-Watch.org began in 2002.
(...)
It is not possible to continue Scroogle unless we have a simple interface that is stable. Google's main consumer-oriented interface that they want everyone to use is too complex, too bloated, and changes too frequently, to make our scraping operation possible.

After a lot of suggestions from Scroogle users, and a fair amount of publicity, we found a fix and Scroogle was back in 24 hours. This fix was to insert an extra parameter, &output=ie, into the search terms that were relayed to Google. The extra parameter recovered the same interface that we thought was gone forever.

Now it seems like it actually might be gone forever. Late on June 30, 2010, the results produced while using this parameter began to shift to the usual busy Google interface with ads and a left-margin sidebar. Scroogle users saw a Scroogle page that said, "Google returned no results for this search," when in fact Google returned results but our scraper was unable to deal with them. Over the next few days we will attempt to contact Google and determine whether the old interface is gone as a matter of policy at Google, or if they simply have it hidden somewhere and will tell us where it is so that we can continue to use it.

Thank you for your support during these past five years. Check back in a week or so; if we don't hear from Google by next week, I think we can all assume that Google would rather have no Scroogle, and no privacy for searchers.

— Daniel Brandt, Public Information Research, scroogle AT lavabit.com

Quelle: Eine Suche auf http://www.scroogle.org

Da die Option sowohl Vergleichsergbnisse von Scroogle einzubinden und auch als neue Crawl Startpunkte zu verwenden in SVN 6944 eingeführt wurde kann man diese Option aktuell nicht verwenden.

Re: Scroogle unter Beschuss und aktuell offline

BeitragVerfasst: Mi Jul 21, 2010 10:36 am
von Orbiter
geht offenbar wieder!

.. und ich habe die in YaCy neue Scroogle Heuristik so erweitert dass sie nur ein angemeldeter Admin nutzen kann, sonst wäre über das YaCy Netz ein Scroogle DoS möglich :roll:

Re: Scroogle unter Beschuss und aktuell offline

BeitragVerfasst: Fr Jun 10, 2011 2:22 pm
von LA_FORGE
Aah!! Wer sucht der findet, mein http://forum.yacy-websuche.de/viewtopic.php?f=5&t=3283
kann gelöscht werden :-)

Re: Scroogle unter Beschuss und aktuell offline

BeitragVerfasst: Fr Jun 10, 2011 2:55 pm
von Vega
Ist erledigt :D

Thomas

LA_FORGE hat geschrieben:Aah!! Wer sucht der findet, mein http://forum.yacy-websuche.de/viewtopic.php?f=5&t=3283
kann gelöscht werden :-)

Re: Scroogle unter Beschuss und aktuell offline

BeitragVerfasst: Mi Jul 06, 2011 4:51 pm
von LA_FORGE
Hm.. könnte man nicht einen DoS Schutz für Abfragen via Scroogle implementieren, damit man Scroogle auch wieder für Nicht-Admins aktivieren kann? Andere (DoS)Schutzmechanismen ähnlicher Art sind doch schon im Code mit drin oder? Bräuchte man doch nur anzupassen, oder?