Crawling Fehler.

StartSeite

Verursachen mediabot Crawling Fehler sinkende Einnahmen?

Sind AdSense Crawling Fehler für sinkenden Seiten-RPM verantwortlich.

So langsam nervt es. Die Website-Diagnose zeigt Crawler Probleme in Zusammenhang mit meinen publisher Seiten und zeitgleich sinkt der eCPM oder Seiten-RPM drastisch. Schau ich mir die detaillierten Diagnose Informationen im AdSense-Konto an, erscheinen Probleme mit blockierten URLs, für die ich nicht verantwortlich bin. Grund für Blockierung ist wie immer die Robots.txt beim Crawl-Versuch des bot Mediapartners-Google. Das Ärgerliche dabei, es sind nicht meine Seiten sondern in der Regel irgend welche Suchmaschinen Ergebnisseiten. In den Links zu den Zielseiten tauchen deren URL auf, was offenbar den Klick verfolgenden Mediabot suggeriert, es handle sich um eine publisher Seite. So meine erste Vermutung. Definitiv frustrierend, denn ich habe in meinen AdSense Einstellungen die zugelassenen Webseiten klar definiert. Somit sollte ich mich nach meinen Verständnis, deutlich von allen fremden URLs distanziert haben. Den Zusammenhang zwischen Crawling Fehler in der Adsense Website Diagnose und deutlich sinkenden Adsense Einnahmen konnte ich über Monate immer wieder beobachten.

Fehler beim Crawl durch Laden der Webseiten im AOL Frame.

Die AOL Suche öffnet die Suchergebnis Webseiten in einen Frame.

Einige Formate der AOL Suche laden bei aktiven Javascripting Webseiten ii einem Frame. Auch beim Aufruf der AOL Referer URL aus dem logfiles, landet man direkt auf der eigenen Zielseite. Also wird der AdSense Code wird nicht direkt durch meine Domain aufgerufen, sondern indirekt durch eine AOL URL. Die Herren von AOL haben Google ausgesperrt, damit die Frameseiten nicht indiziert werden. Offenbar wird dem Mediabot per robots das Crawling ebenfalls untersagt, somit kommt es zu den benannten Fehler. Sagt mal, sind wir noch in den 90igern? Der dähmliche Frame Blödsinn der Bildersuche erzeugt auch die bekannten 404 Fehler der Marke:
doubleclick/DARTIframe.htm?
Grund: Beim Laden im Frame wird die Werbung nicht der publisher Domain zugeordnet, sofern im Code keine absoluten URL Pfade genutzt werden. Früher hatte ich in allen Webseiten folgenden Framebrecher im body tag des Quellencodes eingebaut.
onload="if (top!=self) top.location=self.location;"
Den Framebrecher habe ich entfernt. Bei der Google Bildersuche wird durch ein derartiges Script das Browserverhalten verändert. Das Frame brechen ist eine Sache, aber die dadurch ungewollt manipulierte Browser zurück Funktion hat mit User Freundlichkeit nichts mehr gemein. Nach meinen Beobachtungen, wirkt sich die Verwendung von solchen Framebrecher Scripten zudem negativ auf das Ranking der Bilder aus. Die Frame Einbindung meiner Seiten in Proxy-Seiten oder bad websites, unterbinde ich deshalb lieber händisch per htaccess.

Cache und Bildersuche, sperrt Google den eigenen bot aus?

Sperrt Google den Adsense bot für eigene Seiten?

Der Unfug mit AOL ist schon schlimm genug. Völlig unverständlich, daß die selben Probleme beim Google cache und der hauseigenen Bildersuche auftreten. Was soll der Blödsinn? Sperrt Google den eigenen Adsense Bot aus? Warum wird das zu meinen Problem? Da mich der Mißbrauch des cache durch einige liebe Webmaster Kollegen ohnehin seit langen gestört hat, habe ich meine publisher Seiten komplett auf noarchive umgestellt. Das Problem mit dem Crawling Fehlern in der Google Bildersuche ist Geschichte, seit ich die betroffen Referer Google Domains und IP Adressen in meinem AdSense-Konto unter zugelassene Webseiten hinzugefügt habe. Bin ich paranoid? Mag sein. Die zeitlich exakte Übereinstimmung von drastisch sinkenden Adsense Einnahmen und dem Datum der Crawling-Fehler, lassen für mich keine anderen Rückschlüsse zu. Das AdSense System ist äußerst sensibel, bei geringsten Unstimmigkeiten schaltet AdSense auf eine Art Safe Mode. Das bedeutet für den publisher temoprärer Einnahmenverlust, bis das System realisiert hat, daß der Fehler eigentlich kein Problem darstellt.