Sprechen SEOs und Webmaster von Scraping, ist damit das Screen Scraping oder Web Scraping gemeint. Beim Scraping werden Inhalte einer Website extrahiert und auf einer anderen Website integriert, häufig in anderem Design oder für andere Zwecke. Dabei gibt es positive Anwendungsmöglichkeiten des Scrapings, wie auch negative, die im folgenden genauer erläutert werden.
Scraping in der Praxis
Für das Scraping steht eine Vielzahl von unterschiedlichen, technischen Möglichkeiten zur Verfügung. Scraping geschieht automatisch oder manuell durch dafür vorgesehene Tools. Außerdem ist Scraping durch http-Manipulation und Data Mining möglich. Auch das manuelle Kopieren von Inhalten wird als Scraping bezeichnet.
Warum Scraping?
Es gibt eine Vielzahl von Gründen für Scraping. So gibt es zum Beispiel eine Vielzahl von Analyse-Tools, die Daten von einer Website ziehen und diese dann für bestimmte Zwecke aufbereiten. So prüft ein Tool zum Beispiel die Platzierung einer Website für ein bestimmtes Keyword bei Google und greift somit auf die SERPs zu. Auch RSS-Feeds lassen sich in andere Webseiten und Tools einbinden und stellen eine Form des Scrapings dar. Typische Service-Funktionen, die z. B. Angaben zur Wetterlage machen oder Fahrpläne für öffentliche Verkehrsmittel anzeigen, greifen auf Scraping zurück.
Scraping und Spam
In den oben beschriebenen Anwendungsmöglichkeiten ist Scraping positiv zu werten. Allerdings gibt es auch Beispiele, bei denen Scraping mit Spamming gleichzusetzen ist, weil es zum Beispiel unerlaubte SEO-Methoden beinhaltet. Führt ein Onlineshop zum Beispiel ein neues Produkt ein und kopiert den Beschreibungstext von einem anderen Onlineshop, handelt es sich um unerlaubtes Scraping. Außerdem liegt in einem solchen Fall Duplicate Content vor, was der Platzierung den SERPs vielmehr schadet als nützt.
Da Duplicate Content auch zur Abwertung der Seite mit dem originalen Inhalt führen kann, sollten Webmaster im Auge behalten, ob Scraping im Bezug auf die eigene Seite stattfindet. Um Scraping zu erschweren stehen Webmastern mehrere Möglichkeiten zu Verfügung. So können sie entsprechende Roboter über die robot.txt-Datei blockieren, Sicherheitsabfragen einbauen und die Firewall des Servers optimieren.
Google und Scraping
Google selbst setzt auch Scraping ein. So werden bei bestimmten Begriffen z. B. Wikipedia-Inhalte auf der Seite der Suchergebnisse angezeigt und auch die kleinen Snippets, die jedes Suchergebnis enthält, basieren im Prinzip auf Scraping.