Backlink-Tool & tägliches Monitoring

17.10.2011

Mit diesem Beitrag möchten wir Sie auf den aktuellen Stand unserer Backlink Crawler und des täglichen Monitorings informieren.

Backlink-Tool
Nach nun fast 10 Monaten Entwicklungszeit gehen wir heute mit unserem neuen Backlink Tool online. In der Vergangenheit haben wir fast ausschließlich auf die Yahoo Backlink Daten zurückgegriffen. Nachdem bekannt wurde, dass Yahoo beim Site Explorer die Daten nicht mehr aktualisiert und zum Ende diesen Jahres vollständig abschaltet, haben wir eigene Backlinkcrawler programmiert und präsentieren Ihnen heute diesen neuen Bereich.

Die Backlink-Daten werden nicht wöchentlich oder monatlich bereitgestellt und aktualisiert wie es bei den Mitbewerbern der Fall ist. Bei Xovi werden die Backlinkdaten eingegebener Domains automatisch und kontinuierlich aktualisiert – es ist quasi ein fortlaufender Prozess. Somit ist garantiert, dass ständig neue Backlinks zu sämtlichen Kundendomains gesucht und angezeigt werden und gleichzeitig die Breite und Tiefe dementsprechend jetzt schon extrem spannend ist.
Diverse Vorberechnungen wie der DomainPOP, IpPOP, HostPOP usw. laufen wie gewohnt wöchentlich.

Das Sammeln von Backlink-Daten ist schwieriger als es auf den ersten Blick erscheint. Die Daten müssen nicht nur 100% valide sein, sondern auch weitere Informationen zu den Backlinks zur Verfügung stellen (aus welchen Ländern verlinkt wird usw.) damit effektives Arbeiten mit den Backlink Daten überhaupt möglich ist. Bei diesen riesigen Datenmengen ist dies alles andere als einfach.

Der Index umfasst inzwischen einige Milliarden Daten und wird in den kommenden Wochen sehr stark anwachsen, da wir den alten Backlink Bereich in den kommenden Tagen abschalten werden und dann noch mehr Ressourcen zur Verfügung haben. Das bedeutet für Sie, dass wir in den nächsten Wochen und Monaten extrem viele neue Backlinks zu den aktuellen und künftig in Xovi abgefragten Domains anzeigen werden.

Unsere Crawling-Technologie:
Wir wenden diverse Techniken an um die in Xovi angelegten Domains bevorzugt zu behandeln damit unsere Kunden effizient arbeiten können – Qualität statt Quantität. Deshalb kann es sein, dass wir zu sehr großen Domains (spiegel.de, welt.de usw.) aktuell noch „relativ wenig“ Daten liefern, aber für Kundendomains im Vergleich zu anderen Backlink Tools mehr Daten vorweisen können. Auf Kundenwunsch können wir natürlich aber auch Domains wie spiegel.de eine höhere Priorität geben und gezielt nach spiegel.de-Links suchen, eine E-Mail dazu reicht aus. Derzeit werden die Backlink Daten aus folgenden Quellen bezogen:
– Ca. 10 externe Quellen (z.B. Google-Backlinks, Alexa, …)
– Ca. 50.000 Domains wie News-Seiten, soziale Netzwerk-Seiten, Social Bookmark Portale, Webkataloge usw. werden fast täglich überprüft. Alle anderen werden nach einer anderen Priorität sortiert, so werden beispielsweise Domains auf denen z.B. ein RSS-Feed angeboten wird, häufiger gecrawled als Domains ohne RSS-Feed. Neben dem RSS-Feed fließen noch weitere Kritieren ein wie z.B. Hinweise ob auf der Domain ein Forum installiert ist, ob Facebook- oder Twitter-Plugins vorhanden sind, usw. Die Priorisierung der Domains ist ein laufender, selbst lernender Prozess und verbessert sich mit der Zeit. Die Anzahl der Backlinks werden deshalb von Tag zu Tage von jeder bei Xovi eingegebenen Domain immer mehr und mehr.
Außerdem werden alle rankenden URLs aus dem wöchentlichen Google-Crawling zukünftig ebenfalls von unserem Backlink Crawler erfasst.

Xovi vs. OpenLinkGraph (Sistrix), DomainPOP-Vergleich

Xovi OpenLinkGraph
xovi.de 681 305
sistrix.de 1.393 1.161
spiegel.de 38.484 98.598
welt.de 22.120 52.995
abakus-internet-marketing.de 2.105 2.036
seo-united.de 1.864 1.630
eisy.eu 962 738
deutsche-startups.de 2.733 1.998
zalando.de 2.903 2.221
mirapodo.de 1.198 657
karriere.at 1.429 1.069
dailydeal.de 1.546 1.051
e-commerce-blog.de 701 403
foerderland.de 1.780 1.755
fitness.de 718 503
fahrrad.de 1.460 1.148
gruenderszene.de 2.070 1.487
selbstaendig-im-netz.de 2.086 1.570
immonet.de 4.167 6.656
seo-marketing-blog.de 967 671
qype.com 6.981 10.311

Stand: 17.10.2011

Wir möchten Sie noch auf eine neue Kennzahl im Backlink Tool vorstellen: Die ASN Popularität.
Die Abkürzung ASN steht für Autonome System Nummer bzw. Autonomous System Number. IP Adressen werden in der Regel in Paketen an Webhoster etc. vergeben, davon hat jedes Paket hat eine eindeutige ASN Nummer. Dies bedeutet für den Linkaufbau: Je größer die ASN Popularität umso besser ist die Verteilung der Backlinks auf unterschiedliche Webhoster. Liegt der Domain- oder IP-POP z.B. bei 100 und der ASN POP bei 5 ist mit sehr großer Wahrscheinlichkeit davon auszugehen das die Domain einem Linknetzwerk angeschlossen ist und die Linkstruktur somit unnatürlich zu sein scheint.

Tägliches Monitoring
Das tägliche Monitoring sollte nun ab heute sauber durchlaufen und alle Ergebnisse korrekt speichern. Durch das viele Einspielen von tausenden Keywords kamen in der Betaphase die ursprünglich eingesetzten Crawler nicht hinterher. Wir haben die Performance nun auf das 4fache aufgestockt. Bis heute Abend sollten alle Keywords durchgecrawlt sein.

Sehr wichtiger Hinweiß:
Aktuell steht das in der Beta-Phase stehende tägliche Monitoring noch kostenfrei für unbegrenzt viele Keywords zur Verfügung. Wir werden deshalb in den kommenden Tagen folgende Einschränkungen vornehmen:
– Test Kunden können maximal 10 Keywords pro Tag im täglichen Monitoring-Tool überwachen.
– Kunden steht ein Freivolumen von 250 Keywords pro Tag im täglichen Monitoring-Tool zur Verfügung. Alles was darüber hinausgeht wird gegen einen geringen Aufpreis berechnet (z.B. 500 nur 20 Euro / Monat). Details dazu finden Sie hier

Linkmanager
Anfang der kommenden Woche werden wir mit dem neuen Backlink Tool ein neues Tool, den Linkmanager online stellen. Über den Linkmanager lassen sich Ihre persönlichen Links perfekt auswerten, skalieren und überwachen. Egal ob getauscht, gemietet, gekauft etc.- mit dem neuen Linkmanager sehen Sie ob Ihr
– Linkpartner die Links gelöscht hat
– ob diese verändert wurden (bsp. auf nofollow gesetzt, nicht mehr html-valide sind etc.)
– dessen Seite abgestraft wurde und somit die Linkpower zu Ihnen entwertet oder sogar schädigt
– welches Budget Sie wann eingesetzt haben
– wie sich die Rankings seit dem Zeitpunkt der Linkgenerierung verändert haben
– das Budget pro Keyword / URL / Domain und vieles mehr.

Hierzu gibt es nächste Woche einen Sondernewsletter.

Herzlichst,
Ihr Xovi Team

Diesen Beitrag teilen

  • Chris

    Was ist der Unterschied zwischen „ASN“ und Class-C Popularität? Oder ist das das gleiche?

  • Jan

    Bei mir stürzt Euer Tool bei der Linkabfrage zu größeren Websites leider immer ab.

  • xovi

    Ein Webhoster kann mehrere IP Adressen aus unterschiedlichen Netzen besitzen. Die ASN Popularität ist deshalb bei natürlicher Verteilung geringer und kann auch als „Webhoster-POP“ bezeichnet werden bzw. ist annähernd ein Wert der unterschiedlichen Webhoster.

  • xovi

    @Jan: Bitte Beispiel-Domain nennen und welcher Browser wird verwendet?

  • Manuel

    Bei kleinen und mittelgrossen domains seid ihr extrem stark im gegensatz zu sistrix bzw dem openlinkgraph. Warum nicht bei den großen Domains wie eBay etc?

  • Hallo Manuel,
    der neue Backlinkcrawler wurde innerhalb von 10 Monaten entwickelt, aktiv gecrawled allerdings erst seit kurzem. Da man in der Regel eher die Backlinks von kleinen und mittelgroßen Domains benötigt haben wir unsere Crawler mit Absicht so „eingestellt“. Die Ressourcen die bisher für den alten Crawler zur Verfügung standen werden nun auf den neuen Crawler umgerüstet so das wir auch in wenigen Wochen bei den großen Domains schnell aufschließen werden.

  • Hallo,
    funktioniert der Backlink Domain Vergleich vielleicht seit der Änderung nicht mehr?
    Selbst der Vergleich relativ kleiner Domains (zB. christ.de vs. uhrzeit.de) ist bei mir (Chrome auf PC und Mac) nicht mehr möglich.

  • p.s. das Tool rechnet sich einen Wolf, und wenn ich dann etwas anderen im Tool anklicke, fliege ich raus und muss mich neu anmelden…

  • Teste gerade als Tester fleißig das Backlink-Tool. Muss schon sagen, nicht schlecht für den Anfang. Ich denke Ihr habt einen neuen Abonnenten dazugewonnen… 😉

  • Ja, beim Vergleich fliege ich auch raus.

  • Jan

    Das scheint wohl nicht nur mir zu passieren, dass sich Euer Tool aufhängt. Was mich aber noch interessieren würde ist wie Ihr den Crawler so einstellt, dass er mit Absicht Links von kleinen und mittelgroßen Domains findet. Man kann doch nicht vorher wissen auf was für Links man auf einer Website stoßen wird. Ist das wirklich ein eigener Crawler, der durch das Web geht oder aggregiert Ihr einfach nur die Links von anderen Tools und crawlt sie dann noch einmal selbst ab?

  • Um den Backlink Domain Vergleich kümmert sich sofort der Kollege drum.
    Wir haben für sehr große Domains gewisse Abfragen noch nicht durchlaufen lassen, z.B.:
    – Ist die Domain xovi.de crawlen wir alle Top 250 Ergebnisse bei google.de zu „xovi“ & „xovi.de“
    – Es werden zusätzlich zum Namen und der Domain Abfragen bei Twitter, Facebook & Co gemacht
    – und viele andere Abfragen in der Form, die wir erstmal bei den Zeitungen & Magazinen übersprungen haben. Deshalb haben wir bei den großen Domains aktuell noch etwas weniger.

    Ja, wir haben eigene Crawler. Der arbeitet ganz normal und durchsucht das komplette Netz. Dieser Crawler ist aber erst seit kurzem aktiv da er sehr komplex aufgebaut ist (jede gefundene Domain wird genau analysiert welches System dahintersteckt, Keyworddichte wird analysiert usw). Die zusätzlich gesammelten Daten werden bald ebenfalls in Xovi zur Verfügung gestellt (z.B. ist dann eine Suche nach Backlinks möglich die z.B. ein WordPress-System verwenden und in der Keyworddichte „seo“ drin stehen haben). So ne Art erweiterter Hub-Finder.

  • Backlink Report erstellen bricht bei mir leider mit einer Fehlermeldung ab.

  • @Andreas: Vielen Dank für die Info. Schauen wir uns heute an!

  • Super, dass die Backlinks jetzt öfter aktualisiert werden. Allerdings werden die Backlinks nicht mehr in den Reports angezeigt, könnt ihr das mal bitte checken?

  • Hallo Britta,

    die Reports werden so schnell wie möglich gefixt.

    Gruß
    Martin B

  • Interessieren uns auch sehr für dieses Tool. Benutzen zur Zeit Sistirx und wollen wechseln natürlich mit Wechselprämie eines Ipad2! Bitte um Kontaktaufnahme

  • Jan

    Das Programm ist tool, nur funktioniert es einfach nicht von meinem Laptop.