DomainMetaDataBot
Sie sind wahrscheinlich hier, weil Sie DomainMetaDataBot in den Logs Ihres Webservers
gesehen haben und wissen möchten, worum es sich handelt. Diese Seite erklärt, wer wir sind, was wir
abrufen und wie Sie uns einschränken oder blockieren können.
Was ist DomainMetaDataBot?
DomainMetaDataBot ist der Web-Crawler von DomainMetaData. Wir rufen öffentliche Webseiten auf, um Metadaten über Internet-Domains zu sammeln — eingesetzte Technologien, Sprache, Themen und einige weitere Signale. Das Ergebnis fließt in unsere öffentliche Domain-Datenbank ein. Weitere Informationen finden Sie unter Funktionsweise.
Wie Sie prüfen können, ob es wirklich wir sind
Unser Crawler identifiziert sich mit folgendem HTTP-User-Agent-Header:
DomainMetaData/1.0 (+https://domainmetadata.com/bot)Die Anfragen stammen von unseren eigenen Servern. Da sich ein User-Agent leicht fälschen lässt, prüfen Sie bitte zusätzlich die Quell-IP-Adresse anhand der folgenden Liste, bevor Sie uns Traffic zuschreiben:
57.131.13.3357.128.223.715.235.187.136148.113.44.188
Sämtlicher Crawler-Traffic stammt von einer dieser Adressen. Alles andere, das unseren User-Agent verwendet, sind nicht wir.
So blockieren oder begrenzen Sie uns
Wir respektieren robots.txt. Um DomainMetaDataBot vom Crawlen Ihrer Seite auszuschließen,
fügen Sie Folgendes in die robots.txt im Wurzelverzeichnis Ihrer Domain ein:
User-agent: DomainMetaDataBot
Disallow: /
Wir lesen robots.txt bei jedem Crawl erneut ein und übernehmen Änderungen beim
nächsten Besuch. Sie können auch einzelne Pfade freigeben oder ein Crawl-delay
setzen — beides wird berücksichtigt.
Hinweis: Ein Eintrag in robots.txt verhindert nur zukünftige Crawls. Bereits
erfasste Metadaten bleiben bis zum nächsten Crawl in unserer Datenbank. Wenn Sie Ihre Domain
sofort entfernen möchten, kontaktieren Sie uns bitte über die unten stehenden Kanäle.
Was wir abrufen — und was nicht
- Wir rufen den öffentlichen HTML-Inhalt Ihrer Startseite und eine kleine Zahl verlinkter Seiten ab.
- Wir führen kein JavaScript aus, senden keine Formulare ab und folgen keinen Links hinter Login-Bereichen.
- Wir senden keine
POST-Anfragen und versuchen keinerlei schreibende Operationen. - Wir besuchen jede Domain selten — meist wenige Anfragen pro Besuch, wenige Besuche pro Jahr.
- Wir speichern keine Kopien Ihrer Inhalte. Wir extrahieren ausschließlich strukturierte Metadaten.
Rechtsgrundlage und Datenschutz
Wir verarbeiten ausschließlich öffentlich zugängliche Informationen. Die Rechtsgrundlage nach DSGVO ist unser berechtigtes Interesse (Art. 6 Abs. 1 lit. f DSGVO) am Betrieb einer öffentlichen Domain-Datenbank. Personenbezogene Daten werden aus den gecrawlten Seiten nicht erhoben. Weitere Informationen finden Sie in unserer Datenschutzerklärung.
Fragen, Beschwerden oder Löschanfragen
Schreiben Sie uns über unser Kontaktformular oder per E-Mail an abuse@domainmetadata.com. Wir antworten innerhalb eines Werktags und setzen Löschanfragen unverzüglich um.