Funktionsweise

Wir verwenden verschiedene Methoden, um neue Domains zu entdecken:

• Wir verwenden Crawler, um Webseiten zu scannen und die Links, die wir finden, zu analysieren.
• Wir überwachen öffentliche Zonen-Dateien auf Änderungen. Zone-Dateien sind Listen von Domains, die von DNS-Servern verwendet werden, um Hostnamen in IP-Adressen aufzulösen.
• Wir verwenden Machine-Learning-Algorithmen, um neue Domainnamen auf der Grundlage von Mustern und Trends vorherzusagen. Danach überprüfen wir, ob diese Domains registriert wurden oder nicht.

Für jede Domain, die wir finden, sammeln wir DNS-Einträge und andere Metadaten wie das Erstellungsdatum. Darüber hinaus analysieren wir auch den Inhalt der Website und extrahieren relevante Informationen wie den Website-Titel, die Beschreibung, Keywords und die Themen der Website.

Selbstverständlich respektieren wir die robots.txt-Datei, und crawlen keine Seiten, die darin ausgeschlossen sind.