Vai al contenuto
Crawler web

Ci hai visti nei tuoi log

Questa pagina spiega cos'è il nostro crawler, perché ha visitato il tuo sito e come bloccarlo con una riga.

Come identificarci

Le nostre richieste portano questo header User-Agent. Tutto ciò che lo dichiara senza provenire dai nostri server non siamo noi.

MATIJO-SupplyEngine/1.0 (+https://matijo.com/robots)

Perché abbiamo visitato il tuo sito

Stiamo costruendo un elenco dei mestieri dell'edilizia e dei servizi per la casa in Lussemburgo. Se la tua impresa ne esercita uno, potrebbe essere stata rilevata da fonti pubbliche, e abbiamo letto la tua pagina dei contatti per verificare i dati che già pubblichi.

Cosa leggiamo

Solo ciò che il tuo sito pubblica pubblicamente sull'impresa: un indirizzo e-mail generico, un numero di telefono, un indirizzo postale. Non inviamo moduli, non tentiamo alcuna autenticazione e non leggiamo alcuna pagina vietata dal tuo robots.txt.

Come bloccarci

Aggiungi queste due righe al tuo robots.txt. Le rispettiamo: fa fede il gruppo che nomina il nostro token, e un test automatico ce lo impone.

User-agent: MATIJO-SupplyEngine
Disallow: /

Scrivici

Per qualsiasi richiesta — cancellazione, correzione o semplicemente una domanda — scrivici e risponderemo.

contact@matijo.com