CompanybookBot
Slik fungerer crawleren som identifiserer teknologi og bygger en kildebasert forståelse av norske virksomheters offentlige nettsider.
User-Agent: CompanybookBot/1.0 (+https://companybook.co/bot)
Identifikasjon
CompanybookBot/1.0 (+https://companybook.co/bot)Denne strengen følger alle forespørsler, slik at trafikken kan gjenkjennes i logger og regler.
Hva samler vi inn?
CompanybookBot besøker forsiden av nettsteder for å identifisere offentlig tilgjengelig teknologi og virksomhetsinformasjon.
- —E-handelsplattform, betaling og frakt
- —Analyse-, markedsførings- og bookingsystemer
- —Lenker til sosiale medier
- —Sidetittel og metabeskrivelse
- —Bransje, konsepter, fasiliteter og tjenester
- —Åpningstider og offentlig oppgitte nøkkelpersoner
Hva samler vi ikke inn?
Crawlen er avgrenset til offentlig tilgjengelig informasjon som er nødvendig for å forstå virksomheten.
- —Ingen private personopplysninger eller innlogget innhold
- —Ingen systematisk innsamling av produkter eller priser
- —Ingen skjemaopplysninger eller kundedata
- —Ingen omgåelse av robots.txt eller tilgangskontroll
Crawl-oppførsel
Vi reduserer belastningen og gjør trafikken lett å kjenne igjen.
- —Normalt én side per nettsted
- —Maksimalt én forespørsel per nettsted per uke
- —Robots.txt respekteres
- —30 sekunders timeout
- —HTTP 301/302 følges
Slik blokkerer du boten
Legg regelen under i nettstedets robots.txt. Vi respekterer instruksen ved neste besøk.
User-agent: CompanybookBot
Disallow: /Spørsmål eller feil?
Kontakt oss på hi@companybook.co. Legg gjerne ved domene og tidspunkt hvis henvendelsen gjelder en konkret crawl.