Per offrire la migliore esperienza possibile ai nostri utenti in comune, potrebbe essere necessario autorizzare i nostri crawler nella tua infrastruttura. Ecco l’elenco aggiornato dei nomi DNS che risolvono negli indirizzi IP dei server, sia IPv4 sia IPv6:
- spider-crawler1.do.feeder.co
- spider-crawler2.do.feeder.co
- spider-crawler3.do.feeder.co
- spider-crawler4.do.feeder.co
- spider-crawler5.do.feeder.co
- spider-crawler6.do.feeder.co
- spider-crawler7.do.feeder.co
- spider-crawler8.do.feeder.co
- spider-crawler9.do.feeder.co
- spider-crawler10.do.feeder.co
- spider-worker2.do.feeder.co
- spider-worker3.do.feeder.co
Di seguito trovi una tabella generata automaticamente con gli indirizzi IP dei server elencati sopra. È inoltre disponibile un’API JSON, accessibile senza autenticazione, per recuperarli:
https://feeder.co/1/service-urls/crawlers.json
https://feeder.co/1/service-urls/crawlers.txt
User agent
Puoi aggiungere un’eccezione per lo user agent di Feeder anche nelle regole del firewall. Lo user agent contiene la stringa “feeder.co”. Ecco un esempio:
Mozilla/5.0 (feeder.co; Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.36Lo user agent esatto potrebbe cambiare nel tempo, quindi ti consigliamo di verificare la presenza di feeder.co.