Pour offrir la meilleure expérience possible à nos utilisateurs communs, il peut parfois être nécessaire d’autoriser nos robots d’exploration sur votre infrastructure. Pour cela, nous fournissons la liste à jour des noms DNS qui renvoient vers les adresses IP des serveurs (IPv4 et IPv6) :
- spider-crawler1.do.feeder.co
- spider-crawler2.do.feeder.co
- spider-crawler3.do.feeder.co
- spider-crawler4.do.feeder.co
- spider-crawler5.do.feeder.co
- spider-crawler6.do.feeder.co
- spider-crawler7.do.feeder.co
- spider-crawler8.do.feeder.co
- spider-crawler9.do.feeder.co
- spider-crawler10.do.feeder.co
- spider-worker2.do.feeder.co
- spider-worker3.do.feeder.co
Le tableau ci-dessous est généré automatiquement et répertorie les adresses IP des serveurs ci-dessus. Nous proposons également une API JSON sans authentification pour récupérer ces adresses IP :
https://feeder.co/1/service-urls/crawlers.json
https://feeder.co/1/service-urls/crawlers.txt
Agent utilisateur
Vous pouvez également ajouter une exception pour l’agent utilisateur de Feeder dans les règles de votre pare-feu. Notre agent utilisateur contient la chaîne « feeder.co ». Exemple :
Mozilla/5.0 (feeder.co; Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.36L’agent utilisateur exact peut changer au fil du temps. Nous vous recommandons donc de rechercher la chaîne feeder.co.