Aby zapewnić naszym wspólnym klientom jak najlepsze działanie usługi, czasami trzeba dodać nasze crawlery do listy dozwolonych w swojej infrastrukturze. W tym celu udostępniamy aktualną listę nazw DNS, które wskazują adresy IP serwerów (IPv4 i IPv6):
- spider-crawler1.do.feeder.co
- spider-crawler2.do.feeder.co
- spider-crawler3.do.feeder.co
- spider-crawler4.do.feeder.co
- spider-crawler5.do.feeder.co
- spider-crawler6.do.feeder.co
- spider-crawler7.do.feeder.co
- spider-crawler8.do.feeder.co
- spider-crawler9.do.feeder.co
- spider-crawler10.do.feeder.co
- spider-worker2.do.feeder.co
- spider-worker3.do.feeder.co
Poniżej znajduje się automatycznie generowana tabela adresów IP powyższych serwerów. Udostępniamy też nieuwierzytelnione API JSON do pobierania tych adresów IP:
https://feeder.co/1/service-urls/crawlers.json
https://feeder.co/1/service-urls/crawlers.txt
User-Agent
Identyfikator User-Agent Feeder możesz również dodać jako wyjątek w regułach zapory sieciowej. Nasz identyfikator User-Agent zawiera ciąg „feeder.co”. Przykład:
Mozilla/5.0 (feeder.co; Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.36Dokładny identyfikator User-Agent może się z czasem zmieniać, dlatego zalecamy wyszukiwanie ciągu feeder.co.