Automatically scrape the URLs in the Web Scraper every 24 hours
planned
Charl Haas
planned
R
Robin Dirksen
Aanvulling:
Bij google merchant center is het mogelijk om een producten feed elke 24 uur, op een bepaald tijdstip, te laten crawlen. Bijvoorbeeld 05:00 uur elke dag. Bij de watermelon webscraper zou dit ook wenselijk zijn, zodat je zelf als website beheerder kan bepalen op welk moment watermelon de website opnieuw gaat crawlen.
Mocht dit niet mogelijk zijn om in te stellen, of eventueel als extra functie, de webscraper via de API te kunnen aanroepen om een recrawl uit te voeren. Hierdoor kan het systeem in geval van een wijziging automatisch watermelon instrueren om de recrawl te starten.