:exclamation: This is a read-only mirror of the CRAN R package repository. robotstxt — A 'robots.txt' Parser and 'Webbot'/'Spider'/'Crawler' Permissions Checker. Homepage: https://docs.ropensci.org/robotstxt/, https://github.com/ropensci/robotstxt Report bugs for this package: https://github.com/ropensci/robotstxt/issues - View it on GitHub