:exclamation: This is a read-only mirror of the CRAN R package repository. spiderbar — Parse and Test Robots Exclusion Protocol Files and Rules. Homepage: https://github.com/hrbrmstr/spiderbar Report bugs for this package: https://github.com/hrbrmstr/spiderbar/issues - View it on GitHub