:exclamation: This is a read-only mirror of the CRAN R package repository. tokenizers — Fast, Consistent Tokenization of Natural Language Text. Homepage: https://docs.ropensci.org/tokenizers/, https://github.com/ropensci/tokenizers Report bugs for this package: https://github.com/ropensci/tokenizers/issues - View it on GitHub