Comando
No que se refere à classificação da mineração de dados, à mineração de texto, à modelagem preditiva e à visualização e análise exploratória de dados, julgue os itens subsecutivos.
Em um processo de mineração de texto, a tokenização é o processo de dividir textos longos em palavras individuais, removendo-se espaços e pontuação, para fins de identificação da frequência de termos ou da estrutura de uma frase em um grande volume de documentos.