Para desenvolver uma aplicação de Processamento de Linguagem Natural (PLN), é necessário realizar tarefas de pré-processamento no corpus de entrada, como a separação do texto em palavras. Observe a execução do seguinte fragmento de uma tarefa de PLN:
Entrada: “Bia é uma forte candidata do concurso da CVM.”
Saída: quantidade de unidades linguísticas = 14 A tarefa de PLN que faz a separação do texto em unidades linguísticas mínimas é a: