Questão 53 – Tecnologia da Informação – FGV 2023 – Controladoria-Geral do Estado de Santa Catarina (Auditor do Estado)

Os algoritmos de extração de características Bag of Words (BoW) e TF-IDF são diferentes entre si, porque o primeiro conta a quantidade de vezes que uma palavra aparece num texto e o segundo normaliza essa informação utilizando a quantidade de vezes que a palavra aparece no corpus de texto.

O algoritmo de word embeddings Word2Vec depende do princípio da distribuição, em que as palavras que geralmente têm as mesmas palavras vizinhas tendem a ser semanticamente semelhantes e as colocam num vetor de tamanhos fixos que representam semanticamente as palavras vizinhas.

O algoritmo de word embeddings Glove combina estatísticas locais com estatísticas globais fazendo a análise de uma matriz de co-ocorrência palavra-palavra, de forma que se conta a frequência que essa palavra aparece relacionada com algum “contexto” em um grande corpus.

O algoritmo de word embeddings Word2Vec possui duas arquiteturas de construção. A primeira é a CBOW, em que se treina uma rede neural com a tarefa de prever uma palavra dado o contexto e a outra é a Skip-Gram, em que a tarefa da rede neural será dada uma palavra, prever o contexto.

Na matriz de co-ocorrência do algoritmo de word embeddings Glove, ao correlacionar uma palavra p1 com um contexto c1, se a palavra p1 possui correlação alta com c1, o valor será mais alto do que o contrário; essa correlação poderá ser utilizada para calcular correlações entre quaisquer palavras do corpus de texto e esse contexto.