Содержимое раздела
Рассмотрены основные методы автоматической обработки текстов, используемые в задачах классификации. Это том числе: токенизация, стемминг, лемматизация, POS-теггинг, выделение именованных сущностей и другие методы предобработки текста. Будут описаны различные модели представления текста, такие как bag-of-words, TF-IDF и Word Embeddings. Описаны алгоритмы машинного обучения, применяемые для классификации текстов, включая наивный байесовский классификатор, метод опорных векторов (SVM) и нейронные сети. Будет произведена оценка преимуществ и недостатков каждого метода.