Определите тип содержания текста на основе структурных моделей или контекста.
– Токенизация:
Эта задача включает в себя семантическую деконструкцию слов, называемых токенами. Токены делятся пробелами на термины. Например, « Служба грузчиков в США получает много ужасных жалоб клиентов». Ее можно упростить с помощью токенизации слов: «Служба грузчиков» «в» «США» «получает» «много» «ужасных» «жалоб» «клиентов».
Определите слова с список телефонных номеров сингапура известнымизначениями и присвойте им типы сущностей (имя, местоположение, организации, люди, продукты и т. д.). Пример: «Пиво Leffe широко продается в Великобритании», название бренда пива (Leffe Beer) связано с местом (Великобритания) семантической категорией «широко продается в».
– Разметка частей речи (PoS):
Он включает в себя маркировку определенной речевой группы как токена текста. Речевые группы могут включать существительные, местоимения, прилагательные, предлоги и многое другое. PoS — это система тегов, которая позволяет компьютеру распознавать связи слов.
– Лемматизация:
Нормализуйте вариации слов до их базовой формы (например, «cars» на «car»). Лемматизация меняет текст с «The mousetrap caught four mouse yesterday» на «The mousetrap catch 4 mouse yesterday». Вы можете увидеть изменение в словах «caught», «four» и «mice».
