В русском языке, к стоп символам относятся предлоги, суффиксы, причастия, междометия, частицы итп. Этот список стоп-слов я составил для себя, но, может быть, он кому-то еще пригодится:
- | еще | него | сказать |
а | ж | нее | со |
без | же | ней | совсем |
более | жизнь | нельзя | так |
больше | за | нет | такой |
будет | зачем | ни | там |
будто | здесь | нибудь | тебя |
бы | и | никогда | тем |
был | из | ним | теперь |
была | из-за | них | то |
были | или | ничего | тогда |
было | им | но | того |
быть | иногда | ну | тоже |
в | их | о | только |
вам | к | об | том |
вас | кажется | один | тот |
вдруг | как | он | три |
ведь | какая | она | тут |
во | какой | они | ты |
вот | когда | опять | у |
впрочем | конечно | от | уж |
все | которого | перед | уже |
всегда | которые | по | хорошо |
всего | кто | под | хоть |
всех | куда | после | чего |
всю | ли | потом | человек |
вы | лучше | потому | чем |
г | между | почти | через |
где | меня | при | что |
говорил | мне | про | чтоб |
да | много | раз | чтобы |
даже | может | разве | чуть |
два | можно | с | эти |
для | мой | сам | этого |
до | моя | свое | этой |
другой | мы | свою | этом |
его | на | себе | этот |
ее | над | себя | эту |
ей | надо | сегодня | я |
ему | наконец | сейчас | |
если | нас | сказал | |
есть | не | сказала |
Помимо указанных слов имеет смысл еще фильтровать цифры, отдельные буквы и знаки препинания.
P.S. Cуществуют еще, так называемые, зависимые стоп-символы. Это, например, слово Владимир в фразе Владимир Путин. Такие слова нельзя выделить в отдельный список, однако их приходится учитывать при создании алгоритмов анализа текстов. Многие из них являются частью именованных элементов и представляют особый интерес. К ним мы еще обязательно вернемся.
Спасибо пригодится
ReplyDeleteпо моему не хватает "б", учитывая что "г" и "ж" присутствуют
ReplyDeleteС программированием понятно, а с лингвистикой и структурой высказывания? Как-то уж очень упрощенно получается. Сдается мне, что упрощенно-формальный подход к тексту уничтожает смысловую составляющую. Впрочем, занимательно.
ReplyDeleteРост.
Интересная подборка стоп слов, но я пожалуй не соглашусь со всеми: глаголы сказать и др. - на мой взгляд стоп слова - это предлоги, местоимения, вопросительные слова
ReplyDeleteВообще говоря, список слов зависит от конкретного приложения. В приложении для юристов, стоп словами могут быть такие слова как: закон или статья. В данном списке приведены слова общей лексики которые часто используются в блогах и новостных статьях.
DeleteА чем плохи высокоидфные?
ReplyDeleteПодборка пожалуй пригодится для анализа.
ReplyDeleteЯ бы добавил еще слово
ReplyDelete'значит'. Это слово сплошь и рядом употребляется как слово-зараза.
Я бы добавил еще слово
ReplyDelete'значит'. Это слово сплошь и рядом употребляется как слово-зараза.
Как блять слово ЕЩЕ может быть стоп-словом?
ReplyDeleteФантазеры идиотские!!!!
или между...
ReplyDeleteА что за алгоритм обработки текста, зачем он? И зачем удалять слова, если без них текст становится нелепым?
ReplyDeleteGreat Article
ReplyDeleteData Mining Projects IEEE for CSE
Project Centers in Chennai
JavaScript Training in Chennai
JavaScript Training in Chennai
Mua vé máy bay tại Aivivu, tham khảo
ReplyDeletevé máy bay đi Mỹ Vietnam Airline
ve may bay từ mỹ về việt nam hãng eva
ve may bay di Los Angeles
ve may bay tu canada ve viet nam