Страницы

Поиск по вопросам

воскресенье, 29 марта 2020 г.

Однозначная лемматизация слов русского текста [закрыт]

#python #морфология


        
             
                
                    
                        
                            Закрыт. Данный вопрос необходимо конкретизировать. Ответы
на него в данный момент не принимаются.
                            
                        
                    
                
                            
                                
                
                        
                            
                        
                    
                        
                            Хотите улучшить этот вопрос? Переформулируйте вопрос,
чтобы он был сосредоточен только на одной проблеме, отредактировав его.
                        
                        Закрыт 1 месяц назад.
                                                                                
           
                
        
Текст состоит из правильных в меру предложений русского языка.
Можно использовать pymorphy2 — будут выданы варианты, как в классическом примере
СТАЛИ — Veb, Noun. Как опираясь на информацию соседствующих в предложении слов правильно
выбрать единственный правильный вариант. Буду благодарен за идеи, алгоритмы, примеры
на python, готовые модули в которых это работает.
    


Ответы

Ответ 1



Выбор однозначных гипотез во многих случаях - задача нетривиальная: Он видел их семью своими глазами (У меня есть такая оранжевая майка с этим симпатичным семиглазиком) ;) Вы можете использовать размеченные корпусы русского языка, чтобы составить свой алгоритм. В простейшем случае вы можете просто использовать готовые частотности на опорных текстах и полагаться на то, что и у вас будет примерно такое же совпадение. Как человек, вручную снявший неоднозначность в сотнях тысяч разнородных примеров для открытого корпуса могу только пожелать удачи в вашей затее.

Ответ 2



На python, использую pymorphy2 и машинное обучение: https://github.com/chomechome/maru https://github.com/IlyaGusev/rnnmorph Инструменты для NLP с исходниками на github http://www.solarix.ru/

Комментариев нет:

Отправить комментарий