# Поисковая система и агрегатор новостей образовательных учреждений  

Мы студенты СПО, после окончания обучения планируем продолжать его в высших учебных заведениях. Поэтому для удачного поступления нам необходимы сертификаты и дипломы об индивидуальных достижениях. Многие вузы, фонды, организации проводят такие конкурсы. Но уследить за всеми - нереально. Поэтому наша поисковая система ищет новые страницы с упоминаниями о конкурсах на сайтах вузов и уведомляет в мессенджер о появлении новых. Узкоспециальный агрегатор новостей. Также ее можно использовать и как поисковую систему по сайтам учебных заведений.


## Структура проекта
crauler.py - бот, "паук", краулер парсит ссылки на внутренние страницы сайтов. (ограничимся 2 уровнем)

parser.py - парсим текст с найденных ссылок   





## Инсталляция

pip install sqlalchemy  
pip install bs4  
pip install lxml   
pip install tldextract   
pip install nltk  
pip install pymystem3