Skip to content

maxwpeg/drom_analysis

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

2 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Порядок действий и описание проекта

1. urls_parsing.py(выполняется несколько часов!)

Проходит по всем страницам и собирает ссылки на объявления, сохраняет в urls.csv в директорию urls.

2. links_parsing.py(выполняется почти сутки!)

Проходит по ссылкам и собирает информацию про объявления, сохраняет их в файлы в директорию data.

3. data_proceeding.ipynb

Собираем получившиеся файлы в один, получаем файл master_table.csv.

4. data_formatting.ipynb

Преобразовываем и упорядочиваем пременные в data.csv.

5. new_variables.ipynb

Добавляем новые переменные и кладем все в extended_data.csv.
Далее работаем только с ним,  в ноутбуках все расписано.

Результаты и описание проекта представлены в presentation.pdf

About

Parsing and building predicting models using information from drom.ru

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published