Сбор данных с сайтов с использованием различных библиотек и фреймворков. Этот курс предназначен для тех, кто хочет научиться автоматизированному сбору информации с различных сайтов, то есть парсингу. Для прохождения курса требуются базовые знания питона. На лекциях будут рассмотрены основные подходы к сбору данных с использованием таких библиотек, как requests, beautifulsoup4 и splash, а также фреймворков Scrapy и Selenium.
В этом курсе рассматриваются основные базовые подходы к сбору данных, а также затрагивается вопрос этичного парсинга. По итогам курса студенты будут иметь базовое представление о том, как парсить различные сайты, используя Python.
Этот курс будет не очень интересен тем, кто уже имеет базовое представление о том, что такое парсинг и как создавать скрипты для автоматизированного сбора данных.
После прохождения курса студенты будут знать: - Как найти и установить необходимые библиотеки для парсинга данных. - Что такое этичный парсинг, как не нарушить права и закон при парсинге данных. - Для чего нужен файл robots.txt. - Каким образом получать HTML сайта для извлечения необходимой информации. - Как пользоваться xpath для указания точного расположения элементов на странице. - Как переходить по страницам на многостраничном сайте. - Как создавать проект и запускать «пауков» Scrapy. - Как парсить всю информацию о каждом товаре на сайте. - Как осуществлять переход на страницу каждого товара. - Каким образом парсить сайты, использующие JavaScript при загрузке. - Как авторизовываться на сайте, используя фреймворк Selenium. - Как парсить сайты с бесконечной прокруткой, имитируя действия пользователя на странице.
Xemera.At.Ua - информационный портал! Все ссылки на файлы, указанные на сайте взяты из открытых источников интернета и предоставлены пользователями нашего сайта исключительно в ознакомительных целях.
Если вы являетесь правообладателем какого либо материала и не желаете его свободного распространения, или считаете, что какой-либо из материалов нарушает Ваши авторские права - свяжитесь с Администрацией.
Владельцы и создатели данного сайта не несут ответственность за использование и содержание ссылок и информации, представленных на этом сайте.
Сайт оптимизирован для просмотра с разрешением 1024x768, 1280x800, 1280x1024 и 1600x1200 браузером FireFox или Opera
Статьи: 9647
Мысли: 0
Раздел:
Автор: 
Просмотров: 92 |
Теги:
Всего: 176
Админ: 1
Модераторы: 0
Журналисты: 10
Проверенные: 5
Пользователи: 160
Парней: 142
Девушек: 34