2020-01-14 20:10 3265次浏览 0条评论

随着大数据时代到来，网络信息量也变得更多更大，基于传统搜索引擎的局限性，网络爬虫应运而生，本书从基本的爬虫原理开始讲解，通过介绍Pthyon编程语言和Web前端基础知识引领读者入门，之后介绍动态爬虫原理以及Scrapy爬虫框架，最后介绍大规模数据下分布式爬虫的设计以及PySpider爬虫框架等。主要特点：l 由浅入深，从Python和Web前端基础开始讲起，逐步加深难度，层层递进。l 内容详实，从静态网站到动态网站，从单机爬虫到分布式爬虫，既包含基础知识点，又讲解了关键问题和难点分析，方便读者完成进阶。l 实用性强，本书共有9个爬虫项目，以系统的实战项目为驱动，由浅及深地讲解爬虫开发中所需的知识和技能。难点详析，对js加密的分析、反爬虫措施的突破、去重方案的设计、分布式爬虫的开发进行了细致的讲解。前言 基础篇 第1章　回顾Python编程 2 1.1　安装Python 2 1.1.1　Windows上安装Python 2 1.1.2　Ubuntu上的Python 3 1.2　搭建开发环境 4 1.2.1　Eclipse+PyDev 4 1.2.2　PyCharm 10 1.3　IO编程

2019-09-16 07:53 4771次浏览 0条评论

随着大数据时代到来，网络信息量也变得更多更大，基于传统搜索引擎的局限性，网络爬虫应运而生，本书从基本的爬虫原理开始讲解，通过介绍Pthyon编程语言和Web前端基础知识引领读者入门，之后介绍动态爬虫原理以及Scrapy爬虫框架，最后介绍大规模数据下分布式爬虫的设计以及PySpider爬虫框架等。主要特点：l 由浅入深，从Python和Web前端基础开始讲起，逐步加深难度，层层递进。l 内容详实，从静态网站到动态网站，从单机爬虫到分布式爬虫，既包含基础知识点，又讲解了关键问题和难点分析，方便读者完成进阶。l 实用性强，本书共有9个爬虫项目，以系统的实战项目为驱动，由浅及深地讲解爬虫开发中所需的知识和技能。难点详析，对js加密的分析、反爬虫措施的突破、去重方案的设计、分布式爬虫的开发进行了细致的讲解。前言 基础篇 第1章　回顾Python编程 2 1.1　安装Python 2 1.1.1　Windows上安装Python 2 1.1.2　Ubuntu上的Python 3 1.2　搭建开发环境 4 1.2.1　Eclipse+PyDev 4 1.2.2　PyCharm 10 1.3　IO编程