3364次浏览
《虫术——Python绝技》以大数据应用方面常用的语言 Python 为基础，从网络爬虫的实现原理入手，逐步引领读者进入网络爬虫的世界。在各类爬虫框架中，将 Scrapy 作为轴心，从多个维度揭开爬虫技术的面纱。例如，爬取规则的制定技巧，设计高速爬虫，如何让爬虫更“聪明”地获取数据，将海量数据进行分布式存储的技术，设计具有高隐匿性的爬虫，大规模、高并发的分布式爬虫技术。《虫术——Python绝技》基于 Python 这门灵活且简洁的语言，结合作者在网络数据爬取和大数据方面的实际工程经验，使得本书更具实用性。《虫术——Python绝技》旨在让更多数据工作者或编程爱好者在大数据时代从海量的信息中通过掌握“虫术”来获取对自已或企业有价值的信息。第1章 爬虫初步 1.1 爬虫与大数据 1.1.1 大数据架构 1.1.2 爬虫的作用与地位 1.1.3 Python与爬虫 1.1.4 Python的网络爬虫框架 1.1.5 虫术技术路线图 1.2 实例：简单的爬虫 1.3 内容分析进阶 1.3.1 选择器 1.3.2 深入BeautifulSoup 1.3.3 元素的搜寻 1.3.4 乱码与中文编
2986次浏览
随着大数据时代到来，网络信息量也变得更多更大，基于传统搜索引擎的局限性，网络爬虫应运而生，本书从基本的爬虫原理开始讲解，通过介绍Pthyon编程语言和Web前端基础知识引领读者入门，之后介绍动态爬虫原理以及Scrapy爬虫框架，最后介绍大规模数据下分布式爬虫的设计以及PySpider爬虫框架等。主要特点：l 由浅入深，从Python和Web前端基础开始讲起，逐步加深难度，层层递进。l 内容详实，从静态网站到动态网站，从单机爬虫到分布式爬虫，既包含基础知识点，又讲解了关键问题和难点分析，方便读者完成进阶。l 实用性强，本书共有9个爬虫项目，以系统的实战项目为驱动，由浅及深地讲解爬虫开发中所需的知识和技能。难点详析，对js加密的分析、反爬虫措施的突破、去重方案的设计、分布式爬虫的开发进行了细致的讲解。前言 基础篇 第1章 回顾Python编程 2 1.1 安装Python 2 1.1.1 Windows上安装Python 2 1.1.2 Ubuntu上的Python 3 1.2 搭建开发环境 4 1.2.1 Eclipse+PyDev 4 1.2.2 PyCharm 10 1.3 IO编程
1957次浏览
这是一本研究如何实现具有Web访问能力的网络机器人的书。该书从Internet编程的基本原理出发，深入浅出、循序渐进地阐述了网络机器人程序Spider、Bot、Aggregator的实现技术，并分析了每种程序的优点及适用场合。本书提供了大量的有效源代码，并对这些代码进行了详细的分析。通过本书的介绍，你可以很方便地利用这些技术，设计并实现网络蜘蛛或网络信息搜索器等机器人程序。读者对象：适合于具有一定Java编程基础的软件开发人员阅读，也可供Web开发人员作为技术参考资料使用。第1章 Java套接字编程技术套接字家族网络编程Java I/O编程技术代理的问题Java中的套接字编程客户端套接字服务器套接字小结第2章 分析超文本传输协议地址格式使用套接字进行HTTP编程Bot包的HTTP类组实现细节小结第3章 通过HTTPS访问加密站点HTTP与HTTPS通过Java使用HTTPSHTTP用户认证安全访问实现细节小结第4章 解析HTML使用HTMLBot关心的标签需要特殊处理的HTML使用Bot类解析HTML使用Swing类解析HTMLBot包HTML解析例子实现细节小结第5章 发送表单使用表
3100次浏览
本书以Python 3.5为编程环境，从基本的程序设计思想入手，逐步展开Python语言教学，是一本面向广大编程学习者的程序设计类图书。本书以案例带动知识点的讲解，将Python知识点分解到各个不同的案例，每个案例各有侧重点，同时展示实际项目的设计思想和设计理念，使读者可以举一反三。 本书案例具有实用性，例如校园网搜索引擎、小小翻译器、抓取百度图片这些爬虫案例略加修改可以应用到实际项目中；还有通过微信通信协议开发微信机器人、机器学习的文本分类、基于卷积神经网络的手写体识别等案例；另外是一些大家耳熟能详的游戏案例，例如连连看、推箱子、中国象棋、网络五子棋、两人麻将、人物拼图和飞机大战等游戏。通过本书，读者将掌握Python编程技术和技巧，学会面向对象的设计方法，了解程序设计的所有相关内容。本书不仅为读者列出了完整的代码，同时对所有的源代码都进行了非常详细的解释，通俗易懂、图文并茂。扫描每章提供的二维码可观看知识点的视频讲解。 本书适用于Python语言学习者、程序设计人员和游戏编程爱好者。第1章 Python基础知识 11.1 Python语言简介 11.2 Python语法基础 21.
3280次浏览
目前，图书市场上仅有的几本Python网络爬虫类图书，要么是国外优秀图书，但书籍翻译隐晦，阅读难度大，而且往往由于网络原因，使得书中的案例不能正常使用，因此不适合初学者；要么是国内资料，但质量参差不齐，而且不成系统，同样不适合初学者。整个图书市场上还鲜见一本适合初学者阅读的Python网络爬虫类图书。本书便是基于这个原因而编写。本书从Python语言基础讲起，然后深入浅出地介绍了爬虫原理、各种爬虫技术及22个爬虫实战案例。本书全部选用国内网站作为爬虫案例，便于读者理解和实现，同时也可以大大提高读者对Python网络爬虫项目的实战能力。前言 第1章 Python零基础语法入门 1 1.1 Python与PyCharm安装 1 1.1.1 Python安装（Windows、Mac和Linux） 1 1.1.2 PyCharm安装 3 1.2 变量和字符串 3 1.2.1 变量 4 1.2.2 字符串的“加法”和“乘法” 4 1.2.3 字符串的切片和索引 5 1.2.4 字符串方法 5 1.3 函数与控制语句 7 1.3.1 函数 7 1.3.2 判断语句 8 1.3.3 循环语句 8 1
4388次浏览
随着大数据时代到来，网络信息量也变得更多更大，基于传统搜索引擎的局限性，网络爬虫应运而生，本书从基本的爬虫原理开始讲解，通过介绍Pthyon编程语言和Web前端基础知识引领读者入门，之后介绍动态爬虫原理以及Scrapy爬虫框架，最后介绍大规模数据下分布式爬虫的设计以及PySpider爬虫框架等。主要特点：l 由浅入深，从Python和Web前端基础开始讲起，逐步加深难度，层层递进。l 内容详实，从静态网站到动态网站，从单机爬虫到分布式爬虫，既包含基础知识点，又讲解了关键问题和难点分析，方便读者完成进阶。l 实用性强，本书共有9个爬虫项目，以系统的实战项目为驱动，由浅及深地讲解爬虫开发中所需的知识和技能。难点详析，对js加密的分析、反爬虫措施的突破、去重方案的设计、分布式爬虫的开发进行了细致的讲解。前言 基础篇 第1章 回顾Python编程 2 1.1 安装Python 2 1.1.1 Windows上安装Python 2 1.1.2 Ubuntu上的Python 3 1.2 搭建开发环境 4 1.2.1 Eclipse+PyDev 4 1.2.2 PyCharm 10 1.3 IO编程
3594次浏览
《网络爬虫全解析——技术、原理与实践》介绍了如何开发网络爬虫。内容主要包括开发网络爬虫所需要的Java语法基础和网络爬虫的工作原理，如何使用开源组件HttpClient和爬虫框架Crawler4j抓取网页信息，以及针对抓取到的文本进行有效信息的提取。为了扩展抓取能力，《网络爬虫全解析——技术、原理与实践》介绍了实现分布式网络爬虫的关键技术。另外，《网络爬虫全解析——技术、原理与实践》介绍了从图像和语音等多媒体格式文件中提取文本信息，以及如何使用大数据技术存储抓取到的信息。最后，以实战为例，介绍了如何抓取微信和微博，以及在电商、医药、金融等领域的案例应用。其中，电商领域的应用介绍了使用网络爬虫抓取商品信息入库到网上商店的数据库表。医药领域的案例介绍了抓取PubMed医药论文库。金融领域的案例介绍了抓取股票信息，以及从年报PDF文档中提取表格等。《网络爬虫全解析——技术、原理与实践》适用于对开发信息采集软件感兴趣的自学者。也可以供有Java或程序设计基础的开发人员参考。第1章 技术基础 1 1.1 第一个程序 1 1.2 准备开发环境 2 1.2.1 JDK 2 1.2.2 Eclipse
