爬虫的概念：爬虫就是获取网页并提取和保存信息的自动化程序爬虫的分类：主要有四类：通用网络爬虫，聚焦网络爬虫，增量式网络爬虫，深层网络爬虫爬虫的流程：常见的几种爬虫问题：主要有五类：静态网页的爬取，Ajax数据的爬取，动态渲染页面爬取，验证码的识别，代理的使用常见的爬虫框架：pyspider框架，Scrapy框架分布式爬虫：在多台机器上运行爬虫程序爬虫的一些常用"库"：解析库：lxml;BeautifulSoup;pyquery;tesserocr请求库：r
系统 2019-09-27 17:56:05 2078
题目描述：给定一组不含重复元素的整数数组nums，返回该数组所有可能的子集（幂集）。说明：解集不能包含重复的子集。示例:输入:nums=[1,2,3]输出:[[3],[1],[2],[1,2,3],[1,3],[2,3],[1,2],[]]SOLUTION1:迭代法比较常规的迭代法思路，循环nums数组，每次访问其中元素，将其转化为数组并加到result二维数组当中。CODE:classSolution:defsubsets(self,nums):'''n
系统 2019-09-27 17:55:12 2078
Python数据科学入门DmitryZinoviev著熊子源译第三章使用文本数据第13单元处理HTML文件Beautifulsoup通过Python字典接口实现对HTML标签属性的访问。如果标签对象t表示超链接，则超链接目标的字符串值为t[“herf”].string。HTML标签是不区分大小写的。Soup最有用的函数：soup.find()找到目标的一个实例soup.find_all()找到目标的所有实例HTML\XML之所以强大，是因为有多样化的功能，
系统 2019-09-27 17:53:41 2078
python连接mysql的客户端importpymysql#导入模块conn=pymysql.connect(host='127.0.0.1',#主机模块port=3306,#端口号user='root',#用户名password='123',#密码database='db',#需要连接的库charset='utf8'#指定编码utf8)cursor=conn.cursor()#获取游标#cursor=conn.cursor(pymysql.cursor
系统 2019-09-27 17:53:19 2078
环境：win10(64)，python3.7.1，git2.7.2，pylint-2.3.1，git_pylint_commit_hook-2.5.1以上为当期搭建所用到的版本，有异常时方便查找问题。安装pylint，pylint是一个单独可以对python文件进行格式校验的模块，https://www.pylint.org/官网地址有各个电脑环境的安装说明，Windows下，使用：pipinstallpylint安装完成之后，就可以直接使用pylint对
系统 2019-09-27 17:53:18 2078
这篇博客做一个爬虫的实例今天刚看到一个新闻，在7月26日上映的《哪吒之魔童降世》，密钥第二次延期至10月26日。截止至9月17日，《哪吒之魔童降世》票房已超49亿票房，在豆瓣上对该电影的评价有好有坏。说实话，博主看了这个电影真的觉得蛮不错的，因此把短评中的差评爬取下来，看下差评包括哪些方面。目录一、BeautifulSoup二、xpath三、正则表达式一、BeautifulSoup首先需要了解下差评文字内容在哪些标签下：进入豆瓣该电影短评界面，检查元素：可
系统 2019-09-27 17:53:05 2078
粘包问题TCP协议在传输过程中会出现数据粘包问题讲一下TCP和UDP的区别,都是传数据的协议,没有好坏之说,只是不同的应用需求可能会更好选择哪一个协议TCP:适合传输数量大,需要建立连接,会出现粘包问题,粘包问题可以解决,确定传入的长度,接收同样长度就可以保证一次性传输完UDP:适合传输数据量小,没有粘包,不需要连接,一次性传输,下一次就是新的数据,弊端就是数据丢失,不安全QQ是用什么协议呢?按理应该可以用UDP协议,但是实际用的是TCP协议,这是历史遗留
系统 2019-09-27 17:53:03 2078
一、冒泡排序冒泡排序算法的运作如下：比较相邻的元素。如果第一个比第二个大，就交换他们两个。对每一对相邻元素作同样的工作，从开始第一对到结尾的最后一对。这步做完后，最后的元素会是最大的数。针对所有的元素重复以上的步骤，除了最后一个。持续每次对越来越少的元素重复上面的步骤，直到没有任何一对数字需要比较。以上节选自维基百科代码实现：defbubble_sort(numberlist):length=len(numberlist)foriinrange(lengt
系统 2019-09-27 17:52:52 2078
概述如今我也是使用Python写代码好多年了，但是我却很少关心GIL的内部机制，导致在写Python多线程程序的时候。今天我们就来看看CPython的源代码，探索一下GIL的源码，了解为什么Python里要存在这个GIL，过程中我会给出一些示例来帮助大家更好的理解GIL。GIL概览有如下代码：staticPyThread_type_lockinterpreter_lock=0;/*ThisistheGIL*/这行代码位于Python2.7源码ceval.c
系统 2019-09-27 17:52:42 2078
前言本篇文章主要介绍，如何利用Python来实现将文字转成语音。将文字转成语音主要有两种不同的实现方法：先将文字转成语音，然后再通过读取语音实现发音、直接调用系统内置的语音引擎实现发音，后一种方法的实现主要利用第三方库。环境Python版本：Anaconda4.4.10操作系统：win10注意：在使用第三方库的时候，不同的操作系统和Python版本代码可能有所差别。调用api可以调用第三方的语音合成api生成音频文件，然后再播放音频文件即可，这里我使用的是
系统 2019-09-27 17:52:20 2078
