综述本系列文档用于对Python爬虫技术的学习进行记录总结。Python版本是3.7.4urllib库介绍它是Python内置的HTTP请求库，也就是说我们不需要额外安装即可使用，它包含四个模块(主要对前三个模块进行学习)：request:它是最基本的HTTP请求模块，我们可以用它来模拟发送一请求，就像在浏览器里输入网址然后敲击回车一样，只需要给库方法传入URL还有额外的参数，就可以模拟实现这个过程了。error:异常处理模块，如果出现请求错误，我们可以捕
系统 2019-09-27 17:54:27 2106
解决Python抓HTML结构存入数据库转义报错问题首先需求是这样的，抓一些资讯（带有标准的html结构入库），然后研究了半天，各种手动转义，尝试了很多种方法都没有效的解决，下面是有效的最后转义的方案,下面这种入库是没有转义符号的，和原html是一样的，如果前台需要带转义符号需要手动替换一下newSql=db.escape(param)sql='INSERTINTOzhixun(htmls)VALUES({})'.format(newSql)数据库比较懒了
系统 2019-09-27 17:53:17 2106
Python是支持面向对象的，很多情况下使用面向对象编程会使得代码更加容易扩展，并且可维护性更高，但是如果你写的多了或者某一对象非常复杂了，其中的一些写法会相当相当繁琐，而且我们会经常碰到对象和JSON序列化及反序列化的问题，原生的Python转起来还是很费劲的。可能这么说大家会觉得有点抽象，那么这里举几个例子来感受一下。首先让我们定义一个对象吧，比如颜色。我们常用RGB三个原色来表示颜色，R、G、B分别代表红、绿、蓝三个颜色的数值，范围是0-255，也就
系统 2019-09-27 17:53:07 2106
1变量赋值：变量可以是字符串、序列、元组、1#author:hams.ali23#界面4line='-*'*205#数字直接可以计算67_var1='23'89#字符变量拼接10_var_2='\n\tmyageis'+_var11112#不可改变数值的组元13var=(2019,9,27)1415#变量解压16x,y,z=(2019,9,17)17print(x,y,z)18print(line)#分割19#多变量解压20data=['ali','eng
系统 2019-09-27 17:53:03 2106
前言栈、队列和优先级队列都是非常基础的数据结构。Python作为一种“编码高效”的语言，对这些基础的数据结构都有比较好的实现。在业务需求开发过程中，不应该重复造轮子，今天就来看看些数据结构都有哪些实现。0x00栈(Stack)栈是一种LIFO(后进先出)的数据结构，有入栈(push)、出栈(pop)两种操作，且只能操作栈顶元素。在Python中有多种可以实现栈的数据结构。1、listlist是Python内置的列表数据结构，它支持栈的特性，有入栈和出栈操作
系统 2019-09-27 17:52:46 2106
守护进程（daemon）是指在UNIX或其他多任务操作系统中在后台执行的电脑程序，并不会接受电脑用户的直接操控。此类程序会被以进程的形式初始化。通常，守护进程没有任何存在的父进程（即PPID=1），且在UNIX系统进程层级中直接位于init之下。守护进程程序通常通过如下方法使自己成为守护进程：对一个子进程调用fork，然后使其父进程立即终止，使得这个子进程能在init下运行。�C维基百科守护进程区别于普通用户登陆系统后运行的进程，它是直接由系统初始化，和系
系统 2019-09-27 17:52:33 2106
目前，Python科学栈中的所有主要项目都同时支持Python3.x和Python2.7，不过，这种情况很快即将结束。去年11月，Numpy团队的一份声明引发了数据科学社区的关注：这一科学计算库即将放弃对于Python2.7的支持，全面转向Python3。Numpy并不是唯一宣称即将放弃Python旧版本支持的工具，pandas与Jupyternotebook等很多产品也在即将放弃支持的名单之中。对于数据科学开发者而言，如何将已有项目从Python2转向P
系统 2019-09-27 17:52:25 2106
python中eval函数的用法十分的灵活，这里主要介绍一下它的原理和一些使用的场合。下面是从python的官方文档中的解释：Theargumentsareastringandoptionalglobalsandlocals.Ifprovided,globalsmustbeadictionary.Ifprovided,localscanbeanymappingobject.Theexpressionargumentisparsedandevaluateda
系统 2019-09-27 17:52:12 2106
对一名开发者来说最糟糕的情况，莫过于要弄清楚一个不熟悉的应用为何不工作。有时候，你甚至不知道系统运行，是否跟原始设计一致。在线运行的应用就是黑盒子，需要被跟踪监控。最简单也最重要的方式就是记录日志。记录日志允许我们在开发软件的同时，让程序在系统运行时发出信息，这些信息对于我们和系统管理员来说都是有用的。就像为将来的程序员写代码文档一样，我们应该让新软件产生足够的日志供系统的开发者和管理员使用。日志是关于应用运行状态的系统文件的关键部分。给软件加日志产生句时
系统 2019-09-27 17:52:07 2106
1，递归函数的定义：函数内部可以调用其他的函数，当然可以调用函数自己，函数调用自身的编程技巧称为递归。2，递归函数的代码特点：函数内部的代码是相同的，只是传递的参数不同、需设置当参数满足条件时，不在执行函数，称为递归的出口，这个必须设置，否则会造成死循环。3，示例代码：倒序打印defsum_numbers(num):print(num)#递归的出口，当参数满足条件时，不在进行递归．#递归出口很重要，如不设置则会出现死循环ifnum==1:return1#函
系统 2019-09-27 17:52:06 2106
个人想到的解决方法有两种,一种是.replace('old','new')第一个参数是需要换掉的内容比如空格,第二个是替换成的内容,可以把字符串中的空格全部替换掉.第二种方法是像这样str_1_data='abc'str_2_list=str_1_data.split()str_1=''foriinrange(len(str_2_list)):#这里可以直接用str_1.join(str2_list)str_1+=str_2_list[i]print(st
系统 2019-09-27 17:51:45 2106
这个问题非常非常重要，搞了一晚上都没解决好，但是真的很简单很简单，如果你也是用的numpyarray,如果你也想得到输出矩阵的全部内容，而不是省略形式，[[0.102849430.09599310.00076021...,-0.010357750.025619380.09741836][-0.01446581-0.0427694-0.08351202...,0.024896150.05786737-0.01584686][-0.05037935-0.074
系统 2019-09-27 17:51:32 2106
运行本示例前，请确保chrome和chromedriver版本一致fromseleniumimportwebdriverimporttime#调用Chromdriver驱动driver=webdriver.Chrome()#打开百度页面driver.get("https://www.baidu.com")#在百度页面停留3秒time.sleep(3)#关闭浏览器driver.quit()附：chrome和chromedriver各版本下载地址https:/
系统 2019-09-27 17:50:53 2106
scipy的引入要制作一张具有特定形状的词云图，便需要一张原始图片提供形状参数，于是我们便要使用scipyscipy的安装在Windows系统中，在命令提示符中输入pipinstallscipy进行安装若报错则尝试pip3installscipy或sudopip3installscipy在苹果系统中则建议直接输入sudopip3installscipy若报错则参照Windows下的方法scipy的运用scipy旨在提取原始图片的形状参数，并应用于制作特定形
系统 2019-09-27 17:50:36 2106
python语言解释器是一个轻量级的小尺寸软件，可以在python语言主网站上下载网址如下https://www.python.org/downloads/我用的是sulimetext当然你也可以用其他的Sublime有很多优点比如SublimeText具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。SublimeText的主要功能包括：拼写检查，书签，完整的PythonAPI，Goto功能，即
系统 2019-09-27 17:50:02 2106
