在使用python做爬虫的过程中，有些页面的的部分数据是通过js异步加载的，js调用接口的请求中有时还带有些加密的参数很难破解无法使用requests这样的包直接爬取数据，因此需要借助seleniu来完成js的自动加载。通过selenium模拟浏览器的真是操作来获取页面中的所有请求，并且可以查找到一下页面上一些隐藏的元素，这些元素在html源码中无法看到，并且和能通过xpath和正则来捕获，因此需要使用selenium来查找隐藏元素，例如视频网站的播放按钮
系统 2019-09-27 17:57:29 2325
一前言最近在开发的数据核对方案中用到了Python标准库Difflib，本来它工作的挺符合预期，可当它遇到那个文件，仿佛遇到了克星，那文件才100行*77列的数据，经它对比，居然耗时61s。这是无法接受的，因为后续线上流量抽取比对，绝非这点量级。该怎么破？二重现现象以下是使用Difflib比对那个文件，数据量是100行*77列，耗时61s，如下：好吧，那就降低数据量到5行*77列，看看效果，耗时只有0.05s，如下：从耗时结果上，不难发现，Difflib在
系统 2019-09-27 17:57:27 2325
后台服务在运行时发现一个问题，运行约15分钟后，接口请求报错pymysql.err.InterfaceError:(0,'')这个错误提示一般发生在将None赋给多个值，定位问题时发现pymysql.err.OperationalError:(2013,'LostconnectiontoMySQLserverduringquery')如何解决这个问题呢出现问题的代码classMysqlConnection(object):"""mysql操作类，对mysq
系统 2019-09-27 17:56:08 2325
自己在写文章的时候，也有到处去逛一逛，渐渐发现了一些有意思的事，经常会有人用同样的评论到处刷，不知道是为了加没什么用的积分，还是纯粹为了表达楼主好人。那么问题来了，这种无聊的事情当然最好能够自动化咯，自己也来试了一把，纯属娱乐。登陆要评论当然要能够先进行登陆，采用requests库进行处理，尝试能否看到自己的消息列表：msg_url="http://msg.csdn.net/"r=requests.get(msg_url,auth=('drfish','p
系统 2019-09-27 17:54:53 2325
文章目录闭包（Closure）嵌套函数（nestedfunction）闭包的概念如何使用闭包何时定义闭包修改自由变量装饰器（Decorator）装饰器介绍实现装饰功能添加装饰器含参装饰器链式装饰器闭包（Closure）嵌套函数（nestedfunction）讲解闭包之前，先介绍一下什么是嵌套函数（nestedfunction）：defprint_msg(msg):#Thisistheouterenclosingfunctiondefprinter():#T
系统 2019-09-27 17:53:17 2325
Python数据科学入门DmitryZinoviev著熊子源译第5章使用表格形式的数值数据第22单元转置和重排Reshape(d0,d1…)可以改变现有数组的形状，其参数定义了新的维度属性T的值就是数组的转置视图：array.TTranspose()根据多维数组的参数来排列多维数组的部分或所有轴第23单元索引和切片数组能实现布尔索引：可以使用布尔值数组作为索引，其结果是原始数组中布尔索引为True的项构成的数组。通常，布尔数组是广播的结果。布尔索引既可以在
系统 2019-09-27 17:53:09 2325
用一个例子理解一下#-*-encoding=utf-8-*-'''author:James-Jtime:2019/05/29'''importnumpyasnpif__name__=='__main__':data=np.array([[1,2,3,4],[5,6,7,8],[9,10,11,12]])print(data)print('-----------------------------')#下标第0行第2列3print('data[0,2]',d
系统 2019-09-27 17:47:52 2325
Python入门之内置模块--序列化模块（json模块、pickle模块）1、序列化Python中这种序列化模块有三种：json模块:不同语言都遵循的一种数据转化格式，即不同语言都使用的特殊字符串。（比如Python的一个列表[1,2,3]利用json转化成特殊的字符串，然后在编码成bytes发送给php的开发者，php的开发者就可以解码成特殊的字符串，然后在反解成原数组(列表):[1,2,3]）json序列化只支持部分Python数据结构：dict
系统 2019-09-27 17:46:39 2325
第一种:利用functools工具处理importfunctoolsresult=(lambdak:functools.reduce(int.__mul__,range(1,k+1),1))(5)print(result)第二种:普通的循环x=1y=int(input("请输入要计算的数:"))foriinrange(1,y+1):x=x*iprint(x)第三种:利用递归的方式deffunc(n):ifn==0orn==1:return1else:ret
系统 2019-09-27 17:57:05 2324
#visendmail.py#pythonsendmail.py运行即可importsmtplib#smtp服务器用的包fromemail.mime.textimportMIMEText#邮件用得包authEmail="xxx@qq.com"#开启smtp服务的邮箱authCode="xxx"#获取到的授权码http://service.mail.qq.com/cgi-bin/help?subtype=1&&id=28&&no=1001256toEmail
系统 2019-09-27 17:54:38 2324
12.35Django模板系统{{}}和{%%},变量相关的用{{}}，逻辑相关的用{%%}app02/views:#模板语言测试函数deftemplate_test(request):name="张三"dic={"name":"张三","age":16,"items":"sb"}list1=[11,22,33,44,55]classPerson(object):def__init__(self,name):self.name=namedefdream
系统 2019-09-27 17:54:08 2324
参考文章：【Tensorflow2.0】Tensorflow2.0的安装教程tensorflow2.0安装以及教程最全Tensorflow2.0入门教程持续更新TensorFlow2.0教程-安装TensorFlow2.0以下是本电脑安装tensorflow2.0的过程。安装anaconda3.6或者其他版本创建一个环境，用来安装tensorflow2.0以及相关的pythonpackages.condacreate-ntensorflow2.0pytho
系统 2019-09-27 17:53:32 2324
原文链接：https://blog.csdn.net/swinfans/article/details/86501555简介Json模块主要用来进行Python对象的序列化和反序列化。该模块中常用的方法有以下四个：json.dump将Python对象序列化为Json格式的数据流并写入文件类型的对象中json.dumps将Python对象序列化为Json格式的字符串json.load从文件类型的对象中读取Json格式的数据并反序列化成Python对象json
系统 2019-09-27 17:52:55 2324
自定义可迭代的类列表可以获取列表的长度，然后使用变量i对列表索引进行循环，也可以获取集合的所有元素，且容易理解。没错，使用列表的代码是容易理解，也很好操作，但这是要付出代价的。列表之所以可以用索引来快速定位其中的任何一个元素，是因为列表是一下子将所有的数据都装载在内存中，而且是一块连续的内存空间。当数据量比较小时，实现比较容易；当数据量非常大时，会非常消耗内存资源。而迭代就不同，迭代是读取多少元素，就将多少元素装载到内存中，不读取就不装载。这有点像处理XM
系统 2019-09-27 17:52:25 2324
考虑到女友的安全问题,就做了一个app实现定位和服务器实现转发的东西。刚学python,竟没想到用对象编程会更加方便,全程过程式开发,代码有点臃肿,就当学习下python吧.效果就是:在微信公众号中输入指定字符比如:”我要知道你的位置”,手机那端的位置就弹出来了.主要是讲一下思路:先是app实现定位,当微信发送消息时,消息从微信服务器转发到开发者服务器然后用socket发送指定消息来通知app,Ineedyourlocation,app接收到消息之后再发送
系统 2019-09-27 17:50:48 2324
