urllib的基本用法urllib库的基本组成利用最简单的urlopen方法爬取网页html利用Request方法构建headers模拟浏览器操作error的异常操作urllib库除了以上基础的用法外，还有很多高级的功能，可以更加灵活的适用在爬虫应用中，比如：使用HTTP的POST请求方法向服务器提交数据实现用户登录使用代理IP解决防止反爬设置超时提高爬虫效率解析URL的方法本次将会对这些内容进行详细的分析和讲解。POST请求POST是HTTP协议的请求方
系统 2019-09-27 17:38:44 2373
最近在工作中遇到了一个小问题，如果要将字符串型的数据转换成dict类型，我第一时间就想到了使用json函数。但是里面出现了一些问题1、通过json来转换：In[1]:importjsonIn[2]:mes='{"InsId":2,"name":"lege-happy","CreationTime":"2019-04-23T03:18:02Z"}'In[3]:mes_to_dict=json.loads(mes)In[4]:printtype(mes_to_
系统 2019-09-27 17:57:05 2372
python基本运行机制。Python程序运行时不需要编译成二进制代码，而直接从源码运行程序，简单来说是，Python解释器将源码转换为字节码，然后再由解释器来执行这些字节码。解释器的具体工作：1完成模块的加载和链接；2将源代码编译为PyCodeObject对象(即字节码)，写入内存中，供CPU读取；3从内存中读取并执行，结束后将PyCodeObject写回硬盘当中，也就是复制到.pyc或.pyo文件中，以保存当前目录下所有脚本的字节码文件；*之后若再次执
系统 2019-09-27 17:57:05 2372
使用python3调用wxpy模块，监控linux日志并定时发送消息给群组或好友，具体代码如下所示：#!/usr/bin/envpython3#-*-coding:utf-8-*-from__future__importunicode_literalsfromthreadingimportTimerfromwxpyimport*importrequestsimportsubprocessimporttimefromPILimportImage,ImageD
系统 2019-09-27 17:56:50 2372
Windows中Python多版本共存问题（Windows10）很多时候，一个版本的python无法满足需求，就需要在一台机器上面安装多个版本的python在Linux系统中安装多版本很容易，今天在此记录一下在Windows中进行多版本Python安装首先需要去到Python官网下载两个版本的Python由于我经常使用的是Python3版本，所以我先安装的是Python3版本，正常安装过后，将Python3安装路径加入到PATH环境变量中分别为：(每个人的
系统 2019-09-27 17:56:31 2372
做大数据的童鞋经常会写定时任务跑数据，由于任务之间的依赖（一般都是下游依赖上游的数据产出），所以经常会导致数据获取失败，因为很多人发现数据失败后都会去查看日志，然后手动去执行自己的任务。下面我实现了一个自动重复执行去数据库取数，如果失败后自动重新去获取，直到把数据获取到。建数据表：CREATETABLE`testtable`(2`id`int(11)unsignedNOTNULLAUTO_INCREMENT,3`name`varchar(20)NOTNUL
系统 2019-09-27 17:56:10 2372
给博客点赞需要在登录的前提下才能实现。在浏览器操作点赞，利用浏览器自带的工具抓包。1、获取请求的url：2、Cookies，整段复制下来3、用户代理4、将上述的url,cookies,agent填入程序中。(不填入agent，也可以)#coding=utf-8importrequests#登录后才能访问的接口url='https://blog.csdn.net/henry_lin_wind/phoenix/article/digg?ArticleId=89
系统 2019-09-27 17:55:20 2372
leetcode862.和至少为K的最短子数组返回A的最短的非空连续子数组的长度，该子数组的和至少为K。如果没有和至少为K的非空子数组，返回-1。示例1：输入：A=[1],K=1输出：1示例2：输入：A=[1,2],K=4输出：-1示例3：输入：A=[2,-1,2],K=3输出：3#使用collections.deque模块版本classSolution:defshortestSubarray(self,A,K):fromcollectionsimport
系统 2019-09-27 17:55:14 2372
1.str.format()：使用“{}”占位符格式化字符串（占位符中的索引号形式和键值对形式可以混合使用）。>>>string='python{},django{},tornado{}'.format(2.7,'web','tornado')#有多少个{}占位符就有多少个值与其对应，按照顺序“填”进字符串中>>>string'python2.7,djangoweb,tornadotornado'>>>string='python{},django{},t
系统 2019-09-27 17:55:07 2372
1字符串中加空格"".join(list(user_q))2dic转jsonhjson=json.dumps(stand_q_dic,ensure_ascii=False)3str转jsonstringhjson=json.loads(psrser_json)message=hjson["message"]文件fp=open('data_for_bigru/char_c2i_128.json','r+')dict=json.load(fp)print(di
系统 2019-09-27 17:55:06 2372
说明:本文为博主原创文章，未经博主允许不得转载。如果代码有不懂的,欢迎与我探讨!邮箱:1103540209@qq.comgithub地址:https://github.com/wstchhwp文章目录1.Matplotlib基本概念2.Matplotlib三层结构容器层辅助显示层图像层总结3.plt的基本用法3.1Figure对象3.2plot的使用3.3如何在同一个figure内部设置多个图片3.4如何调整subplot的间距4.参考可视化是在整个数据挖
系统 2019-09-27 17:54:39 2372
“”"思路:1.a*b=a+a+a+…2.a*b=n个a相加,只需求证b=n即可3.用for循环遍历即可,b就是range的最大次数4.需考虑a,b有五种情况存在,但结果会有三种,正数,0,负数“”"defmultiplication(a,b):ifa>0andb>0:sum=0foriinrange(b):sum+=aprint(sum)elifa<0andb<0:sum=0foriinrange(-b):sum+=asum=-sumprint(sum)
系统 2019-09-27 17:52:27 2372
一、推导式1.1列表推导式语法：[最终结果(变量)for变量in可迭代对象]1lst=[xforxinrange(1,15)]2print(lst)345#获取1-100以内能被3整除的数6lst=[iforiinrange(100)ifi%3==0]78#获取1-100以内能被3整除的数的平方9lst=[i*iforiinrange(100)ifi%3==0]1.2字典推导式1dic={"a":"b","c":"d"}2#把字典中的key，value互换
系统 2019-09-27 17:52:23 2372
本文实例讲述了Python实现的服务器。分享给大家供大家参考，具体如下：python-单进程服务器#coding=utf-8fromsocketimport*#创建套接字serSocket=socket(AF_INET,SOCK_STREAM)#重复使用绑定信息serSocket.setsockopt(SOL_SOCKET,SO_REUSEADDR,1)localAddr=('',7788)#绑定端口ipserSocket.bind(localAddr)#
系统 2019-09-27 17:51:57 2372
asyncio模块官网连接：https://docs.python.org/zh-cn/3.7/library/asyncio.html同步原语参考链接：https://mozillazg.com/2017/08/python-asyncio-note-synchronization-primitives.html异步参考：http://python.jobbole.com/88291/http://python.jobbole.com/87310/htt
系统 2019-09-27 17:50:45 2372
