点击上方“何俊林”，马上关注，每天早上8:50准时推送真爱，请置顶或星标近日，有朋友向我求助一件小事儿，他在一个短视频app上看到一个好玩儿的段子，想下载下来，可死活找不到下载的方法。这忙我得帮，少不得就抓包分析了一下这个app，找到了视频的下载链接，帮他解决了这个小问题。因为这个事儿，勾起了我另一个念头，这不最近一直想把python爬虫方面的知识梳理梳理吗，干脆借机行事，正凑着短视频火热的势头，做一个短视频的爬虫好了，中间用到什么知识就理一理。我喜欢把事
系统 2019-09-27 17:57:10 2331
闲暇写一个外包网站的爬虫，万一你从这个外包网站弄点外快呢数据分析官方网址为https://www.clouderwork.com/进入全部项目列表页面，很容易分辨出来项目的分页方式得到异步请求RequestURL:https://www.clouderwork.com/api/v2/jobs/search?ts=1546395904852&keyword=&budget_range=&work_status=&pagesize=20&pagenum=3&s
系统 2019-09-27 17:55:39 2331
Python数据类型详解——元组有时候我们的列表数据不想被别人修改时该怎么办？此时，就可以使用元组来存放，元祖又称为只读列表，不能修改定义方式：与列表类似，将列表的[]换成()即可。特性：1、可存放多个值2、不可变3、按照从左到右的顺序定义元祖元素，下标从0开始顺序访问，有序1、创建#第一种ages=(213,'L','Kwan',21)#第二种ages=tuple((213,'L','Kwan',21))2、常用操作ages=(213,'L','Kwan
系统 2019-09-27 17:52:23 2331
1.Python多线程爬虫在批量去爬取数据的时候，往往效率会很低，这个时候我们可以用到多线程的技术。python是支持多线程的,主要是通过thread和threading这两个模块来实现的。单线程爬虫效率相对来说会低很多，例如：importrequestsfrombs4importBeautifulSoupimporttimestart_time=time.time()defmain():headers={'User-Agent':'Mozilla/5.0
系统 2019-09-27 17:51:48 2331
这样就将你所有微信好友的信息都返回了，我们并不需要这么多的信息，我们选取一些信息存储到csv文件中注意：返回的信息是一个list，其中第一个是我自己的信息，所以要从第二项开始存储的文件2：女性，1：男性，0：其他接下来，我们分析csv文件中的数据首先我们看看微信好友性别的分布：我这里是用的Echarts图表，偷了一个小懒我的微信里还是男性占比多，比较正常接下来分析微信好友的位置Echarts展示这个柱状图很直观的向我们展示了微信朋友的分布。这篇文章只是用到
系统 2019-09-27 17:50:46 2331
python进阶学习笔记（二）2013-05-2300:18虫师阅读(...)评论(...)编辑收藏本节学习图形用户界面------------------------本节介绍如何创建python程序的图形用户界面（GUI），也就是那些带有按钮和文本框的窗口。这里介绍wxPython：下载地址：http://www.wxpython.org/download.php根据自己的操作系统下载相应版本。安装：安装过程非常简单，以win7系统为例，点击下载的exe
系统 2019-09-27 17:48:48 2331
学过Python的人都知道，实用Python实现发送email的功能还是比较简单的，可以通过登录邮件服务来发送，linux下也可以使用调用sendmail命令来发送，还可以使用本地或者是远程的smtp服务来发送邮件，不管是单个，群发，还是抄送都比较容易实现。本文就把几个最简单的发送邮件方式记录下来，像html邮件，附件等也是支持的，读者在需要时可以参考查询一下。具体方法如下：1.登录邮件服务具体代码如下：#!/usr/bin/envpython#-*-co
系统 2019-09-27 17:47:47 2331
自己写的方法，适用于linux，#!/usr/bin/python#coding=utf-8importsysimportos,os.pathimportdircacheimportcommandsdefadd(x,y):returnx*ydeftrans(dirname):lis=dircache.opendir(dirname)forainlis:af=dirname+os.sep+a##printafifos.path.isdir(af):##pri
系统 2019-09-27 17:47:27 2331
1、背景介绍在采用通常的socket抓包方式下，操作系统会自动将收到包的VLAN信息剥离，导致上层应用收到的包不会含有VLAN标签信息。而libpcap虽然是基于socket实现抓包，但在收到数据包后，会进一步恢复出剥离的VLAN信息，能够满足需要抓取带VLAN标签信息的数据包的需求场景。python-pypcap包是对libpcap库的python语言封装，本文主要介绍如果利用python-pypcap在网络接口抓取带VLAN标签的数据包。2、环境准备l
系统 2019-09-27 17:46:15 2331
如下所示：importnumpyasnpx=[1,2]#横坐标y=[3,4]#第一个纵坐标y1=[5,6]#第二个纵坐标x=np.arange(len(x))#首先用第一个的长度作为横坐标width=0.05#设置柱与柱之间的宽度fig,ax=plt.subplots()ax.bar(x,y,width,alpha=0.9)ax.bar(x+width,y1,width,alpha=0.9,color='red')ax.set_xticks(x+width
系统 2019-09-27 17:46:13 2331
