一、背景介绍近期有需求需要抓取微信小程序中的数据分析，与一般的网页爬虫类似，主要目标是获取主要的URL地址进行数据爬取，而问题的关键在于如何获取移动端request请求后https加密的参数。本文从最初的抓包到获取URL、解析参数、数据分析及入库等，一步步进行微信小程序的数据爬取。此次爬取的目标是微信小程序“财神股票”中的已受理科创版公司名单数据，如下：注：抓包、分析、爬取等全过程几乎通用于微信小程序，可以类似的爬取其他小程序测试，原理大同小异。二、环境配
系统 2019-09-27 17:52:08 2219
Python的装饰器的英文名叫Decorator，当你看到这个英文名的时候，你可能会把其跟DesignPattern里的Decorator搞混了，其实这是完全不同的两个东西。虽然好像，他们要干的事都很相似――都是想要对一个已有的模块做一些“修饰工作”，所谓修饰工作就是想给现有的模块加上一些小装饰（一些小功能，这些小功能可能好多模块都会用到），但又不让这个小装饰（小功能）侵入到原有的模块中的代码里去。但是OO的Decorator简直就是一场恶梦，不信你就去看
系统 2019-09-27 17:52:03 2219
为什么做这个和同学聊天，他想爬取一个网站的post请求观察该网站的post请求参数有两种类型：（1）参数体放在了query中，即url拼接参数（2）body中要加入一个空的json对象，关于为什么要加入空的json对象，猜测原因为反爬虫。既有query参数又有空对象体的body参数是一件脑洞很大的事情。一开始先在apizza网站上了做了相关实验才发现上面这个规律的，并发现该网站的请求参数要为raw形式，要是直接写代码找规律不是一件容易的事情。源码impor
系统 2019-09-27 17:51:26 2219
result=[]defget_all(path):#递归获取指定目录下所有文件的绝对路径（非目录）dir_list=os.listdir(path)foriindir_list:sub_dir=os.path.join(path,i)ifos.path.isdir(sub_dir):get_all(sub_dir)else:#此时sub_dir是文件的绝对路径result.append(sub_dir)get_all(r'E:\bigdata')E:\b
系统 2019-09-27 17:49:36 2219
LinuxNo.1IPv4下面是IPv4的IP正则匹配实例:简单的匹配给定的字符串是否是ip地址importreifre.match(r"^(?:[0-9]{1,3}\.){3}[0-9]{1,3}$","236.168.192.1"):print"IPvaild"else:print"IPinvaild"精确的匹配给定的字符串是否是IP地址importreifre.match(r"^(?:(?:25[0-5]|2[0-4][0-9]|[01]?[0-9]
系统 2019-09-27 17:49:15 2219
mean和average都是计算均值的函数，在不指定权重的时候average和mean是一样的。指定权重后，average可以计算一维的加权平均值。具体如下：importnumpyasnpa=np.array([np.random.randint(0,20,5),np.random.randint(0,20,5)])print('原始数据\n',a)print('mean函数'.center(20,'*'))print('对所有数据计算\n',a.mean
系统 2019-09-27 17:48:44 2219
asin()方法返回x的反正弦，以弧度表示。语法以下是asin()方法语法：asin(x)注意：此函数是无法直接访问的，所以我们需要导入math模块，然后需要用math的静态对象来调用这个函数。参数x--这必须是在-1到1的数字值的范围内，如果x大于1，则它会产生一个错误。返回值此方法返回的x反正弦，以弧度表示。例子下面的例子显示了asin()方法的使用。#!/usr/bin/pythonimportmathprint"asin(0.64):",math.
系统 2019-09-27 17:47:32 2219
今天给大家看一个经典案例,希望有所帮助原题是这样的:假设你要计算幂，就像内置函数pow和运算符**所做的那样。要定义一个数字的整数次幂，有多种方式，但先来看一个简单的定义：power(x,n)（x的n次幂）是将数字x自乘n-1次的结果，即将n个x相乘的结果。换而言之，power(2,3)是2自乘两次的结果，即2×2×2=8。方法一:1deffuna(x,n):2res=x3ifn<0:4return-15elifn==0:6return17elifn>0:
系统 2019-09-27 17:45:54 2219
原文链接：http://mp.weixin.qq.com/s?__biz=MzIyMjQ0MTU0NA==\x26amp;mid=2247490850\x26amp;idx=2\x26amp;sn=5340bfd4ca2a429791dfd3e729bcbd2a\x26amp;chksm=e82c2405df5bad13300d017989f4b777b286e862d894668c476bfd063a2090dadbab6675856e\x26amp;s
系统 2019-09-27 17:45:53 2219
标签标签用来创建含有不少于三个边的图形。请把下面的代码拷贝到记事本，然后把文件保存为"polygon1.svg"。把此文件放入您的web目录：
系统 2019-08-29 23:41:46 2219
