一、背景介绍近期有需求需要抓取微信小程序中的数据分析，与一般的网页爬虫类似，主要目标是获取主要的URL地址进行数据爬取，而问题的关键在于如何获取移动端request请求后https加密的参数。本文从最初的抓包到获取URL、解析参数、数据分析及入库等，一步步进行微信小程序的数据爬取。此次爬取的目标是微信小程序“财神股票”中的已受理科创版公司名单数据，如下：注：抓包、分析、爬取等全过程几乎通用于微信小程序，可以类似的爬取其他小程序测试，原理大同小异。二、环境配
系统 2019-09-27 17:52:08 2213
在前面的文章《python小欢喜（六）动画(1)pygame的安装与初步使用》中介绍了如何安装pygame。《python小欢喜（七）游戏编程(1)挡球》实现了一个小游戏。接下来对这个小游戏做两方面的改进1使用中文提示2添加上碰撞时的声音效果游戏界面如下：可以看到，窗口上方的提示变成了中文，如果戴上耳机或使用音箱，可以听到足球碰到挡板或下边界时发出的声音。python代码如下：#-*-coding:utf-8-*-#挡球游戏importpygame#导入p
系统 2019-09-27 17:52:02 2213
与python交互之前我们需要安装一个MySQL的驱动模块Connector，这个驱动模块直接在cmd命令行输入pipinstallmysql.connector安装是否成功可以接着输入python#输入之后，会进入python解释器（前提是python已经配置好了环境变量#导入安装的模块，没有报错即安装成功importmysql.connector进入自己的编辑器（pycharm）首先连接数据库方式：数据库连接1、当前模块直接连接importmysql.
系统 2019-09-27 17:50:55 2213
1.效果展示主要效果就是，x轴显示时间单位。下图展示的就是想要到达的效果。其实主要是运用了datetime.date这个类型的变量作为x轴坐标的数据输入。2.源码将data.txt中的数据读入，用matplotlib中的pyplot画出，x轴为时间。数据文本data.txt，除了第一行表头外，每一列都用制表符Tab（\t）隔开。原创粉丝喜欢评论等级访问积分排名2018/06/01691342666453091323345129562018/06/05721
系统 2019-09-27 17:50:08 2213
这里写自定义目录标题背景爬取数据用Pandas显示数据太多雨天多个月的数据画图功能扩展遇到的坑背景最近在计划明年从北京rebase到深圳去，所以最近在看深圳的各个方面。去年在深圳呆过一段时间，印象最深的是，深圳总是突然就下雨，还下好大的雨。对于我这种从小在南方长大但是后面又在北京呆了2年多的人来说，熟悉而又无奈。今天早上本来想随便浏览浏览一个天气网站，看看深圳的历史天气如何的，但是，一不小心发现，这家网站竟然直接能用API来抓数据，这~~~还不抓一波，省的
系统 2019-09-27 17:47:57 2213
1、列表（list）list是处理一组有序项目的数据结构，即你可以在一个列表中存储一个序列的项目。列表中的项目应该包括在方括号中，这样Python就知道你是指明一个列表。一旦你创建了一个列表，就可以添加、删除，或者是搜索列表中的项目。由于你可以增加或者删除项目，我们说列表是可变的数据类型，即这种类型是可以被改变的，且列表是可以嵌套的。实例：#coding=UTF-8#author:RXS002animalslist=['fox','tiger','rabb
系统 2019-09-27 17:37:35 2213
题目描述：给定一个字符串s，找到s中最长的回文子串。你可以假设s的最大长度为1000。示例1：输入:"babad"输出:"bab"注意:"aba"也是一个有效答案。示例2：输入:"cbbd"输出:"bb"Solution（转自LeetCode官方题解）：CODE:classSolution:deflongestPalindrome(self,s):''':params:str:return:str'''longest=0len_s=len(s)dp=[[0
系统 2019-09-27 17:57:52 2212
在图书馆的检索系统中，关于图书的信息里面有一个是图书相关借阅关系图。跟这个社交网络图是一样的，反映了不同对象间的关联性。利用python画社交网络图使用的库是networkx，更多关于networkx的介绍与使用大家可以参考这篇文章：https://www.jb51.net/article/159743.htm下面开始本文的正文：importnetworkxasnximportmatplotlib.pyplotaspltG=nx.Graph()G.add_
系统 2019-09-27 17:56:10 2212
前提描述：之前电脑里装的是python3.7.0版本并装了pycharm，之后出于要求改为python3.6.7并安装了anaconda3环境。PATH由之前的C:\Users\admin\AppData\Local\Programs\Python\Python37-32\Lib\site-packages及D:\PyCharm2019.2\venv\Scripts的基础上增加了C:\Anaconda3\Scripts，并更改python路径为C:\Use
系统 2019-09-27 17:52:42 2212
result=[]defget_all(path):#递归获取指定目录下所有文件的绝对路径（非目录）dir_list=os.listdir(path)foriindir_list:sub_dir=os.path.join(path,i)ifos.path.isdir(sub_dir):get_all(sub_dir)else:#此时sub_dir是文件的绝对路径result.append(sub_dir)get_all(r'E:\bigdata')E:\b
系统 2019-09-27 17:49:36 2212
继续鼓捣爬虫，今天贴出一个代码，爬取点点网「美女」标签下的图片，原图。#-*-coding:utf-8-*-#---------------------------------------#程序：点点美女图片爬虫#版本：0.2#作者：zippera#日期：2013-07-26#语言：Python2.7#说明：能设置下载的页数#---------------------------------------importurllib2importurllibim
系统 2019-09-27 17:45:40 2212
前言kd树的实现原理，我之前的一篇博客写了一下kd树优化的k近邻算法参考文章：wenffe：python实现KD树1.kd树的构造importnumpyasnpclassNode(object):"""定义节点类：val：节点中的实例点label：节点中实例的类别dim：当前节点的分割维度left：节点的左子树right：节点的右子树parent：节点的父节点"""def__init__(self,val=None,label=None,dim=None,
系统 2019-09-27 17:56:06 2211
以下是演示“如何在Python中复制文件”的九种方法。shutilcopyfile（）方法shutilcopy（）方法shutilcopyfileobj（）方法shutilcopy2（）方法ospopen方法os系统（）方法Thread（）方法子进程调用（）方法子进程check_output（）方法1.ShutilCopyfile（）方法该方法只有在目标可写时才将源的内容复制到目的地。如果您没有写入权限，则会引发IOError。它通过打开输入文件进行阅读，
系统 2019-09-27 17:55:53 2211
优先队列的二叉堆实现在前面的章节里我们学习了“先进先出”（FIFO）的数据结构：队列（Queue）。队列有一种变体叫做“优先队列”（PriorityQueue）。优先队列的出队（Dequeue）操作和队列一样，都是从队首出队。但在优先队列的内部，元素的次序却是由“优先级”来决定：高优先级的元素排在队首，而低优先级的元素则排在后面。这样，优先队列的入队（Enqueue）操作就比较复杂，需要将元素根据优先级尽量排到队列前面。我们将会发现，对于下一节要学的图算法
系统 2019-09-27 17:38:24 2211
python中迭代器和iter()函数迭代器为类序列对象提供了一个类序列的接口。python的迭代无缝地支持序列对象，而且它还允许程序员迭代非序列类型，包括用户定义的对象。迭代器用起来很灵巧，你可以迭代不是序列但表现处序列行为的对象，例如字典的键、一个文件的行，等等。迭代器的作用如下：•提供了刻扩展的迭代器接口；•对列表迭代带来了性能上的增强；•在字典迭代中性能提升；•创建真正的迭代接口，而不是原来的随即对象访问；•与所有已经存在的用户定义的类以及扩展得模
系统 2019-09-27 17:56:24 2210
