背景说明感觉微信公众号算得是比较难爬的平台之一,不过一番折腾之后还是小有收获的。没有用Scrapy(估计爬太快也有反爬限制),但后面会开始整理写一些实战出来。简单介绍下本次的开发环境:python3requestspsycopg2(操作postgres数据库)抓包分析本次实战对抓取的公众号没有限制,但不同公众号每次抓取之前都要进行分析。打开Fiddler,将手机配置好相关代理,为避免干扰过多,这里给Fiddler加个过滤规则,只需要指定微信域名mp.wei
系统 2019-09-27 17:53:47 2218
打印九九乘法表:外层控制行数,内层控制列数。foriinrange(1,10):j=1whilej<=i:print(i,'*',j,'=',(i*j),'',end='')j+=1print('\n')打印菱形思路:分成两层从中间,这个想法很low。i=9m=i//2t=mwhilet!=0:print(t*'','*'*(i-2*t),t*'')t-=1t=1whilet!=m:t+=1print(t*'','*'*(i-2*t),t*'')方法二:对
系统 2019-09-27 17:52:57 2218
前言之前一直做大数据方向的工作,用spark、flink、hive等等处理数据居多,语言方面一般使用scala、java很少用到python,但是不得不说如果想要从事算法方向的工作还是必须得把python用熟练了。下面整理一下学习的流程。Python基础这个很简单,但很重要,推荐看一下这本书的基础部分主要掌握知识点:常用的数据结构及对应方法三种控制流的使用字符串的常用处理方法正则表达式的使用函数的编写Python数值计算工具Numpy尽管在python基础
系统 2019-09-27 17:52:07 2218
假设有一组非负整数,对数据元素重新排列,使其构成的整数最大,输出该整数。如输入11,20,3,7.输出732011思路:1.用冒泡排序法对数据进行排序,将最小的元素放在最后2.最后对a数组各元素相加,输出字符串3.程序可以正确运行c=input("请输入一组数字,用空格隔开:")a=c.split()defcompare(a,b):s1=str(a)+str(b)s2=str(b)+str(a)ifs1
系统 2019-09-27 17:52:03 2218
五,Python基础(2)1.数据类型基础(一)什么是数据类型?用于区分变量值的不同类型。(二)为何对数据分类?针对不同状态就应该用不同类型的数据去标识。(三)数据类型分类1.数字类型1.1整型(int)1.11作用表示人的年龄、各种号码、级别1.12定义age=24#age=int(24)print(id(age))print(type(age))print(age)1982099648241.13如何用加减乘除、逻辑判断(大于、小于)print(a+b
系统 2019-09-27 17:50:57 2218
前一段去云英面试,技术官很”不厚道“了问了一个非常简单的问题:如何将多维列表转化了一维的?当时虽然想到了使用迭代或者列表生成式可以做到,但是可以没能可行的代码,回来后一顿后悔。对于规范的且嵌套维度较低的多维列表,python中有很多方法可以实现:a=[[1,2],[3,4],[5,6]]print[jforiinliforjini]#orfromitertoolsimportchainprintlist(chain(*a))#orimportitertoo
系统 2019-09-27 17:50:56 2218
在python中内嵌函数可以引用外层函数作用域中的变量,并且可以通过某种操作来对其进行修改。这里我们就可以使用到nonlocal语句来进行声名。我之前写过一篇global用法的文章,nonlocal的用法与global的用法很像,本篇博客的后面就会讲一下nonlocal和global的区别。nonlocal语句的用法语法:允许内嵌函数修改定义在语法上位于外层的函数的作用域中的一个或者多个名称用法:nonlocal[变量名]注意:此语句仅适用于python3
系统 2019-09-27 17:50:55 2218
最近这段时间,常常有人在后台留言:该不该学Python?如何学Python?鉴于大家都有这方面的困惑,今天就给大家推荐一本巨有影响力的Python实战书,上线时间仅2个月,就超越了众多实力派,成京东和当当网上的长期畅销图书,并且收获了3.4W的五星好评。这本书可谓是笔者独家私藏图书之一了,对我学习Python有着莫大的帮助,在京东上也常常"断货",这次拿出来给大家分享一下,希望能帮到大家。PS:文末还将赠送5门课程!这本“断货神作”究竟好在哪?“测评”来了
系统 2019-09-27 17:50:38 2218
1.linux下消息记录关于系统的各种消息一般都会记录在/var/log/messages文件中,有些主机在中默认情况下有可能没有启用,具体配置方法可参考下面这篇博客:系统日志配置/var/log/messages2.python代码实现原理其实很简单,就是读/var/log/messages文件,找到有关usb的信息就可以了。#!/usr/bin/envpythonusbmsg=open("/var/log/messages","r")forlinein
系统 2019-09-27 17:50:15 2218
引用是指保存的值为对象的地址。在Python语言中,一个变量保存的值除了基本类型保存的是值外,其它都是引用,因此对于它们的使用就需要小心一些。下面举个例子:问题描述:已知一个列表,求生成一个新的列表,列表元素是原列表的复制复制代码代码如下:a=[1,2]b=a这种做法其实并未真正生成一个新的列表,b指向的仍然是a所指向的对象。这样,如果对a或b的元素进行修改,a,b的值同时发生变化。解决的方法为:复制代码代码如下:a=[1,2]b=a[:]这样修改a对b没
系统 2019-09-27 17:49:48 2218