今天闲来无聊无意间看到了百度股票，就想着用python爬一下数据，于是就找到了东方财经网，结合这两个网站，写了一个小爬虫，数据保存在文件中，比较简单的示例，就当做用来练习正则表达式和BeautifulSoupl了。首先页面分析，打开东方财经网股票列表页，和百度股票详情页，右键查看网页源代码，网址后面的代码就是股票代码，所以打算先获取股票代码，然后获取详情，废话少说，直接上代码吧：importreimportrequestsfrombs4importBeau
系统 2019-09-27 17:54:39 1891
闭包是Python装饰器的基础。要理解闭包，先要了解Python中的变量作用域规则。变量作用域规则首先，在函数中是能访问全局变量的：>>>a='globalvar'>>>deffoo():print(a)>>>foo()globalvar然后，在一个嵌套函数中，内层函数能够访问在外层函数中定义的局部变量：>>>deffoo():a='freevar'defbar():print(a)returnbar>>>foo()()freevar闭包上面的嵌套函数就是
系统 2019-09-27 17:54:39 1891
有时候我们的爬虫程序添加了代理，但是我们不知道程序是否获取到了ip，尤其是动态转发模式的，这时候就需要进行检测了，以下是一种代理是否伪装成功的检测方式，这里推介使用亿牛云提供的代码示例。Python¶requests#!-*-encoding:utf-8-*-importrequestsimportrandom#要访问的目标页面targetUrl="http://httpbin.org/ip"#要访问的目标HTTPS页面#targetUrl="https:
系统 2019-09-27 17:54:07 1891
安装方法pipinstallScrapy如果顺利的话不用管直接一路下来就OK验证是否安装成功安装成功不顺利的情况1）lxml安装不成功使用whl进行安装，不过需要先安装whlpipinstallwheel安装完成后下载lxml的whl文件网址：http://www.lfd.uci.edu/~gohlke/pythonlibs/whl版本挑选进入cmd――>importpip――>printpip.pep425tags.get_supported()，按照截
系统 2019-09-27 17:54:03 1891
经常地我们需要编写跨平台的脚本，但是由于不同的平台的差异性，我们不得不获得当前所工作的平台（操作系统类型）。代码如下：复制代码代码如下:importplatformdefTestPlatform():print("----------OperationSystem--------------------------")#Windowswillbe:(32bit,WindowsPE)#Linuxwillbe:(32bit,ELF)print(platform
系统 2019-09-27 17:54:01 1891
1变量赋值：变量可以是字符串、序列、元组、1#author:hams.ali23#界面4line='-*'*205#数字直接可以计算67_var1='23'89#字符变量拼接10_var_2='\n\tmyageis'+_var11112#不可改变数值的组元13var=(2019,9,27)1415#变量解压16x,y,z=(2019,9,17)17print(x,y,z)18print(line)#分割19#多变量解压20data=['ali','eng
系统 2019-09-27 17:53:03 1891
1.背景看到这里提到了pprint。打算去试试.2.pprint简介找到在线官网解释：pprint―Dataprettyprinter就是一个，方便大家打印一些，相对复杂的变量的好东西。3.使用pprint去写点代码试试。代码：复制代码代码如下:#-------------------------------------------------------------------------------#Name:【记录】折腾Python中的pprint#
系统 2019-09-27 17:52:55 1891
如果直接从生成验证码的页面把验证码下载到本地后识别，再构造表单数据发送的话，会有一个验证码同步的问题，即请求了两次验证码，而识别出来的验证码并不是实际需要发送的验证码。有如下几种方法解决。法1:用session：mysession=requests.Session()login_url='http://xxx.com'checkcode_url='http://yyy.com'html=mysession.get(login_url,timeout=60*
系统 2019-09-27 17:52:42 1891
psutil（进程和系统实用程序）是一个跨平台的库，用于在Python中检索有关运行进程和系统利用率（CPU，内存，磁盘，网络，传感器）的信息。它主要用于系统监视，分析和限制流程资源以及运行流程的管理。它实现了UNIX命令行工具提供的许多功能，例如：ps，top，lsof，netstat，ifconfig，who，df，kill，free，nice，ionice，iostat，iotop，uptime，pidof，tty，taskset，pmap。psut
系统 2019-09-27 17:52:36 1891
因前一篇https://blog.csdn.net/fjssharpsword/article/details/97000479采样问题未解决，发现如下github上有BPMF代码，采用wishart先验，性能和pymc3一致。参考：https://github.com/LoryPack/BPMF#coding:utf-8'''@author:Jason.F@data:2019.08.01@function:baselineBPMF(BayesianPro
系统 2019-09-27 17:52:22 1891
