搜索到与相关的文章
Python

python利用re,bs4,requests模块获取股票数据

今天闲来无聊无意间看到了百度股票,就想着用python爬一下数据,于是就找到了东方财经网,结合这两个网站,写了一个小爬虫,数据保存在文件中,比较简单的示例,就当做用来练习正则表达式和BeautifulSoupl了。首先页面分析,打开东方财经网股票列表页,和百度股票详情页,右键查看网页源代码,网址后面的代码就是股票代码,所以打算先获取股票代码,然后获取详情,废话少说,直接上代码吧:importreimportrequestsfrombs4importBeau

系统 2019-09-27 17:54:39 2098

Python

Python中列表、字典、元组、集合数据结构整理

本文详细归纳整理了Python中列表、字典、元组、集合数据结构。分享给大家供大家参考。具体分析如下:列表:复制代码代码如下:shoplist=['apple','mango','carrot','banana']字典:复制代码代码如下:di={'a':123,'b':'something'}集合:复制代码代码如下:jihe={'apple','pear','apple'}元组:复制代码代码如下:t=123,456,'hello'1.列表空列表:a=[]函数

系统 2019-09-27 17:54:17 2098

Python

Python字典嵌套(源码分析/自定义)

今天在写监控脚本的时候遇到一个问题,就是我执行每一个监控模块(脚本)的时候,例如CPU、内存、磁盘脚本,都会返回一个字典格式的数据,但是我需要将这三个字典,组合成一个大字典,然后通过requests模块发送给api接口,so,我就在网上找了一些方法,然后总结,写成这编博文。1、首先定义三个字典(不需要考虑字典的具体内容)>>>cpu_dict={'cpu_count':8,'cpu_ratio':3.5}>>>memory_dict={'memory_co

系统 2019-09-27 17:54:08 2098

Python

检测python爬虫时是否代理ip伪装成功的方法

有时候我们的爬虫程序添加了代理,但是我们不知道程序是否获取到了ip,尤其是动态转发模式的,这时候就需要进行检测了,以下是一种代理是否伪装成功的检测方式,这里推介使用亿牛云提供的代码示例。Python¶requests#!-*-encoding:utf-8-*-importrequestsimportrandom#要访问的目标页面targetUrl="http://httpbin.org/ip"#要访问的目标HTTPS页面#targetUrl="https:

系统 2019-09-27 17:54:07 2098

Python

python面试题:range与xrange的区别,使用range有什么风险

range([start],[end],[long])描述:根据range里的参数生成指定范围指定步长的一个序列参数:[start]——指定范围的左边界,可取到[end]——指定范围的右边界,不可取到[long]——步长,若无步长,默认为1返回值:列表实例:>>>range(0,6,2)[0,2,4]>>>range(5)[0,1,2,3,4]xrange()描述:用法与range完全相同,生成的不是数组,而是一个生成器实例:>>>xrange(0,6,2

系统 2019-09-27 17:54:01 2098

Python

python的debug实用工具 pdb详解

叨逼叨首先,介绍一下pdb调试,pdb是python的一个内置模块,用于命令行来调试Python代码。或许你会说,现在用Pycharm等编辑器来调试代码很方便,为啥要用命令行呢?这个问题,我曾经也这么想,直到有一次,代码必须要在Linux系统上跑(现在Pycharm也可以远程调试代码了,今天先不说这个)使用介绍如何添加断点?说到debug,肯定是要添加断点的,这里有两种方式添加断点:在想要断点代码后添加一行pdb.set_trace()若是使用这种方式,直

系统 2019-09-27 17:53:53 2098

Python

python爬取全国公交线路---bs4方法

这里主要讲了bs4解析方法和json方法,以8684网页为例子,爬取了全国公交线路importrequestsimporttimefrombs4importBeautifulSoupimportjsonfromxpinyinimportPinyinheaders={'User-Agent':'Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/76.0.

系统 2019-09-27 17:53:12 2098

Python

python求职准备第1天—进程

进程是操作系统分配内存的最小单位Python中进程用到的库multiprocessing简单的多进程示例frommultiprocessingimportProcessfromtimeimporttime,sleepfromrandomimportrandintdefdownload_task(task_name):print(task_name+'开始下载')time=randint(1,5)sleep(time)print(task_name+f'下载

系统 2019-09-27 17:53:03 2098

Python

Python是编译运行的验证方法

虽然Python被说成是一种解释型语言,但是实际上,Python源程序要先经过编译,然后才能运行。与Java语言类似,Python源程序编译之后得到的是字节码,交由Python虚拟机来运行。关于这一点,我们可以这样来验证:复制代码代码如下:#!/usr/bin/pythonprint"position1"1_syntax_error_identifierprint"position2"将它保存为program.py,然后在shell窗口中运行它:复制代码代

系统 2019-09-27 17:52:41 2098

Python

来自python自学者的小问题

我想使用python的第三方库,但是我的IDE给我一个错误代码:D:\untitled\venv\Scripts\python.exe"D:/pycode/venv/sxsxsxsxs.py"Traceback(mostrecentcalllast):File"D:\untitled\venv\lib\site-packages\urllib3\connectionpool.py",line597,inurlopenself._prepare_proxy(

系统 2019-09-27 17:52:39 2098