搜索到与相关的文章
Python

python爬取全国公交线路---bs4方法

这里主要讲了bs4解析方法和json方法,以8684网页为例子,爬取了全国公交线路importrequestsimporttimefrombs4importBeautifulSoupimportjsonfromxpinyinimportPinyinheaders={'User-Agent':'Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/76.0.

系统 2019-09-27 17:53:12 2007

Python

Python爬虫图片懒加载技术 selenium和PhantomJS解析

一.什么是图片懒加载?-案例分析:抓取站长素材http://sc.chinaz.com/中的图片数据#!/usr/bin/envpython#-*-coding:utf-8-*-importrequestsfromlxmlimportetreeif__name__=="__main__":url='http://sc.chinaz.com/tupian/gudianmeinvtupian.html'headers={'User-Agent':'Mozill

系统 2019-09-27 17:52:42 2007

Python

python 多线程对post请求服务器测试并发的方法

如下所示:#-*-coding:utf-8-*-importrequestsimportthreadingimporttimeclasspostrequests():def__init__(self):self.url='请求网址'self.files={'unknown_image':open('刘诗诗.jpg','rb')}defpost(self):try:r=requests.post(self.url,files=self.files)print

系统 2019-09-27 17:52:33 2007

Python

浅析Python与Mongodb数据库之间的操作方法

MongoDB是目前最流行的NoSQL数据库之一,使用的数据类型BSON(类似JSON)。1.安装Mongodb和pymongoMongodb的安装和配置Mongodb的安装教程请网上搜索,安装完成后,进行以下配置过程:1.1创建目录,该目录为Mongodb数据文件的存放目录:*注:本人使用的不是root用户,所以修改目录的拥有者.*sudomkdir/datasudochown-Rpython:python/datamkdir/data/db1.2分别执

系统 2019-09-27 17:52:16 2007

Python

python学习笔记——函数和模块

函数这么重要的东西自然少不了。那么在python中是怎么定义的呢?defcgg(name):print("haha%s"%name)def是定义的意思,而cgg是函数名,name是参数。当然了,有了函数吗,自然少不了函数的返回值。那么这里用的依然是return。defcgg(a,b):returna+b模块一个小例子:importtimeprint(time.asctime())这个可以显示现在的时间。而这个time就是一个模块,包括之前的turtle也是

系统 2019-09-27 17:51:49 2007

Python

Python:linux下的pip安装

阅读更多网上流传以下几种安装1)要安装或升级pip,需要下载get-pip.py.地址:https://bootstrap.pypa.io/get-pip.py然后运行以下命令(需要管理员权限):pythonget-pip.py试了试:不行2)去官网下载①https://pypi.python.org/pypi/pip②下载之后的包上传到服务器上③然后解压tar-zxvf***④解压之后会有个文件夹⑤进入到文件夹,执行命令pythonsetup.pyins

系统 2019-09-27 17:51:30 2007

Python

python中多个装饰器的调用顺序详解

前言一般情况下,在函数中可以使用一个装饰器,但是有时也会有两个或两个以上的装饰器。多个装饰器装饰的顺序是从里到外(就近原则),而调用的顺序是从外到里(就远原则)。原代码执行结果装饰顺序:就近原则被装饰的函数,组装装饰器时,是从下往上装饰执行顺序:就远原则装饰器调用时是从上往下调用为了更好的理解,找到这段话:被装饰的函数是一个妹子,装饰器是衣服。“办事情”的时候得依次把外套、衬衣、内衣脱掉,事情办完了还要依次把内衣、衬衣、外套穿上。距离“妹子”越近的装饰器代

系统 2019-09-27 17:51:26 2007

Python

趣学python3(4)-数字,字符串,列表(1)

1、数字普通除法print(7/3)2.3333333333333335地板除print(7//3)2取余print(7%3)1乘法print(7*3)21乘方print(3**3)27四则运算print((3*2)+5-(5*3))-42、字符串单引号和双引号作用一样print(‘hello’)print(“hello”)print("‘hello’")hellohello‘hello’将转义符原样输出print(r"hello\nworld")hell

系统 2019-09-27 17:51:24 2007

Python

python对日志进行处理的实例代码

平时做数据处理基本离不了日志记录功能。每次都配置一堆挺烦人,索性封装个模块,这里记录一下,与大家共享。说明本日志模块目前只有一个方法getLogger,其他配置项通过参数传递,包括日志文件名,等级,日志文件划分方式,日志清除配置,日志格式等。logger.pyimportloggingfromloggingimporthandlers#日志级别字典__level_dict={'critical':logging.CRITICAL,'fatal':loggi

系统 2019-09-27 17:50:32 2007

Python

[python numpy] numpy布尔值索引 数组索引

更详细见:https://blog.csdn.net/Lord_sh/article/details/92653790>>>x=np.arange(0,16).reshape(4,4)>>>xarray([[0,1,2,3],[4,5,6,7],[8,9,10,11],[12,13,14,15]])>>>idx=[[1,0,0,0],[0,1,0,0],[0,1,0,0],[0,0,0,1]]>>>idx[[1,0,0,0],[0,1,0,0],[0,1,

系统 2019-09-27 17:49:14 2007