Python爬虫,使用BeautifulSoup可以轻松解析页面结果,下面是使用该方法爬取boss页面的职位信息:包括职位名称、薪资、地点、公司名称、公司融资情况等信息。通过这个示例可以轻松看到BeautifulSoup的使用方法。1、爬取boss直聘的职位信息importrequestsfrombs4importBeautifulSoupfrommiddlewaresimportget_random_proxy,get_random_agentimpor
系统 2019-09-27 17:51:39 2128
可以执行shell命令的相关模块和函数有:os.systemos.spawnos.popen--废弃popen--废弃commands--废弃,3.x中被移除以上执行shell命令的相关的模块和函数的功能均在subprocess模块中实现,并提供了更丰富的功能。subprocesscall执行命令,返回状态码>>>importsubprocess>>>ret=subprocess.call(["ls","-l"],shell=False)total4684
系统 2019-09-27 17:51:25 2128
获取现在的时间用方法datetime.datetime.now().strftime('%F%T'),获取未来或者过去的时间可以用如下方法:#-*-coding:utf-8-*-importdatetimeif__name__=='__main__':print(datetime.datetime.now().strftime('%F%T'))print((datetime.datetime.now()-datetime.timedelta(days=1)
系统 2019-09-27 17:51:23 2128
考虑这种情况:如果一个线程遇到锁嵌套的情况该怎么办,这个嵌套是指当我一个线程在获取临界资源时,又需要再次获取。根据这种情况,代码如下:复制代码代码如下:'''Createdon2012-9-8@author:walfred@module:thread.ThreadTest6'''importthreadingimporttimecounter=0mutex=threading.Lock()classMyThread(threading.Thread):de
系统 2019-09-27 17:50:55 2128
在Python中通过GET来获取页面的COOKIE是非常简单的事情,下面的代码实例演示了如何利用Python获取COOKIE内容#!/usr/bin/envpython#coding=utf-8#-*-coding:utf-8-*-#encoding=utf-8importurllibimporturllib2importhttplibcj=''header={'Host':'218.94.26.135','Accept-Language':'zh-CN'
系统 2019-09-27 17:50:46 2128
简单来说,三种方法是为了删除字符串中不同位置的指定字符。其中,strip()用于去除字符串的首尾字符,同理,lstrip()用于去除左边的字符,rstrip()用于去除右边的字符Python中有三个去除头尾字符、空白符的函数,它们依次为:strip:用来去除头尾字符、空白符(包括\n、\r、\t、'',即:换行、回车、制表符、空格)lstrip:用来去除开头字符、空白符(包括\n、\r、\t、'',即:换行、回车、制表符、空格)rstrip:用来去除结尾字
系统 2019-09-27 17:49:33 2128
目录logging模块利用配置加载logger方式一模板:logging.config.dictConfig(config_dict)logging模块利用配置加载loggerlogging.config模块提供了从配置加载创建logger等相关对象,并放入manager对象中进行缓存待用。所以记录下一般几种方式配置的范本模式,方便项目中copy直接修改使用。dictconfigreferences官档关于logging配置字典说明方式一模板:loggin
系统 2019-09-27 17:49:12 2128
Python标准库中functools库中有很多对方法很有有操作的封装,partialObjects就是其中之一,他是对方法参数默认值的修改。下面就看下简单的应用测试。复制代码代码如下:#!/usr/bin/envpython#-*-coding:utf-8-*-#python2.7x#partial.py#authror:orangleliu'''functools中Partial可以用来改变一个方法默认参数1改变原有默认值参数的默认值2给原来没有默认值
系统 2019-09-27 17:48:32 2128
本文介绍了使用Python来扫描指定目录下的文件,或者匹配指定后缀和前缀的函数。步骤如下:如果要扫描指定目录下的文件,包括子目录,需要调用scan_files("/export/home/test/")如果要扫描指定目录下的特定后缀的文件(比如jar包),包括子目录,调用scan_files("/export/home/test/",postfix=".jar")如果要扫描指定目录下的特定前缀的文件(比如test_xxx.py),包括子目录,调用scan_
系统 2019-09-27 17:47:27 2128
对Python中正则表达式的理解,主要就是对符号的理解,本文即对Python中常用的正则表达式符号进行简析。其主要的符号有:.默认匹配一个字符,不包含换行符,如果设置DOTALL则匹配换行符^匹配行首$匹配行尾*匹配0个或者多个重复+匹配一个或者多个重复?匹配一个或者零个重复*?,+?,??按照非贪婪模式匹配{m},{m,n},{m,n}?分别匹配m个重复,m至n个重复,m至n个重复按照非贪婪模式\转义[][abc],[a-z][^a-z]|或者匹配'a|
系统 2019-09-27 17:46:52 2128
预编译importrere1=re.compile(r'元字符组成的正则规则')#元字符下面会说re1.方法()#方法下边也会说元字符:表示普通字符:.#除了\n外都可以匹配的到\d#只匹配纯数字0-9\D#和\d相反,除了数字全都匹配\s#只匹配空格\S#和\s相反,除了空格,全都匹配#我喜欢用[\s\S]*?匹配所有\w#只匹配纯数字或大小写字母或下划线\W#与\w恰好相反,除了纯数字、大小写字母、下划线全都匹配[]#[abcde]只要包含这个列表的字
系统 2019-09-27 17:46:42 2128
各国家用户消费分布importnumpyasnpimportpandasaspdimportmatplotlib.pyplotaspltdata={'China':[1000,1200,1300,1400,1500,1600,1700,1800,1900,2500],'America':[1200,1300,1400,1500,1600,1700,1800,1900,2000,2100],'Britain':[1000,1200,1300,1400,150
系统 2019-09-27 17:46:20 2128
Python的MySQLdb模块是Python连接MySQL的一个模块,默认查询结果返回是tuple类型,只能通过0,1..等索引下标访问数据默认连接数据库:复制代码代码如下:MySQLdb.connect(host=host,user=user,passwd=passwd,db=db,port=port,charset='utf8')查询数据:复制代码代码如下:cur=conn.cursor()cur.execute('selectb_idfromblo
系统 2019-09-27 17:46:17 2128
学习Python的第一天,也是我第一次写博客的一天,不怎么会写博客,也不怎么会Python,也不怎么会写总结.在学Python的第一天发现自己脑子不是很好用,在学习过程中出现很多错误,错误锦集如下,哈哈哈哈,要加油.以后要注意不要再犯下面的错误了,不然以后在工作中很难独立完成,也容易出现很多错误,这样就不好了啊!!!下面是我的知识总结和错误总结,如果有IT大佬看见了,希望能指出我的不足之处,让我好改进改进,可以进步.======我======是======
系统 2019-09-27 17:46:07 2128
前言在安装完python及pip,setuptools等工具后,即可以创建virualenv虚拟环境了,这个类似于虚拟机的工具,可以让同一台电脑中运行多个不同版本的python程序,互不影响,不用的时候,可以退出或删除,挺不错的一个开发工具。一、安装virtualenv#installpiponmacbrewinstallpythoncurlhttps://bootstrap.pypa.io/ez_setup.py-o-|sudopythonsudoeas
系统 2019-09-27 17:45:32 2128