今天闲来无聊无意间看到了百度股票,就想着用python爬一下数据,于是就找到了东方财经网,结合这两个网站,写了一个小爬虫,数据保存在文件中,比较简单的示例,就当做用来练习正则表达式和BeautifulSoupl了。首先页面分析,打开东方财经网股票列表页,和百度股票详情页,右键查看网页源代码,网址后面的代码就是股票代码,所以打算先获取股票代码,然后获取详情,废话少说,直接上代码吧:importreimportrequestsfrombs4importBeau
系统 2019-09-27 17:54:39 2046
前言最近因为工作原因,发现一个Python的时间组件,很好用分享出来!(忘记作者名字了,在这里先感谢了),下面话不多说,来一起看看详细的介绍吧。示例代码:#-*-coding:utf-8-*-'''获取当前日期前后N天或N月的日期'''fromtimeimportstrftime,localtimefromdatetimeimporttimedelta,dateimportcalendaryear=strftime("%Y",localtime())mon
系统 2019-09-27 17:54:18 2046
在日常PC端的Python爬虫过程工作中,Chrome浏览器是我们常用的一款工具。鉴于Chrome浏览器的强大,Chrome网上应用商店很多强大的插件可以帮助我们快速高效地进行数据爬虫。今天推荐的6款Chrome插件,可以大大提升我们的爬虫效率。EditThisCookieEditThisCookie是一个Cookie管理器,可以很方便的添加,删除,编辑,搜索,锁定和屏蔽Cookies。可以将登录后的Cookies先保存到本地,借助cookielib库,直
系统 2019-09-27 17:53:24 2046
关于我一个有思想的程序猿,终身学习实践者,目前在一个创业团队任teamlead,技术栈涉及Android、Python、Java和Go,这个也是我们团队的主要技术栈。Github:https://github.com/hylinux1024微信公众号:终身开发者(angrycode)Flask中全局变量有current_app、request、g和session。不过需要注意的是虽然标题是写着全局变量,但实际上这些变量都跟当前请求的上下文环境有关,下面一起
系统 2019-09-27 17:52:39 2046
函数这么重要的东西自然少不了。那么在python中是怎么定义的呢?defcgg(name):print("haha%s"%name)def是定义的意思,而cgg是函数名,name是参数。当然了,有了函数吗,自然少不了函数的返回值。那么这里用的依然是return。defcgg(a,b):returna+b模块一个小例子:importtimeprint(time.asctime())这个可以显示现在的时间。而这个time就是一个模块,包括之前的turtle也是
系统 2019-09-27 17:51:49 2046
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。Repetitionisthemotherofalllearning.重复是学习之母。看、看、看、看、看,看视频,看书,看公众号…倘若学习编程只要看看书、看看视频、听听讲就能够学会,那编程本身也失去魅力了。现在大家图方便,搜集大堆大堆的视频教程去看,看的时候感觉都懂了。看完什么都忘了。要动手啊!你学编程,无论是工作,还是做自己的项目,都是要一行代码一行代码地去敲出来的。这个过程才是真正学习
系统 2019-09-27 17:51:10 2046
爬虫即网络爬虫,英文是WebSpider。翻译过来就是网络上爬行的蜘蛛,如果把互联网看作一张大网,那么爬虫就是在大网上爬来爬去的蜘蛛,碰到想要的食物,就把他抓取出来。我们在浏览器中输入一个网址,敲击回车,看到网站的页面信息。这就是浏览器请求了网站的服务器,获取到网络资源。那么,爬虫也相当于模拟浏览器发送请求,获得到HTML代码。HTML代码里通常包含了标签和文字信息,我们就从中提取到我们想要的信息。通常爬虫是从某个网站的某个页面开始,爬取这个页面的内容,找
系统 2019-09-27 17:51:07 2046
Python中定义函数有两种方法,一种是用常规方式def定义,函数要指定名字,第二种是用lambda定义,不需要指定名字,称为Lambda函数。Lambda函数又称匿名函数,匿名函数就是没有名字的函数,函数没有名字也行?当然可以啦。有些函数如果只是临时一用,而且它的业务逻辑也很简单时,就没必要非给它取个名字不可。好比电影里面的群众演员,往往他们的戏份很少,最多是衬托主演,跑跑龙套,他们需要名字吗?不需要,因为他们仅仅只是临时出镜,下次可能就用不着了,所以犯
系统 2019-09-27 17:50:41 2046
目录:0引言1环境2需求分析3前置准备4逛店铺流程回顾5代码全景展示6总结0引言最近叠猫猫的活动可真是十分的火爆,每天小伙伴们为了合猫猫忙的可谓是如火如荼。为啥要叠猫猫呢?赚猫币得现金红包!!眼看为实,先来看看我朋友的购物订单。看到没,优惠力度如此之大!!!后知后觉的我,错过了第一波,可不想错过第二波啊!活动需要不断的升级自家的猫,其中一个途径是通过逛店铺来获取喵币。每天可逛40店铺,共可领到40*300喵币!!但是,你总不能一直盯着玩吧?想想都累,所以呢
系统 2019-09-27 17:50:26 2046
协程是什么我们已经做过不少爬虫项目,不过我们爬取的数据都不算太大,如果我们想要爬取的是成千上万条的数据,那么就会遇到一个问题:因为程序是一行一行依次执行的缘故,要等待很久,我们才能拿到想要的数据。既然一个爬虫爬取大量数据要爬很久,那我们能不能让多个爬虫一起爬取?这样无疑能提高爬取的效率,就像一个人干不完的活儿,组个团队一起干,活一下被干完了。这是一个很好的思路——让多个爬虫帮我们干活。但具体怎么用Python实现这事呢?我们可以先别急着想怎么实现这件事,后
系统 2019-09-27 17:50:16 2046