今天闲来无聊无意间看到了百度股票，就想着用python爬一下数据，于是就找到了东方财经网，结合这两个网站，写了一个小爬虫，数据保存在文件中，比较简单的示例，就当做用来练习正则表达式和BeautifulSoupl了。首先页面分析，打开东方财经网股票列表页，和百度股票详情页，右键查看网页源代码，网址后面的代码就是股票代码，所以打算先获取股票代码，然后获取详情，废话少说，直接上代码吧：importreimportrequestsfrombs4importBeau
系统 2019-09-27 17:54:39 2177
1.工具包安装pipinstallvirtualenv|sudoapt-getinstallpython-virtualenv2.创建虚拟环境#virtualenv/system_python_bin_path/your_virenv_local_pathvirtualenv-p/usr/bin/python2.7/usr_local_path#创建链接sudoln-sf/usr_local_path/bin/activatetf_activatesudo
系统 2019-09-27 17:54:23 2177
有时候我们的爬虫程序添加了代理，但是我们不知道程序是否获取到了ip，尤其是动态转发模式的，这时候就需要进行检测了，以下是一种代理是否伪装成功的检测方式，这里推介使用亿牛云提供的代码示例。Python¶requests#!-*-encoding:utf-8-*-importrequestsimportrandom#要访问的目标页面targetUrl="http://httpbin.org/ip"#要访问的目标HTTPS页面#targetUrl="https:
系统 2019-09-27 17:54:07 2177
本文实例讲述了Python中@property的理解和使用。分享给大家供大家参考，具体如下：重看狗书,看到对User表定义的时候有下面两行@propertydefpassword(self):raiseAttributeError('passwordisnotareadableattribute')@password.setterdefpassword(self,password):self.password_hash=generate_password_
系统 2019-09-27 17:54:06 2177
本文实例讲述了python实现对象列表根据某个属性排序的方法。分享给大家供大家参考，具体如下：对于一个已有的pythonlist，里面的内容是一些对象，这些对象有一些相同的属性值，在一些特定的情况下，需要自己选择特定的排序，也就是根据某一个具体的属性来排序，在网上找了下资料，一般来说有两种方法，但从根本上来说，还是调用了list.sort方法来实现。下面是简单的测试代码片段:#coding:utf-8classPerson:def__init__(self
系统 2019-09-27 17:53:53 2177
在日常PC端的Python爬虫过程工作中，Chrome浏览器是我们常用的一款工具。鉴于Chrome浏览器的强大，Chrome网上应用商店很多强大的插件可以帮助我们快速高效地进行数据爬虫。今天推荐的6款Chrome插件，可以大大提升我们的爬虫效率。EditThisCookieEditThisCookie是一个Cookie管理器，可以很方便的添加，删除，编辑，搜索，锁定和屏蔽Cookies。可以将登录后的Cookies先保存到本地，借助cookielib库，直
系统 2019-09-27 17:53:24 2177
在C++11和C#中都有匿名函数的存在。下面看看在python中匿名函数的使用。1.lambda只是一个表达式，函数体比def简单很多。2.lambda的主体是一个表达式，而不是一个代码块。仅仅能在lambda表达式中封装有限的逻辑进去。3.lambda表达式是起到一个函数速写的作用。允许在代码内嵌入一个函数的定义。例1.定义一个lambda表达式，求三个数的和#-*-coding:UTF-8-*-f=lambdax,y,z:x+y+zprintf(1,2
系统 2019-09-27 17:53:21 2177
这里主要讲了bs4解析方法和json方法，以8684网页为例子，爬取了全国公交线路importrequestsimporttimefrombs4importBeautifulSoupimportjsonfromxpinyinimportPinyinheaders={'User-Agent':'Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/76.0.
系统 2019-09-27 17:53:12 2177
主机环境：（Python2.7.9/Win8_64/bs4）利用BeautifulSoup4来抓取www.pm25.com上的PM2.5数据，之所以抓取这个网站，是因为上面有城市PM2.5浓度排名（其实真正的原因是，它是百度搜PM2.5出来的第一个网站！）程序里只对比了两个城市，所以多线程的速度提升并不是很明显，大家可以弄10个城市并开10个线程试试。最后吐槽一下：上海的空气质量怎么这么差！！！PM25.py复制代码代码如下:#!/usr/bin/envp
系统 2019-09-27 17:51:23 2177
推荐系统的相关知识我们已在前文中提到，在这篇文章中，我们会介绍如何用Python来搭建一个简单的推荐系统。本文使用的数据集是MovieLens数据集，该数据集由明尼苏达大学的Grouplens研究小组整理。它包含1,10和2亿个评级。Movielens还有一个网站，我们可以注册，撰写评论并获得电影推荐。接下来我们就开始实战演练。在这篇文章中，我们会使用Movielens构建一个基于item的简易的推荐系统。在开始前，第一件事就是导入pandas和numPy
系统 2019-09-27 17:50:15 2177
