今天闲来无聊无意间看到了百度股票，就想着用python爬一下数据，于是就找到了东方财经网，结合这两个网站，写了一个小爬虫，数据保存在文件中，比较简单的示例，就当做用来练习正则表达式和BeautifulSoupl了。首先页面分析，打开东方财经网股票列表页，和百度股票详情页，右键查看网页源代码，网址后面的代码就是股票代码，所以打算先获取股票代码，然后获取详情，废话少说，直接上代码吧：importreimportrequestsfrombs4importBeau
系统 2019-09-27 17:54:39 1873
1、判断目录是否存在、判断文件是否存在、创建目录、重命名目录或文件importos#获取当前目录路径：E:\Work\Projects\pythonprint(os.getcwd())#判断当前目录是否存在，不存在则创建目录dir1ifnotos.path.isdir('dir1'):os.mkdir('dir1')#判断指定目录是否存在，不存在则创建目录dir22ifnotos.path.isdir('E:\Work\Projects\python\di
系统 2019-09-27 17:54:34 1873
前言做网络爬虫的同学肯定见过各种各样的验证码，比较高级的有滑动、点选等样式，看起来好像挺复杂的，但实际上它们的核心原理还是还是很清晰的，本文章大致说明下这些验证码的原理以及带大家实现一个滑动验证码。实际上这类验证码的校验是分为两个步骤的：1.第一步就是前端的校验。一般来说，登录注册页面在点击提交的时候都会伴随着一个表单提交，在表单提交的时候会有JavaScript事件的触发。如果加入了验证码，那么在表单提交的时候会多加一个额外的验证，判断这个验证码是否已经
系统 2019-09-27 17:54:32 1873
今天我们来介绍下Python基础教程学习之iter()方法另外的用法。据说很少有人知道这个用法！一、上代码、学用法我们都比较熟悉iter(obj)，会返现一个迭代器，如果obj不是可迭代对象，则会报错。但其实如果仔细看官方文档，会发现iter()方法其实是接受两个参数的，文档说明如下iter(object[,sentinel])sentinel英文翻译为哨兵。sentinel参数是可选的，当它存在时，object不再传入一个可迭代对象，而是一个可调用对象，
系统 2019-09-27 17:54:30 1873
最近在学习Python，所谓好记性不如烂笔头故借这次学习机会做个笔记，方便今后快速再学习。以下是常见函数的使用说明：range函数该函数用于创建数列，根据参数个数不同对应不同的用法进行说明（1）range（a,b,c）三个参数时，表示创建一个从a~b-1的数组,每c个数取一个值。当c=1时，可省略c，即用法等同于(2)（2）range（x,y）两个参数时，表示创建一个从a~b-1的数组，一共b-a个元素。当x=0时，可省略y,用法等同于（1）（3）rang
系统 2019-09-27 17:53:51 1873
运营：“活动参与人数那么少，肯定是推广渠道不行”市场：“PV和UV都很高，最后转化这么低，运营是不是有环节没做好？”产品：“我觉得这个功能这样改绝对能提升用户留存！所以这个需求必须要实现”程序员：“怎么证明这是有效需求，我不要你觉得...”如果各位在职场中有和同事argue的经历，凭猜想定位问题，彼此谁都说服不了谁，这个时候就要丢出杀手锏——数据。不仅要拿数据，还要用数据，用数据分析每个环节，定位具体问题，用异常数据证明问题所在，用合理数据推测活动效果。拥
系统 2019-09-27 17:53:44 1873
Scrapy是一个开源的Python数据抓取框架，速度快，强大，而且使用简单。来看一个官网主页上的简单并完整的爬虫：虽然只有10行左右的代码，但是它的确是一个完整的爬虫服务：当执行scrapyrunspiderxxx.py命令的时候，Scrapy在项目里查找Spider(蜘蛛️)并通过爬虫引擎来执行它。首先从定义在start_urls里的URL开始发起请求，然后通过parse()方法处理响应。response参数就是返回的响应对象。在parse()方法中，
系统 2019-09-27 17:53:38 1873
Python对于将函数作为参数传递给另一个函数调用是非常方便的，只要你在函数中将调用的参数按照函数处理进行调用，这种操作就能顺利完成。如：defS(n):sum=0foriinrange(n):sum+=ireturnsumdefP(f):a=eval(input('输入一个数'))print('数的累加为：'f(a))运行P(S)，即能够从键盘获得输入并打印出结果。这里将函数S作为参数传递给P是非常方便的。而在P中，之所以将参数f认为是函数，则是因为对它
系统 2019-09-27 17:53:34 1873
在Python普通字符串中在Python中，我们用'\'来转义某些普通字符，使其成为特殊字符，比如In[1]:print('abc\ndef')#'\n'具有换行的作用abcdefgIn[2]:print('abc\tdef')#'\t'具有制位符的作用abcdefg我们还可以用'\'来转义特殊字符，使其成为普通字符，比如In[3]:print('abc\\tdef')#使'\'成为一个普通的字符，没有转义作用abc\tdefIn[4]:print('ab
系统 2019-09-27 17:53:25 1873
早听说用python做网络爬虫非常方便，正好这几天单位也有这样的需求，需要登陆XX网站下载部分文档，于是自己亲身试验了一番，效果还不错。本例所登录的某网站需要提供用户名，密码和验证码，在此使用了python的urllib2直接登录网站并处理网站的Cookie。Cookie的工作原理：Cookie由服务端生成，然后发送给浏览器，浏览器会将Cookie保存在某个目录下的文本文件中。在下次请求同一网站时，会发送该Cookie给服务器，这样服务器就知道该用户是否合
系统 2019-09-27 17:53:11 1873
