今天闲来无聊无意间看到了百度股票,就想着用python爬一下数据,于是就找到了东方财经网,结合这两个网站,写了一个小爬虫,数据保存在文件中,比较简单的示例,就当做用来练习正则表达式和BeautifulSoupl了。首先页面分析,打开东方财经网股票列表页,和百度股票详情页,右键查看网页源代码,网址后面的代码就是股票代码,所以打算先获取股票代码,然后获取详情,废话少说,直接上代码吧:importreimportrequestsfrombs4importBeau
系统 2019-09-27 17:54:39 1939
前言做网络爬虫的同学肯定见过各种各样的验证码,比较高级的有滑动、点选等样式,看起来好像挺复杂的,但实际上它们的核心原理还是还是很清晰的,本文章大致说明下这些验证码的原理以及带大家实现一个滑动验证码。实际上这类验证码的校验是分为两个步骤的:1.第一步就是前端的校验。一般来说,登录注册页面在点击提交的时候都会伴随着一个表单提交,在表单提交的时候会有JavaScript事件的触发。如果加入了验证码,那么在表单提交的时候会多加一个额外的验证,判断这个验证码是否已经
系统 2019-09-27 17:54:32 1939
我们有时候会需要在网上查找并下载图片,当数量比较少的时候,点击右键保存,很轻松就可以实现图片的下载,但是有些图片进行了特殊设置,点击右键没有显示保存选项,或者需要下载很多图片,这样的情况,写一段Python爬虫代码就可以轻松解决!一、页面抓取#coding=utf-8importurllibdefgetHtml(url):page=urllib.urlopen(url)html=page.read()returnhtmlhtml=getHtml("http
系统 2019-09-27 17:54:24 1939
经常地我们需要编写跨平台的脚本,但是由于不同的平台的差异性,我们不得不获得当前所工作的平台(操作系统类型)。代码如下:复制代码代码如下:importplatformdefTestPlatform():print("----------OperationSystem--------------------------")#Windowswillbe:(32bit,WindowsPE)#Linuxwillbe:(32bit,ELF)print(platform
系统 2019-09-27 17:54:01 1939
Python面向对象编程——多态、多态性、鸭子类型一、多态多态指的是一类事物有多种形态,比如动物有多种形态:人,狗,猪importabcclassAnimal(metaclass=abc.ABCMeta):#同一类事物:动物@abc.abstractmethoddeftalk(self):passclassPeople(Animal):#动物的形态之一:人deftalk(self):print('sayhello')classDog(Animal):#动物
系统 2019-09-27 17:53:42 1939
《lnmp一键安装包》中需要获取ip地址,有2种情况:如果服务器只有私网地址没有公网地址,这个时候获取的IP(即私网地址)不能用来判断服务器的位置,于是取其网关地址用来判断服务器在国内还是国外(脚本为了使国内用户快速下载,yum源自动设置成163,这个情况就需要获取网关地址);如果服务器有公网地址,这时获取的IP地址可用来直接判断服务器地理位置。获取服务器IP,如果有公网地址就取公网地址,没有公网地址就取私网网址下面是之前我用shell来获取本地IP脚本:
系统 2019-09-27 17:53:41 1939
Windows•安装lxml最好的安装方式是通过wheel文件来安装,http://www.lfd.uci.edu/~gohlke/pythonlibs/,从该网站找到lxml的相关文件。假如是Python3.5版本,WIndows64位系统,那就找到lxml‑3.7.2‑cp35‑cp35m‑win_amd64.whl这个文件并下载,然后通过pip安装。下载之后,运行如下命令安装:pip3installwheelpip3installlxml‑3.7.2
系统 2019-09-27 17:53:34 1939
Python对于将函数作为参数传递给另一个函数调用是非常方便的,只要你在函数中将调用的参数按照函数处理进行调用,这种操作就能顺利完成。如:defS(n):sum=0foriinrange(n):sum+=ireturnsumdefP(f):a=eval(input('输入一个数'))print('数的累加为:'f(a))运行P(S),即能够从键盘获得输入并打印出结果。这里将函数S作为参数传递给P是非常方便的。而在P中,之所以将参数f认为是函数,则是因为对它
系统 2019-09-27 17:53:34 1939
描述sin()返回的x弧度的正弦值。语法以下是sin()方法的语法:importmathmath.sin(x)注意:sin()是不能直接访问的,需要导入math模块,然后通过math静态对象调用该方法。参数x--一个数值。返回值返回的x弧度的正弦值,数值在-1到1之间。实例以下展示了使用sin()方法的实例:#!/usr/bin/pythonimportmathprint"sin(3):",math.sin(3)print"sin(-3):",math.s
系统 2019-09-27 17:53:29 1939
阅读更多1,下载pip安装包pip-19.1.1.tar.gz;2,解压缩后出现setup.py文件,然后在目录中通过Shift+右击,点击在此处打开命令窗口,通过pythonsetup.pyinstall,进行安装;3,安装后,通过cmd窗口中,输入piplist,查看命令是否起作用;4,使用pipinstall-Upip,对pip进行升级;5,使用pipinstallpsycopg2,安装postgresql数据驱动;注意:1,python不要装在c盘
系统 2019-09-27 17:53:05 1939