爬虫爬取网页信息的思路:发送网页端请求—>获取响应内容—>解析内容—>获取想要的数据—>保存数据这次我们要实现的是爬取静态网页的股票数据,首先是获取沪深A股的所有股票代码,再用这些股票代码获取相应股票的信息东方财富网有所有个股的股票代码(沪深A股所有股票)查看其网页源代码在网页源代码中可以搜索到相应的元素,判断其是数据是静态的接下来是获取每只个股的信息,由于周六日没开市,东方财富网的个股信息没有显示这里改用百度股市通(个股)同样地检查元素可以发现个股的信息
系统 2019-09-27 17:52:55 2358
一、内置函数sort()原型:sort(fun,key,reverse=False)参数:1、参数fun是表明此sort函数是基于何种算法进行排序的,一般默认情况下python中用的是归并排序,并且一般情况下我们是不会重写此参数的,所以基本可以忽略;2、参数key用来指定一个函数,此函数在每次元素比较时被调用,此函数代表排序的规则,也就是你按照什么规则对你的序列进行排序;3、参数reverse是用来表明是否逆序,默认的False情况下是按照升序的规则进行排
系统 2019-09-27 17:52:44 2358
Python爬虫之设置seleniumwebdriver等待ajax技术出现使异步加载方式呈现数据的网站越来越多,当浏览器在加载页面时,页面上的元素可能并不是同时被加载完成,这给定位元素的定位增加了困难。如果因为在加载某个元素时延迟而造成ElementNotVisibleException(不可见元素异常)的情况出现,那么就会降低自动化脚本的稳定性,设置元素等待可改善这种问题造成的不稳定。一、强制等待强制等待是利用python语言自带的time库中的sle
系统 2019-09-27 17:51:22 2358
1、SyntaxError:Non-UTF-8codestartingwith'\xc7'infiletest_GRU.pyonline解决办法:#在文件前面加#coding=gbk2、如果包ascii报错(1)设置环境变量LANG在linux或Mac上设置环境变量的方式一样,编辑~/.bash_profile文件(’~’指的是用户登录后的默认目录),添加一行:exportLANG="en_US.UTF-8"添加完记得source.bash_profile
系统 2019-09-27 17:51:13 2358
之前遇到一个场景是这样的:我在自己的电脑上需要用mongodb图形客户端,但是mongodb的服务器地址没有对外网开放,只能通过先登录主机A,然后再从A连接mongodb服务器B。本来想通过ssh端口转发的,但是我没有从机器A连接ssh到B的权限。于是就自己用python写一个。原理很简单。1.开一个socketserver监听连接请求2.每接受一个客户端的连接请求,就往要转发的地址建一条连接请求。即client->proxy->forward。proxy
系统 2019-09-27 17:50:32 2358
1.dict()创建字典复制代码代码如下:>>>fdict=dict((['x',1],['y',2]))>>>fdict{'y':2,'x':1}2.fromkeys()来创建一个"默认"字典,字典中元素具有相同的值复制代码代码如下:>>>ddict={}.fromkeys(('x','y'),-1)>>>ddict{'y':-1,'x':-1}3.遍历字典使用keys()遍历复制代码代码如下:>>>dict2={'name':'earth','port
系统 2019-09-27 17:50:06 2358
树和图的数据结构,就很有意思啦。#coding=utf-8classBinaryTree:def__init__(self,root_obj):self.key=root_objself.left_child=Noneself.right_child=Nonedefinsert_left(self,new_node):node=BinaryTree(new_node)ifself.left_childisNone:self.left_child=nodee
系统 2019-09-27 17:49:38 2358
常用python读取文件内容的,都知道python有几个不同的函数,完成功能一样,但细节有区别。一、read()读取整个文件,将文件内容(包括换行)放到一个字符串变量中。需要注意的是这个函数对内存的消耗,不推荐在工程中使用。二、readline()读取整行,包括行结束符,并作为字符串返回,保持当前行的内存。特点是不快。:)三、readlines()比上个函数多一个s,功能就有区别了。读取所有行然后把它们作为一个字符串列表返回。就是把全部的readline(
系统 2019-09-27 17:49:29 2358
一、函数的定义及其应用所谓函数,就是把具有独立功能的代码块组织成为一个小模块,在需要的时候调用函数的使用包含两个步骤1.定义函数�C封装独立的功能2.调用函数�C享受封装的成果函数的作用:在开发时,使用函数可以提高编写的效率以及代码的重用‘'函数:函数是带名字的代码块,用于完成具体的工作需要在程序中多次执行同一项任务时,你无需反复编写完成该任务的代码,而只需调用该任务的函数,让python运行其中的代码,你将发现,通过使用函数,程序编写,阅读,测试和修复都
系统 2019-09-27 17:48:58 2358
本文实例讲述了Python从函数参数类型引出元组。分享给大家供大家参考,具体如下:自定义函数:特殊参数defshow(name="jack",*info):print(name)#jackprint(info)#(22,'男')show("jack",22,"男")可以看出22,"男"全部归为了函数的第二个参数*info。我们可以看到打印这个info参数结果是:小括号包起来的形式。函数的特殊参数升级上面见识了函数参数*xxx这种形式,下面看看2个*的形式。
系统 2019-09-27 17:48:48 2358
作者:楷楷链接:https://segmentfault.com/a/11...开发思路完整项目地址:https://github.com/371854496/...更多好玩有趣的python,尽在公众号「Python专栏」,后台回复「机器学习电子书」免费获取100本机器学习电子书引入需要的模块,配置图片路径,设置界面宽高背景颜色,创建游戏主入口。#1引入需要的模块importpygameimportrandom#1配置图片地址IMAGE_PATH='im
系统 2019-09-27 17:48:42 2358
1.Django:PythonWeb应用开发框架Django应该是最出名的Python框架,GAE甚至Erlang都有框架受它影响。Django是走大而全的方向,它最出名的是其全自动化的管理后台:只需要使用起ORM,做简单的对象定义,它就能自动生成数据库结构、以及全功能的管理后台。2.Diesel:基于Greenlet的事件I/O框架Diesel提供一个整洁的API来编写网络客户端和服务器。支持TCP和UDP。3.Flask:一个用Python编写的轻量级
系统 2019-09-27 17:47:29 2358
文章目录内存1.顺序表的形式(元素内置vs外置)元素内置元素外置2.顺序表结构(一体式vs分离式)一体式存储更换数据分离式存储更换数据数据区扩充3.顺序表的操作增加元素删除元素4.python中的顺序表List的基本实现技术内存内存以1Byte=8bits来作为存储单位。操作系统寻址最小单位为字节,一个字节为8bit。一个整形int占4Byte.在计算机中占用内存如下:0x01-0x04对应的内存存储的就是整体inta,所以我们可以看到这时把它当作一个整体
系统 2019-09-27 17:46:04 2358
阅读更多基本原理就是利用selenium模拟操作实现登录,我的目的是要开通直播,获取直播码,最终实现定时直播录像节目。目前已经实现了获取直播码。其中难度较大是滑动验证,网上的例子已经失效,最终还是找到了方法成功了。演示地址:https://www.bilibili.com/video/av58116369/
系统 2019-09-27 17:45:44 2358
下面通过COM让Python与Word建立连接实现Python操作Word批量生成文章,具体介绍请看下文:需要做一些会议记录。总共有多少呢?五个地点x7个月份x每月4篇=140篇。虽然不很重要,但是140篇记录完全雷同也不好。大体看了一下,此类的记录大致分为四段。于是决定每段提供四种选项,每段从四选项里随机选一项,拼凑成四段文字,存成一个文件。而且要打印出来,所以准备生成一个140页的Word文档,每页一篇。需要用到win32com模块(下载链接:http
系统 2019-09-27 17:38:38 2358