前言网络爬虫也称为网络蜘蛛、网络机器人，抓取网络的数据。其实就是用Python程序模仿人点击浏览器并访问网站，而且模仿的越逼真越好。一般爬取数据的目的主要是用来做数据分析，或者公司项目做数据测试，公司业务所需数据。而数据来源可以来自于公司内部数据，第三方平台购买的数据，还可以通过网络爬虫爬取数据。python在网络爬虫方向上有着成熟的请求、解析模块，以及强大的Scrapy网络爬虫框架。爬虫分类1、通用网络爬虫：搜索引擎使用，遵守robots协议（君子协议）
系统 2019-09-27 17:51:27 2330
A_star算法与Dijkstra算法Grassfire算法主要不一样的地方就在于加入了一个度量目前的节点与目标点之间的距离的启发函数：常用的启发函数有：算法介绍就不详细叙述了，本文主要是通过python实现A*算法在01地图中（0表示可通行区域，1表示障碍区域）的最优路径寻找，最终效果为：其中6是其进行行走的路径。下面在程序中，对算法中所设计到的需要进行抽象的对象及算法的逻辑流程进行了概述：#需要进行抽象化的有：节点（属性有：xy坐标父节点g及h）地图（
系统 2019-09-27 17:51:25 2330
文件常见的读写模式w以写方式打开，W文件若存在，首先要清空，然后（重新）创建a以追加模式打开(从EOF开始,必要时创建新文件)r+以读写模式打开w+以读写模式打开(参见w)a+以读写模式打开(参见a)rb以二进制读模式打开wb以二进制写模式打开(参见w)ab以二进制追加模式打开(参见a)rb+以二进制读写模式打开(参见r+)wb+以二进制读写模式打开(参见w+)ab+以二进制读写模式打开(参见a+)读取文件内容open读取所有内容使用open打开文件后一定
系统 2019-09-27 17:49:09 2330
Selenium是一个可以让浏览器自动化地执行一系列任务的工具，常用于自动化测试。不过，也可以用来给网页截图。目前，它支持Java、C#、Ruby以及Python四种客户端语言。如果你使用Python，则只需要在命令行里输入“sudoeasy_installselenium”并回车，即可安装selenium的Python版本的客户端支持。以Python为例，我们可以使用下面的脚本来给指定页面（比如脚本之家首页）截图：#-*-coding:utf-8-*-#
系统 2019-09-27 17:47:20 2330
Python自1.5版本起增加了re模块，它提供Perl风格的正则表达式模式。Python1.5之前版本则是通过regex模块提供Emacs风格的模式。Emacs风格模式可读性稍差些，而且功能也不强，因此编写新代码时尽量不要再使用regex模块，当然偶尔你还是可能在老代码里发现其踪影。1.正则表达式基础1.1.简单介绍正则表达式并不是Python的一部分。正则表达式是用于处理字符串的强大工具，拥有自己独特的语法以及一个独立的处理引擎，效率上可能不如str自
系统 2019-09-27 17:45:50 2330
一、持久化--shelve持久化工具（1）作用：类似字典，用kv对保存数据，存取方式类似于字典（2）例子：通过一下案例创建了一个数据库，第二个程序我们读取了数据库#使用shelve创建文件并使用importshelveshv=shelve.open(r"shv.db")shv["one"]=1shv["two"]=2shv.close()shv=shelve.open(r"shv.db")try:print(shv["one"])print(shv["th
系统 2019-09-27 17:45:48 2330
函数和模块的使用在讲解本章节的内容之前，我们先来研究一道数学题，请说出下面的方程有多少组正整数解。$$x_1+x_2+x_3+x_4=8$$事实上，上面的问题等同于将8个苹果分成四组每组至少一个苹果有多少种方案。想到这一点问题的答案就呼之欲出了。$$C_M^N=\frac{M!}{N!(M-N)!},\text{(M=7,N=3)}$$可以用Python的程序来计算出这个值，代码如下所示。"""输入M和N计算C(M,N)"""m=int(input('m=
系统 2019-09-27 17:38:21 2330
当我发现要写python的面向对象的时候，我是踌躇满面，坐立不安呀。我一直在想：这个坑应该怎么爬？因为python中关于面向对象的内容很多，如果要讲透，最好是用面向对象的思想重新学一遍前面的内容。这个坑是如此之大，犹豫再三，还是只捡一下重要的内容来讲吧，不足的内容只能靠大家自己去补充了。惯例声明一下，我使用的版本是python2.7，版本之间可能存在差异。好，在开讲之前，我们先思考一个问题，看代码：为什么我只创建是为a赋值，就可以使用一些我没写过的方法？可
系统 2019-09-27 17:38:17 2330
（作者：徐诚http://blog.csdn.net/shizhebsys保留版权）C语言程序中用于运算的数据可以分为常量与变量两种基本类型。常量是直接在代码中所出现的数据，运算过程中不能修改常量值。变量是C语言程序在内存中为数据动态划分出的定长存储空间，运算过程中可以修改变量值。为了让读者能够更深入的了解常量与变量的本质，在介绍常量与变量前，我们首先需要认识计算机内部数据存储机制。3.1.1内部存储器、寄存器和数据存储形式在计算机的电路中，用于存放运算数
系统 2019-08-29 23:41:14 2330
网上买了一空间，支持MSSQL，可用MSSQL的“连接到服务器”远程连接上去，连接上去后直接点“新建查询”即可直接输入SQL语句查我自己的数据库，但是在“对象资源管理器”中刷新“数据库”，弹出“服务器用户xxx不是数据库bbb的有效用户”的对话框，如图：因为该MSSQL中不仅仅有我买的数据库，还有其他人买的数据库，而我的登陆用户只能操纵我的数据库，所以就会出来“。。。。不是有效用户”的提示，这样子的话我想在图形界面下查询、更新、备份数据库的时候就不行了。要
系统 2019-08-29 23:40:42 2330
