前言网络爬虫也称为网络蜘蛛、网络机器人，抓取网络的数据。其实就是用Python程序模仿人点击浏览器并访问网站，而且模仿的越逼真越好。一般爬取数据的目的主要是用来做数据分析，或者公司项目做数据测试，公司业务所需数据。而数据来源可以来自于公司内部数据，第三方平台购买的数据，还可以通过网络爬虫爬取数据。python在网络爬虫方向上有着成熟的请求、解析模块，以及强大的Scrapy网络爬虫框架。爬虫分类1、通用网络爬虫：搜索引擎使用，遵守robots协议（君子协议）
系统 2019-09-27 17:51:27 2295
需要用到的库：操作xls格式的表格文件：读取：xlrd写入：xlwt修改（追加写入）：xlutils操作Excel文件的实用工具，如复制、分割、筛选等操作xlsx格式的表格文件：读取/写入：openpyxl新建，写入内容，保存。#coding=utf-8importxlwtimportxlrdtry:#创建excel文件filename=xlwt.Workbook()#给工作表命名，testsheet=filename.add_sheet("test")#
系统 2019-09-27 17:51:19 2295
（现在人工智能非常火爆，很多朋友都想学，但是一般的教程都是为博硕生准备的，太难看懂了。最近发现了一个非常适合小白入门的教程，不仅通俗易懂而且还很风趣幽默。所以忍不住分享一下给大家。点这里https://www.cbedai.net/ialexanderi可以跳转到教程。）最近有个需求就是页面上执行shell命令，第一想到的就是os.system，os.system('cat/proc/cpuinfo')但是发现页面上打印的命令执行结果0或者1，当然不满足需
系统 2019-09-27 17:50:55 2295
使用Python解释器1.1Python安装从源码编译安装python./configuremakemaketestsudomakeinstall默认python解释器安装在/usr/local/bin/python3.8,可以将/usr/local/bin放到path搜索路径中。在windows系统上，python一般安装在C:\Python38，在windows命令行中，执行命令setpath=%path%;C:\python38将该路径添加到path
系统 2019-09-27 17:49:19 2295
python基础学习笔记（十二）2013-05-1621:47虫师阅读(...)评论(...)编辑收藏模块前面有简单介绍如何使用import从外部模块获取函数并且为自己的程序所用：>>>importmath>>>math.sin(0)#sin为正弦函数0.0模块是程序任何python程序都可以作为模块导入。假设写如下程序，并且将它保存为以C:\python\hello.py#hello.pyprint"hello,world!"下面通过python解释器调
系统 2019-09-27 17:48:50 2295
Selenium是一个可以让浏览器自动化地执行一系列任务的工具，常用于自动化测试。不过，也可以用来给网页截图。目前，它支持Java、C#、Ruby以及Python四种客户端语言。如果你使用Python，则只需要在命令行里输入“sudoeasy_installselenium”并回车，即可安装selenium的Python版本的客户端支持。以Python为例，我们可以使用下面的脚本来给指定页面（比如脚本之家首页）截图：#-*-coding:utf-8-*-#
系统 2019-09-27 17:47:20 2295
目录一、守护线程1.1详细解释1.2守护线程例11.3守护线程例2一、守护线程无论是进程还是线程，都遵循：守护xx会等待主xx运行完毕后被销毁。需要强调的是：运行完毕并非终止运行。对主进程来说，运行完毕指的是主进程代码运行完毕对主线程来说，运行完毕指的是主线程所在的进程内所有非守护线程统统运行完毕，主线程才算运行完毕1.1详细解释主进程在其代码结束后就已经算运行完毕了（守护进程在此时就被回收）,然后主进程会一直等非守护的子进程都运行完毕后回收子进程的资源(
系统 2019-09-27 17:47:07 2295
起因深夜忽然想下载一点电子书来扩充一下kindle，就想起来python学得太浅，什么“装饰器”啊、“多线程”啊都没有学到。想到廖雪峰大神的python教程很经典、很著名。就想找找有木有pdf版的下载，结果居然没找到！！CSDN有个不完整的还骗走了我一个积分！！尼玛！！怒了，准备写个程序直接去爬廖雪峰的教程，然后再html转成电子书。过程过程很有趣呢，用浅薄的python知识，写python程序，去爬python教程，来学习python。想想有点小激动……
系统 2019-09-27 17:47:00 2295
前言range函数可创建一个整数列表。如果需要知道当前元素在列表中的索引，推荐用enumerate代替range。zip函数用于同时遍历多个迭代器。一、range函数range函数可创建一个整数列表，一般用在for循环中。语法：range([start,]stop[,step])参数：start:计数从start开始。默认是从0开始。例如range（5）等价于range（0,5）;stop:计数到stop结束，但不包括stop。例如：range（0,5）是
系统 2019-09-27 17:46:57 2295
文章目录一、随机数生成并保存到本地一、随机数生成并保存到本地20190621–对用户系统随机优惠码(数字+小写字符)进行爆破指定的随机数生成脚本。#-*-coding:utf-8-*-#导入random,string模块importrandom,string#控制循环遍历次数（生成1000次）forninrange(1000):#join将随机字符的列表转换为字符串格式ran_str2=''.join(random.sample('abcdefghijkl
系统 2019-09-27 17:46:26 2295
