前言网络爬虫也称为网络蜘蛛、网络机器人，抓取网络的数据。其实就是用Python程序模仿人点击浏览器并访问网站，而且模仿的越逼真越好。一般爬取数据的目的主要是用来做数据分析，或者公司项目做数据测试，公司业务所需数据。而数据来源可以来自于公司内部数据，第三方平台购买的数据，还可以通过网络爬虫爬取数据。python在网络爬虫方向上有着成熟的请求、解析模块，以及强大的Scrapy网络爬虫框架。爬虫分类1、通用网络爬虫：搜索引擎使用，遵守robots协议（君子协议）
系统 2019-09-27 17:51:27 2230
利用python查找电脑里的文件非常方便比如在我的电脑：D:\软件文件夹里有非常非常多的软件。我忘记某个软件叫什么名字了，只记得文件名称里有now,而且后缀名是.zip利用python如何实现查找呢？用python非常简单：代码如下截图：首先是导入模块os然后就是利用os.listdir()打开目录下的所有文件，files其实是一个列表。其实前2行可以合并为一行：files=os.listdir(u'D:\软件')这样写也行。下面就是一个for循环非常简单
系统 2019-09-27 17:51:24 2230
需要用到的库：操作xls格式的表格文件：读取：xlrd写入：xlwt修改（追加写入）：xlutils操作Excel文件的实用工具，如复制、分割、筛选等操作xlsx格式的表格文件：读取/写入：openpyxl新建，写入内容，保存。#coding=utf-8importxlwtimportxlrdtry:#创建excel文件filename=xlwt.Workbook()#给工作表命名，testsheet=filename.add_sheet("test")#
系统 2019-09-27 17:51:19 2230
今天向大家介绍app爬取。文章目录一：爬取主要流程简述二：抓包工具Charles1.Charles的使用2.安装(1)安装链接(2)须知(3)安装后3.证书配置(1)证书配置说明(2)windows系统安装证书配置(3)Android手机安装证书配置4.开启SSL监听5.原理6.抓包三：抓包工具mitmproxy(免费的)1.简介2.关联组件3.安装和证书配置(1)用pip安装(2)在GitHub或官网上安装3.证书配置(1)产生CA证书4.抓包原理5.设
系统 2019-09-27 17:50:36 2230
importnumpyasnpa=np.array([[0,3],[1,4]])#a.shape是（2,2）#axis=1表示按行相加，并且保持其二维特性print(np.sum(a,axis=1,keepdims=True))#按行相加，不保持其二维特性print(np.sum(a,axis=1))输出为array([[3],[5]])，shape是（2,1）array([3,5])，shape是（1,2）
系统 2019-09-27 17:50:08 2230
事先在网上搜索了一大圈，头都大了，看到那么多文章写道在python里安装psycopg2的各种坑和各种麻烦，各种不成功。搜索了一下午，索性外出放松。晚饭后，又继续上psycopg2官网（http://initd.org/psycopg/docs/install.html）看了一些有关install的资料，感觉还是麻烦。最后上这个网（https://pypi.python.org/pypi/psycopg2/）上，准备用wheel的方式进行安装。不过在此网页
系统 2019-09-27 17:50:03 2230
如下所示：#-*-coding:utf-8-*-#-------------------------------------------------------------------------------#Name:module1#Purpose:##Author:leniy_tsan##Created:10-04-2012#Copyright:(c)leniy_tsan2012#Licence:GPLv2#----------------------
系统 2019-09-27 17:49:23 2230
实现一个函数，将一个字符串中的空格替换成“%20”#!/usr/bin/envpython#-*-coding:utf-8-*-test=raw_input()#从键盘输入inital_length=len(test)kong=0#kong用来统计输入的一行数据中总共有多少个空格foriintest:ifi=="":kong+=1final_length=inital_length+2*kong#计算转换后的数组的长度p1=inital_length-1p
系统 2019-09-27 17:49:11 2230
网络请求urlopen函数用法urllib库urllib库是python中一个最基本的网络请求库。可以模拟浏览器的行为，向指定的服务器发送一个请求，并可以保存服务器返回的数据urlopen函数在python3的urllib库中，所有和网络请求相关的方法都被集成到urllib.request模块下面了，下面先看下urlopen函数基本使用：fromurllibimportrequestresp=request.urlopen('http://www.baid
系统 2019-09-27 17:48:21 2230
今天没啥事儿就在网上溜达，对，只是溜达没干别的，鼠标点着点着进了一个网站，一个妹子图网站，然后然后就一发不可收拾，一看就是一个小时。自认为自控力还可以，奈何里面的内容太精彩了，什么高qing、午马、shi身啊.........真吃鸡，自己都控制不住自己，，，，当然，作为一名“技术人”，内容肯定不会一点一点地去看，要看就要看过瘾；然后一不小心就把里面的东西给全部下下来了，没看错是全部下下来了，先看个效果图：网站是张这个样子的：废话不多说，直接开始爬取，首先我
系统 2019-09-27 17:47:07 2230
