前面十章爬虫笔记陆陆续续记录了一些简单的Python爬虫知识，用来解决简单的贴吧下载，绩点运算自然不在话下。不过要想批量下载大量的内容，比如知乎的所有的问答，那便显得游刃不有余了点。于是乎，爬虫框架Scrapy就这样出场了！Scrapy=Scrach+Python，Scrach这个单词是抓取的意思，Scrapy的官网地址：点我点我。那么下面来简单的演示一下Scrapy的安装流程。具体流程参照：//www.jb51.net/article/48607.htm
系统 2019-09-27 17:54:46 1925
今天闲来无聊无意间看到了百度股票，就想着用python爬一下数据，于是就找到了东方财经网，结合这两个网站，写了一个小爬虫，数据保存在文件中，比较简单的示例，就当做用来练习正则表达式和BeautifulSoupl了。首先页面分析，打开东方财经网股票列表页，和百度股票详情页，右键查看网页源代码，网址后面的代码就是股票代码，所以打算先获取股票代码，然后获取详情，废话少说，直接上代码吧：importreimportrequestsfrombs4importBeau
系统 2019-09-27 17:54:39 1925
python中random的常用方法总结一、random常用模块1.random.random()随机生成一个小数print(random.random())#输出0.60605621179967842.random.randint(m,n)随机生成一个m到n的整数（包括n）print(random.randint(1,5))#输出53.random.randrange(m,n)随机生成m到n中的一个数，包括m但是不包括nprint(random.rand
系统 2019-09-27 17:54:35 1925
前提：python3.4windows作用：通过搜狗的微信搜索接口http://weixin.sogou.com/来搜索相关微信文章，并将标题及相关链接导入Excel表格中说明：需xlsxwriter模块，另程序编写时间为2017/7/11，以免之后程序无法使用可能是网站做过相关改变，程序较为简单，除去注释40多行。正题：思路：打开初始Url-->正则获取标题及链接-->改变page循环第二步-->将得到的标题及链接导入Excel爬虫的第一步都是先手工操作
系统 2019-09-27 17:54:31 1925
pycharm软件很好，但是不能在无图形的终端下使用，另外它们是“重量级选手”。如果偶尔需要vim编辑python程序，让vim支持python的语法提示不是更好！实际上，vim支持python提示，就是把python以及各种各样模块的常用指令都写到一个字典里。操作步骤如下：1、创建vim插件工作目录[root@zsl~]#mkdir-p~/.vim/bundle/2、下载插件[root@zsl~]#cd~/.vim/bundle/[root@zsl~]#
系统 2019-09-27 17:54:31 1925
python里面可以将路径里面的\替换成/避免转义。os.walk方法可以将目标路径下文件的root，dirs，files提取出来。后面对每个文件进行操作。切片操作[:]判断是否为.jpg或.JPG文件。shutil的copy方法将文件从旧路径复制到新路径。glob的glob方法提取目标文件夹的所有图片，对每张图片进行显示保存等操作。详细代码及注释如下：importosimportshutilimportglobimportcv2path='C:/User
系统 2019-09-27 17:54:30 1925
本文详细归纳整理了Python中列表、字典、元组、集合数据结构。分享给大家供大家参考。具体分析如下：列表：复制代码代码如下:shoplist=['apple','mango','carrot','banana']字典：复制代码代码如下:di={'a':123,'b':'something'}集合：复制代码代码如下:jihe={'apple','pear','apple'}元组：复制代码代码如下:t=123,456,'hello'1.列表空列表：a=[]函数
系统 2019-09-27 17:54:17 1925
前言web是一个开放的平台，这也奠定了web从90年代初诞生直至今日将近30年来蓬勃的发展。然而，正所谓成也萧何败也萧何，开放的特性、搜索引擎以及简单易学的html、css技术使得web成为了互联网领域里最为流行和成熟的信息传播媒介；但如今作为商业化软件，web这个平台上的内容信息的版权却毫无保证，因为相比软件客户端而言，你的网页中的内容可以被很低成本、很低的技术门槛实现出的一些抓取程序获取到，这也就是这一系列文章将要探讨的话题――网络爬虫。有很多人认为w
系统 2019-09-27 17:54:02 1925
本文实例讲述了Python编程中的反模式。分享给大家供大家参考。具体分析如下：Python是时下最热门的编程语言之一了。简洁而富有表达力的语法，两三行代码往往就能解决十来行C代码才能解决的问题；丰富的标准库和第三方库，大大节约了开发时间，使它成为那些对性能没有严苛要求的开发任务的首选；强大而活跃的社区，齐全的文档，也使很多编程的初学者选择了它作为自己的第一门编程语言。甚至有国外的报道称，Python已经成为了美国顶尖大学里最受欢迎的编程入门教学语言。要学好
系统 2019-09-27 17:53:32 1925
#使用StandardScaler进行数据预处理importnumpyimportmatplotlib.pyplotaspltfromsklearn.datasetsimportmake_blobsX,y=make_blobs(n_samples=40,centers=2,random_state=50,cluster_std=2)plt.scatter(X[:,0],X[:,1],c=y,cmap=plt.cm.cool)plt.show()#导入Sta
系统 2019-09-27 17:52:41 1925
将做工程过程中重要的一些代码段收藏起来，下面代码段是关于python检测RabbitMQ的状态是否正常的代码。importsocketdefcheck_aliveness(ip,port):sk=socket.socket(socket.AF_INET,socket.SOCK_STREAM)sk.settimeout(1)try:sk.connect((ip,port))print'serviceisOK!'returnTrueexceptExceptio
系统 2019-09-27 17:52:41 1925
python操作Excel首先我们先分析一下怎么去操作和流程使用哪些库及方式本文免费直播课程分享链接：https://ke.qq.com/course/397896?flowToken=1009460有需要学习提升的宝宝可以进去免费报名一下1、使用的库xlrd2、打开文件3、定位到具体的一个sheet表4、以什么方式打开分析完之后下面就是操作编写代码，注意看和分析#--coding:utf-8--importxlrd#打开一个文件data=xlrd.ope
系统 2019-09-27 17:52:40 1925
目前，Python科学栈中的所有主要项目都同时支持Python3.x和Python2.7，不过，这种情况很快即将结束。去年11月，Numpy团队的一份声明引发了数据科学社区的关注：这一科学计算库即将放弃对于Python2.7的支持，全面转向Python3。Numpy并不是唯一宣称即将放弃Python旧版本支持的工具，pandas与Jupyternotebook等很多产品也在即将放弃支持的名单之中。对于数据科学开发者而言，如何将已有项目从Python2转向P
系统 2019-09-27 17:52:25 1925
创建main.py文件并粘贴下面代码点击右键运行Debug'main'后，下方的Debug窗口会出现ImportError:Nomodulenamed'bottle'这样的提示，提示导入bottle包出错所以我们需要先安装这两个包，cmd，输入pipinstallbottle回车后开始安装bottle包Mac权限不够补上sudo#!/usr/bin/python#coding=utf-8frombottleimportdefault_app,get,run
系统 2019-09-27 17:52:23 1925
每天换一个壁纸，每天好心情。#-*-coding:UTF-8-*-from__future__importunicode_literalsimportImageimportdatetimeimportwin32gui,win32con,win32apiimportrefromHttpWrapperimportSendRequestStoreFolder="c:\\dayImage"defsetWallpaperFromBMP(imagepath):k=wi
系统 2019-09-27 17:51:14 1925
