上一期博客，我本来想爬取美团美食的，但是由于请求头太复杂，没有破解开其中的几个参数，所以放弃，这次我们来用selenium来模式浏览器抓取数据，我们先来简单看一下流程：1，利用selenium驱动浏览器，得到美食列表2，分析网页，并给予翻页后续的美食列表3，分析提取数据（pyQuery）项目一：美团美食项目地址：https://gitee.com/dwyui/pyQuery_selenium.git由于美团反扒严重，只爬取到部分数据，可以尝试修改间隔时间来
系统 2019-09-27 17:45:51 2565
第2章监督学习利用graphviz打开绘制的dot格式决策图出错，有两个坑需注意1、pipinstallgraphviz库还不够，还要安装graphviz软件，地址http://www.graphviz.org/download/。2、强烈建议安装地址为C盘，安装后添加软件所在文件夹（bin）地址到PATH环境。之前安装到其他盘，运行一直出错，makesuretheGraphvizexecutablesareonyoursystems’PATH，改为C盘就
系统 2019-09-27 17:57:03 2564
requests是python实现的简单易用的HTTP库，使用起来比urllib简洁很多因为是第三方库，所以使用前需要cmd安装pipinstallrequests安装完成后import一下，正常则说明可以开始使用了。基本用法：requests.get()用于请求目标网站，类型是一个HTTPresponse类型importrequestsresponse=requests.get('http://www.baidu.com')print(response.
系统 2019-09-27 17:56:23 2564
centos安装python3与python2共存网上的教程一搜很多，质量参差不齐，好多都是直接转发的，自己都没试试（导致一个错误的方法传的到处都是，无力吐槽），这里我给出一个我自己安装成功的例子。系统是centos6.8，python是3.6.5。1、安装依赖环境yum-yinstallzlib-develbzip2-developenssl-develncurses-develsqlite-develreadline-develtk-develgdbm
系统 2019-09-27 17:55:40 2564
多线程原理：TCP服务器会创建一个线程池，每当有客户端请求连接的时候，它便会从线程池中分配一个线程同客户端建立连接，当客户端中断连接后，线程便销毁。SocketServer是标准库中一个高级别的模块。用于简化网络客户与服务器的实现。socketserver模块中分两大类：server类(解决连接问题)和request类(解决通信问题)我们将服务器做为中转站来处理信息，一方面与客户端互动，另一方面进行消息转发。大体思路确定下来后，需要确定一些通信规则：1.客
系统 2019-09-27 17:52:19 2564
while语句打印1-20的整数，并且每行打印五个数，为了实现每行5个数，我们使用一个if判断语句来实现，判断当打印出5个数之后，自动换行打印出来，直至完全输出来。希望对正在学习python的你们有所帮助。第一步：先打开我们的pycharm软件，然后新建一个python文件，“file”，“new”，“pythonfile”第二步：新建好python文件之后，我们在编辑页面输入以下代码：i=1whilei<=20:print(i,end='')ifi%5=
系统 2019-09-27 17:51:53 2564
base64数据加密，是一种可逆的编码格式，生成的编码是ascii格式的数据，通过encode加密，decode解密。原理：1、将所有字符转化为ASCII码。2、将ASCII码转化为8位二进制。3、将二进制3个归成一组(不足3个在后边补0)共24位，再拆分成4组，每组6位。4、统一在6位二进制前补两个0凑足8位。5、将补0后的二进制转为十进制。6、从Base64编码表获取十进制对应的Base64编码。importbase64classEncodeDecod
系统 2019-09-27 17:50:29 2564
emm……真实的高三暑假是，整天无事可做然后找事，于是开始学习Python好的废话不多说，进入正题由题，作为一名初学者，想要玩转爬虫这类玩意还要花很大功夫。所以我就从简单的开始：提取XKCD漫画（网页简单，提取方便）使用requests和bs4模块提取网页内容+分析html，然后再存入硬盘内首先，requests和bs4都是Python的第三方库，使用pipinstallxxx（xxx是requests和bs4）安装它们requests库最主要的方法是re
系统 2019-09-27 17:49:30 2564
常见错误1：错误地将表达式作为函数的默认参数在Python中，我们可以为函数的某个参数设置默认值，使该参数成为可选参数。虽然这是一个很好的语言特性，但是当默认值是可变类型时，也会导致一些令人困惑的情况。我们来看看下面这个Python函数定义：>>>deffoo(bar=[]):#bar是可选参数，如果没有提供bar的值，则默认为[]，...bar.append("baz")#但是稍后我们会看到这行代码会出现问题。...returnbarPython程序员常
系统 2019-09-27 17:38:35 2564
相对于自动化测试工具QTP来说，selenium小巧、免费，而且兼容Google、FireFox、IE多种浏览器，越来越多的人开始使用selenium进行自动化测试。我是使用的python2.7，下面说一下selenium+Python的自动化测试环境搭建。安装Python环境，从python官网下载安装包双击安装包，进行安装可以选择python的安装目录，按步骤安装，直至完成。在早期的版本中，需要单独安装setuptools和pip，在新的python安
系统 2019-09-27 17:37:51 2564
前两天有个朋友说，想实现一个文本文件按照固定行数进行分割成多个文本文件，却不知如何实现。如果数据量小手动分割下就好了，如果数据量很大的话手动完成实在太耗费人力了，也不现实。那么就需要借助脚本去实现。既然有朋友想简单的完成这个任务，那么不如记录下来，给需要的朋友提供方便。下面我就分别使用python和php进行脚本的实现和操作，当然用其他语言都能实现，大家可根据对语言的熟悉程度进行自主选择，如果有朋友还没有达到编写代码的能力的话，那么最起码对语言环境的使用要
系统 2019-09-27 17:55:42 2563
前言我们在用Python进行机器学习建模项目的时候，每个人都会有自己的一套项目文件管理的习惯，我自己也有一套方法，是自己曾经踩过的坑踩过的雷总结出来的，现在在这里分享一下给大家，因为很多伙伴是接触Python编程入门不久，也希望大家少走弯路，多少有些地方可以给大家借鉴。目录先放出来项目文件事先做好归档永远不要手动修改源数据并且做好备份做好路径的正确配置代码必要的地方做好备注与说明加速你的Python循环代码可视化你的循环代码进度使用高效的异常捕获工具要多考
系统 2019-09-27 17:53:42 2563
---恢复内容开始---python内置基础模块——os模块一、os模块（importos加载模块）1、os.cpu_count()获取cpu架构2、os.chdir(path)修改目录3、os.chmod()4、os.curdir获取当前路径（相对路径）5、os.mkdir(path)在对应的路径下创建文件夹，注意：只能创建一级6、os.makedirs(path)在对应的路径下创建文件夹，注意：可以创建多级7、os.rename(oldname,new
系统 2019-09-27 17:50:02 2563
CentOS6系统默认Python版本是：2.6.6平时在使用中，某些库要求是2.7.x版本的库，记录Python升级到2.7.x过程。1.准备安装包，系统是最小化安装#下载安装依赖的相关包[root@isTester.com~]#yuminstallvimgccmakewget-y[root@isTester.com~]#yuminstallopenssl-develzlib-develreadline-develsqlite-devel-y#下载[ro
系统 2019-09-27 17:47:54 2563
本文实例讲述了python实现读取excel文件中所有sheet操作。分享给大家供大家参考，具体如下：表格是这样的实现把此文件所有sheet中标识为1的行，取出来，存入一个字典。所有行组成一个列表。#-*-coding:utf-8-*-fromopenpyxlimportload_workbookdefget_data_from_excel(excel_dir):#读取excel，取出所有sheet要执行的接口信息，返回列表work_book=load_w
系统 2019-09-27 17:47:43 2563
