综述本系列文档用于对Python爬虫技术的学习进行记录总结。Python版本是3.7.4urllib库介绍它是Python内置的HTTP请求库，也就是说我们不需要额外安装即可使用，它包含四个模块(主要对前三个模块进行学习)：request:它是最基本的HTTP请求模块，我们可以用它来模拟发送一请求，就像在浏览器里输入网址然后敲击回车一样，只需要给库方法传入URL还有额外的参数，就可以模拟实现这个过程了。error:异常处理模块，如果出现请求错误，我们可以捕
系统 2019-09-27 17:54:27 1862
运营：“活动参与人数那么少，肯定是推广渠道不行”市场：“PV和UV都很高，最后转化这么低，运营是不是有环节没做好？”产品：“我觉得这个功能这样改绝对能提升用户留存！所以这个需求必须要实现”程序员：“怎么证明这是有效需求，我不要你觉得...”如果各位在职场中有和同事argue的经历，凭猜想定位问题，彼此谁都说服不了谁，这个时候就要丢出杀手锏——数据。不仅要拿数据，还要用数据，用数据分析每个环节，定位具体问题，用异常数据证明问题所在，用合理数据推测活动效果。拥
系统 2019-09-27 17:53:44 1862
Python面向对象编程——绑定方法与非绑定方法一、类中定义的函数分成两大类1、绑定方法（绑定给谁，谁来调用就自动将它本身当作第一个参数传入1）绑定到类的方法：用classmethod装饰器装饰的方法。为类量身定制类.boud_method(),自动将类当作第一个参数传入（其实对象也可调用，但仍将类当作第一个参数传入）2）绑定到对象的方法：没有被任何装饰器装饰的方法。为对象量身定制对象.boud_method(),自动将对象当作第一个参数传入（属于类的函数
系统 2019-09-27 17:53:30 1862
在Python普通字符串中在Python中，我们用'\'来转义某些普通字符，使其成为特殊字符，比如In[1]:print('abc\ndef')#'\n'具有换行的作用abcdefgIn[2]:print('abc\tdef')#'\t'具有制位符的作用abcdefg我们还可以用'\'来转义特殊字符，使其成为普通字符，比如In[3]:print('abc\\tdef')#使'\'成为一个普通的字符，没有转义作用abc\tdefIn[4]:print('ab
系统 2019-09-27 17:53:25 1862
Python标准库中有很多实用的工具类，但是在具体使用时，标准库文档上对使用细节描述的并不清楚，比如urllib2这个HTTP客户端库。这里总结了一些urllib2库的使用细节。1Proxy的设置urllib2默认会使用环境变量http_proxy来设置HTTPProxy。如果想在程序中明确控制Proxy，而不受环境变量的影响，可以使用下面的方式复制代码代码如下:importurllib2enable_proxy=Trueproxy_handler=url
系统 2019-09-27 17:53:21 1862
本文实例讲述了Python实现一个简单的MySQL类。分享给大家供大家参考。具体实现方法如下：复制代码代码如下:#!/usr/bin/envpython#-*-coding:utf-8-*-#Createdon2011-2-19#@author:xiaoxiaoimportMySQLdbimportsys__all__=['MySQL']classMySQL(object):'''MySQL'''conn=''cursor=''def__init__(se
系统 2019-09-27 17:53:16 1862
Python爬虫之selenium高级功能原文地址表单操作元素拖拽页面切换弹窗处理表单操作表单里面会有文本框、密码框、下拉框、登陆框等。这些涉及与页面的交互，比如输入、删除、点击等。前提是找到页面中的元素。例如下面有一个表单输入框："text"name="passwd"id="passwd-id"/>获取这个元素的方法：element=driver.find_element_by_id("passwd-id")element=driver.find_ele
系统 2019-09-27 17:53:02 1862
今天接着跟大家总结Python爬虫面试中常见的高频面试题。有需要的伙伴用心看啦！1.Request中包含什么呢？1、请求方式：主要有GET和POST两种方式,POST请求的参数不会包含在url里面2、请求URLURL：统一资源定位符，如一个网页文档、一张图片、一个视频等都可以用URL来唯一确定3、请求头信息,包含了User-Agent（浏览器请求头）、Host、Cookies信息4、请求体,GET请求时，一般不会有，POST请求时，请求体一般包含form-
系统 2019-09-27 17:52:44 1862
Git是编程中的基本技能之一，互联网公司几乎都在使用Git进行协作编程，昨天还有位禅友在微信上专门告诉我说星期五面试的时候刚好被问到Git，幸好在这几天学了一下。Git并不难，但会Git至少可以说明一个人的学习能力或者说对技术的嗅觉能跟上主流，如果面试问你GitHub是什么都不知道，面试官就会对你打一个大的问号。简单点评这一道题。在使用for循环迭代一个列表时，有时我们需要获取列表中每个元素所在的下标位置是多少，例如numbers=[10,29,30,41
系统 2019-09-27 17:52:23 1862
python中eval函数的用法十分的灵活，这里主要介绍一下它的原理和一些使用的场合。下面是从python的官方文档中的解释：Theargumentsareastringandoptionalglobalsandlocals.Ifprovided,globalsmustbeadictionary.Ifprovided,localscanbeanymappingobject.Theexpressionargumentisparsedandevaluateda
系统 2019-09-27 17:52:12 1862
