最近博主手上有一个爬虫项目，开始深入研究python爬虫开发，这是我篇博客也相当于是我的学习笔记，我认为学习爬虫第一步，先学习python多线程与多进程，熟悉网络编程，接下来会陆续以博客的方式跟大家做分享。多进程Python实现多进程的方式主要有两种，一种方法是使用os模块中的fork方法，另一种方法是使用multiprocessing模块。这两种方法的区别在于前者仅适用于Unix/Linux操作系统，对Windows不支持，后者则是跨平台的实现方式，目前
系统 2019-09-27 17:53:30 1723
使用open函数，第一个参数为文件名，例如“C:\abc.txt”,这里要注意的是r“C:\abc.txt”。第二个参数为文件的操作方式，这里着重探讨写入，写入主要分为覆盖写入和追加写入。#覆盖写入例子：file=open(r'C:\abc.txt','w')file.write("abc")#写入字符串file.close#关闭文件#追加写入例子：file=open(r'C:\abc.txt','a')file.write("abc")#写入字符串fil
系统 2019-09-27 17:53:29 1723
Python标准库中有很多实用的工具类，但是在具体使用时，标准库文档上对使用细节描述的并不清楚，比如urllib2这个HTTP客户端库。这里总结了一些urllib2库的使用细节。1Proxy的设置urllib2默认会使用环境变量http_proxy来设置HTTPProxy。如果想在程序中明确控制Proxy，而不受环境变量的影响，可以使用下面的方式复制代码代码如下:importurllib2enable_proxy=Trueproxy_handler=url
系统 2019-09-27 17:53:21 1723
本文借鉴于张广河教授主编的《数据结构》，对其中的代码进行了完善。从某源点到其余各顶点的最短路径Dijkstra算法可用于求解图中某源点到其余各顶点的最短路径。假设G=｛V，｛E｝｝是含有n个顶点的有向图，以该图中顶点v为源点，使用Dijkstra算法求顶点v到图中其余各顶点的最短路径的基本思想如下：使用集合S记录已求得最短路径的终点，初始时S={v}。选择一条长度最小的最短路径，该路径的终点w属于V-S，将w并入S，并将该最短路径的长度记为Dw。对于V-S
系统 2019-09-27 17:53:14 1723
问题说明最近在写爬虫，由于单个账号访问频率太高会被封，所以需要在爬虫执行一段时间间隔后自己循环切换账号所以就在想，有没有像单片机那样子设置一个定时中断，再定义一个中断入口，这样子每隔一段时间执行一次中断当然不能用sleep，这样子整个进程就停在这了，而不是接着爬数据解决方法用到threading的Timer，也类似单片机那样子，在中断程序中再重置定时器，设置中断，python实例代码如下importthreadingimporttimedefchange_
系统 2019-09-27 17:53:13 1723
一.如何调用deff1(arg1,arg2):print('f1',arg1,arg2)deff2(arg1):print('f2',arg1)deff3():print('f3')deff4():print('周期任务',int(time.time()))timer=TaskTimer()#把任务加入任务队列timer.join_task(f1,[1,2],timing=15.5)#每天15:30执行timer.join_task(f2,[3],timi
系统 2019-09-27 17:53:12 1723
三大相关系数:pearson,spearman,kendall统计学中的三大相关性系数：pearson,spearman,kendall，他们反应的都是两个变量之间变化趋势的方向以及程度，其值范围为-1到+1。0表示两个变量不相关，正值表示正相关，负值表示负相关，值越大表示相关性越强。1.personcorrelationcoefficient（皮尔森相关性系数）皮尔逊相关系数通常用r或ρ表示，度量两变量X和Y之间相互关系（线性相关）(1)公式皮尔森相关性
系统 2019-09-27 17:53:11 1723
什么是异常？一般情况下，在python无法正常处理程序时就会发生一个异常（异常是python对象，表示一个错误），也就是我们俗称的程序崩了。异常就是程序运行时候发生错误的信号（在程序出现错误的时候，则会产生一个异常，若程序没有处理他，则会抛出该异常，程序的运行也随之终止）。异常的处理步骤：1、可预知的异常：如果错误发生的条件是可预知的，需要用if进行处理，在错误发生之前进行预防。2、未知的异常：try:代码块except异常类型:异常处理的方法else:如
系统 2019-09-27 17:53:08 1723
进程是操作系统分配内存的最小单位Python中进程用到的库multiprocessing简单的多进程示例frommultiprocessingimportProcessfromtimeimporttime,sleepfromrandomimportrandintdefdownload_task(task_name):print(task_name+'开始下载')time=randint(1,5)sleep(time)print(task_name+f'下载
系统 2019-09-27 17:53:03 1723
Python爬虫之selenium高级功能原文地址表单操作元素拖拽页面切换弹窗处理表单操作表单里面会有文本框、密码框、下拉框、登陆框等。这些涉及与页面的交互，比如输入、删除、点击等。前提是找到页面中的元素。例如下面有一个表单输入框："text"name="passwd"id="passwd-id"/>获取这个元素的方法：element=driver.find_element_by_id("passwd-id")element=driver.find_ele
系统 2019-09-27 17:53:02 1723
