最近博主手上有一个爬虫项目，开始深入研究python爬虫开发，这是我篇博客也相当于是我的学习笔记，我认为学习爬虫第一步，先学习python多线程与多进程，熟悉网络编程，接下来会陆续以博客的方式跟大家做分享。多进程Python实现多进程的方式主要有两种，一种方法是使用os模块中的fork方法，另一种方法是使用multiprocessing模块。这两种方法的区别在于前者仅适用于Unix/Linux操作系统，对Windows不支持，后者则是跨平台的实现方式，目前
系统 2019-09-27 17:53:30 1965
一.什么是图片懒加载？-案例分析：抓取站长素材http://sc.chinaz.com/中的图片数据#!/usr/bin/envpython#-*-coding:utf-8-*-importrequestsfromlxmlimportetreeif__name__=="__main__":url='http://sc.chinaz.com/tupian/gudianmeinvtupian.html'headers={'User-Agent':'Mozill
系统 2019-09-27 17:52:42 1965
在上一篇文章中，我们讲了如何在linux上用python写一个守护进程。主要原理是利用linux的fork函数来创建一个进程，然后退出父进程运行，生成的子进程就会成为一个守护进程。细心观察的可能会发现，这个守护进程的运行身份是执行这个程序的用户，如果把这个守护程序加入到系统的服务项，那么这个守护程序的执行身份应该是root。一个情况出现了，root的权限比较大，如果通过这个root身份的守护程序来进行操作，危险性是比较大的。一种好的办法是生成一个身份为ro
系统 2019-09-27 17:52:32 1965
基础版(list方法)#比较占内存w=int(input("输入一个数字还你一个斐波那契数列："))list_res=[]deflist_n(n):ifn>=3:res=list_n(n-1)+list_n(n-2)else:res=1returnresprint("开始")foriinrange(0,w):list_res.append(list_n(i+1))print(list_res)升级版#比较占内存num=int(input("输入一个数字还你
系统 2019-09-27 17:52:01 1965
Python爬虫，使用BeautifulSoup可以轻松解析页面结果，下面是使用该方法爬取boss页面的职位信息：包括职位名称、薪资、地点、公司名称、公司融资情况等信息。通过这个示例可以轻松看到BeautifulSoup的使用方法。1、爬取boss直聘的职位信息importrequestsfrombs4importBeautifulSoupfrommiddlewaresimportget_random_proxy,get_random_agentimpor
系统 2019-09-27 17:51:39 1965
本文实例为大家分享了python静态服务器的具体代码，供大家参考，具体内容如下#coding:utf-8importsocketimportmultiprocessingimportreHTML_ROOT_DIR="./html"classHTTPServer(object):#初始化def__init__(self):self.serversocket=socket.socket(socket.AF_INET,socket.SOCK_STREAM)sel
系统 2019-09-27 17:51:33 1965
阅读更多网上流传以下几种安装1）要安装或升级pip，需要下载get-pip.py.地址：https://bootstrap.pypa.io/get-pip.py然后运行以下命令(需要管理员权限):pythonget-pip.py试了试：不行2）去官网下载①https://pypi.python.org/pypi/pip②下载之后的包上传到服务器上③然后解压tar-zxvf***④解压之后会有个文件夹⑤进入到文件夹，执行命令pythonsetup.pyins
系统 2019-09-27 17:51:30 1965
作为Python程序员，应该能够正视Python的优点与缺点。众所周之，Python的运行速度是很慢的，特别是大数据量的运算时，Python会慢得让人难以忍受。对于这种情况，“专业”的解决方案是用上numpy或者opencl。不过有时候为了一点小功能用上这种重型的解决方案很不划算，或者有时候想要实现的操作在numpy里面没有，需要我们自己用C语言来编写。总之，我们使用Python与C++的混合编程能够加快程序热点的运算速度。首先要提醒大家注意的是，在考虑联
系统 2019-09-27 17:50:46 1965
学了一个多月的python，做了一个小程序：python实现简单成绩录入系统，实验一下menu部分fromtkinterimport*#这是一个python模块，python3中都有importtkinter.messagebox#这也是一个模块fromfile_readimportreadfromfile_writeimportwriteclassstudent_main():#定义一个学生类def__init__(self):self.name=''s
系统 2019-09-27 17:50:34 1965
文件的数据是存放于硬盘上的，因而只存在覆盖、不存在修改这么一说，我们平时看到的修改文件，都是模拟出来的效果，具体的说有两种实现方式。一、方式一将硬盘存放的该文件的内容全部加载到内存，在内存中是可以修改的，修改完毕后，再由内存覆盖到硬盘（word，vim，nodpad++等编辑器）。importoswithopen('37r.txt')asfr,\open('37r_swap.txt','w')asfw:data=fr.read()#全部读入内存,如果文件很
系统 2019-09-27 17:50:22 1965
