初学Python之爬虫的简单入门一、什么是爬虫?1.简单介绍爬虫爬虫的全称为网络爬虫,简称爬虫,别名有网络机器人,网络蜘蛛等等。网络爬虫是一种自动获取网页内容的程序,为搜索引擎提供了重要的数据支撑。搜索引擎通过网络爬虫技术,将互联网中丰富的网页信息保存到本地,形成镜像备份。我们熟悉的谷歌、百度本质上也可理解为一种爬虫。如果形象地理解,爬虫就如同一只机器蜘蛛,它的基本操作就是模拟人的行为去各个网站抓取数据或返回数据。2.爬虫的分类网络爬虫一般分为传统爬虫和聚
系统 2019-09-27 17:56:55 2398
“老板来碗面”“要啥面?”“内牛满面..”最近项目上的事情弄得人心累,本来是帮着兄弟项目写套入口代码,搞着搞着就被拉着入坑了。搞开发的都知道,最怕弄这种项目portal的东西,你调用一堆东西,结果各种调用报错都反馈到你这里,导致的结果就是除了啥问题都找你。最形象的比喻就是,眼前一栋楼,你是看门的。电梯坏了找你、住户被盗了找你、连谁家下水不通了也找你,各种无厘头的破事儿,我就想送出一张图…共享文件熟悉Python的朋友们都知道,python自带了一个Simp
系统 2019-09-27 17:56:32 2398
通过1至10阶来拟合对比均方误差及R评分,可以确定最优的“最大阶数”。importnumpyasnpimportmatplotlib.pyplotaspltfromsklearn.preprocessingimportPolynomialFeaturesfromsklearn.linear_modelimportLinearRegression,Perceptronfromsklearn.metricsimportmean_squared_error,r2
系统 2019-09-27 17:56:12 2398
如下所示:fromtkinterimport*classReg(Frame):def__init__(self,master):frame=Frame(master)frame.pack()self.lab1=Label(frame,text="账户:")self.lab1.grid(row=0,column=0,sticky=W)self.ent1=Entry(frame)self.ent1.grid(row=0,column=1,sticky=W)se
系统 2019-09-27 17:51:33 2398
在主图中背景颜色不知道怎么改,plt.plot()中没有axisbg参数。但是子图可以对plt.subplot的参数做修改,下面是对子图的背景颜色修改代码importmatplotlib.pyplotaspltimportnumpyasnp#Fixingrandomstateforreproducibilitynp.random.seed(19680801)dt=0.01t=np.arange(0,30,dt)nse1=np.random.randn(le
系统 2019-09-27 17:51:01 2398
df是一个dataframe,列名为ABCD具体值如下:ABCD0ss小红81aa小明d4ff6ak小紫7dataframe里的属性是不定的,空值默认为NA。一、选取标签为A和C的列,并且选完类型还是dataframedf=df.loc[:,['A','C']]df=df.iloc[:,[0,2]]二、选取标签为C并且只取前两行,选完类型还是dataframedf=df.loc[0:2,['A','C']]df=df.iloc[0:2,[0,2]]聪明的朋
系统 2019-09-27 17:50:07 2398
1.进程和线程2.同步和异步3.协程4.生成器到协程5.asyncio模块(协程模块)………………………………………………………………………………1.进程和线程进程相当于一个任务,比如做饭线程相当于操作,做饭需要解冻肉,洗菜,煮米饭一个进程任务,做饭下需要多进程做饭的多个进程,如上GIL全局解释器锁是用在IO密集型(大量的文件读写,多次请求网络数据)的多线程中对比单线程和多线程的例子:调用包time和线程包:threading先模拟请求网络数据的函数req
系统 2019-09-27 17:46:22 2398
用法:分析一个脚本的依赖:analysis_dependency.pyscript1.py递归分析依赖:analysis_dependency.pyscript1.py-r#!/usr/bin/envpython#encoding:utf-8#source:https://github.com/MrLYC/ycyc/blob/dev/tools/analysis_dependency.pyimportastimportimportlibimportinsp
系统 2019-09-27 17:38:28 2398
Servlet与JSP教程(1)-Servlet和JSP概述一、Servlet和JSP概述1.1JavaServlet及其特点Servlet是Java技术对CGI编程的回答。Servlet程序在服务器端运行,动态地生成Web页面。与传统的CGI和许多其他类似CGI的技术相比,JavaServlet具有更高的效率,更容易使用,功能更强大,具有更好的可移植性,更节省投资(更重要的是,Servlet程序员收入要比Perl程序员高:-):高效。在传统的CGI中,每
系统 2019-08-29 23:51:40 2398
第三章:GCHeap管理这是《设计.NetCompactFrameworkCLR》的第三部分。在前面两章中,我们讨论了CLR如何管理内存和JIT编译器的基本设计原则。PartI,OverviewandBackgroundPartII,JitCompilerDesignConsiderations这一章我们主要讨论垃圾收集设计中如何管理GCheap的问题。---------讨论.NET平台如何管理内存,垃圾收集肯定是第一个被提及的话题。不必惊讶,Compac
系统 2019-08-29 23:43:53 2398