搜索到与相关的文章
Python

python爬虫第11关项目煲剧狂人

练习介绍要求:请使用多协程和队列,爬取时光网电视剧TOP100的数据(剧名、导演、主演和简介),并用csv模块将数据存储下来。时光网TOP100链接:http://www.mtime.com/top/tv/top100/目的:1.练习掌握gevent的用法2.练习掌握queue的用法fromgeventimportmonkey#gevent从库里导入monkey模块monkey.patch_all()#能把程序变成协作式运行,就是可以帮助程序实现异步imp

系统 2019-09-27 17:50:08 2385

Python

python爬虫之爬取百度音乐的实现方法

在上次的爬虫中,抓取的数据主要用到的是第三方的Beautifulsoup库,然后对每一个具体的数据在网页中的selecter来找到它,每一个类别便有一个select方法。对网页有过接触的都知道很多有用的数据都放在一个共同的父节点上,只是其子节点不同。在上次爬虫中,每一类数据都要从其父类(包括其父节点的父节点)上往下寻找ROI数据所在的子节点,这样就会使爬虫很臃肿,因为很多数据有相同的父节点,每次都要重复的找到这个父节点。这样的爬虫效率很低。因此,笔者在上次

系统 2019-09-27 17:49:04 2385

Python

python实现二级登陆菜单及安装过程

python实现二级登陆菜单的代码如下所示:"""1.三级菜单注册登陆注销2.进入每一个一级菜单,都会有下一级的菜单"""user_item=dict()try:whileTrue:print('-------Welcomesir-------')input_choice=int(input('Pleaseenteryourchoice:1:Registration2:login3:logout:'))#用户输入自己的选择,会进入到相关的二级菜单ifinp

系统 2019-09-27 17:49:02 2385

Python

Python代码太长换行的实现

末尾加\或Enter,回车使用看情况,\通用。如果是print字符串换行,可以加三个单引号或三个双引号,但是这样回车换行会保留,若要呈现无换行的字符串,引号中每行末尾可加\,或字符串用双引号,在双引号外面加圆括号()python字符串换行的三种方式if__name__=='__main__':#第一种:三个单引号print'''aaaaaaaaaaaaaaaabbbbbbbbbbbbbb'''#第二种:三个双引号print"""aaaaaaaaaaaaaa

系统 2019-09-27 17:48:11 2385

Python

python爬虫---实现项目(三) Selenium分析美团美食

上一期博客,我本来想爬取美团美食的,但是由于请求头太复杂,没有破解开其中的几个参数,所以放弃,这次我们来用selenium来模式浏览器抓取数据,我们先来简单看一下流程:1,利用selenium驱动浏览器,得到美食列表2,分析网页,并给予翻页后续的美食列表3,分析提取数据(pyQuery)项目一:美团美食项目地址:https://gitee.com/dwyui/pyQuery_selenium.git由于美团反扒严重,只爬取到部分数据,可以尝试修改间隔时间来

系统 2019-09-27 17:45:51 2385

Python

深入理解Python变量与常量

变量是计算机内存中的一块区域,变量可以存储规定范围内的值,而且值可以改变。基于变量的数据类型,解释器会分配指定内存,并决定什么数据可以被存储在内存中。常量是一块只读的内存区域,常量一旦被初始化就不能被改变。变量命名字母、数字、下划线组成,不能以数字开头,前文有说不在赘述。变量赋值Python中的变量不需要声明,变量的赋值操作即是变量的声明和定义的过程。每个变量在内存中创建都包括变量的标识、名称、和数据这些信息。Python中一次新的赋值,将创建一个新的变量

系统 2019-09-27 17:38:32 2385

Python

python 性能提升的几种方法

关于python性能提升的一些方案。一、函数调用优化(空间跨度,避免访问内存)程序的优化核心点在于尽量减少操作跨度,包括代码执行时间上的跨度以及内存中空间跨度。1.大数据求和,使用suma=range(100000)%timeit-n10sum(a)10loops,bestof3:3.15msperloop%%timeit...:s=0...:foriina:...:s+=i...:100loops,bestof3:6.93msperloop2.小数据求和

系统 2019-09-27 17:37:58 2385

编程技术

NetBeans IDE 6.5.1 Now Available

TheNetBeansTeamhasreleasedNetBeansIDE6.5.1,whichisaminorupdatetoNetBeansIDE6.5.ThereleaseisavailableinEnglish,SimplifiedChinese,Japanese,andBrazilianPortuguese,andincludesthefollowingchanges:GlassFishv2UR2replacedwithGlassFishv2.1

系统 2019-08-29 23:23:25 2385

编程技术

Silverlight 4版本升级 - June 2010

微软6月3日发布Silverlight4新版本,客户端从4.0.50401.0升级为4.0.50524.0。本次升级主要针对Silverlight多媒体应用开发人员,对DRM媒体控制进行功能增强,另外,解决在Mac平台流媒体播放内存泄漏的问题。更多详细的升级描述,可以参考微软官方。本次升级不影响Silverlight4SDK和Toolkit,开发人员只需要到以下地址,即可更新Silverlight版本,Windows开发运行环境Mac开发运行环境终端用户客

系统 2019-08-29 23:09:30 2385

编程技术

mongodb初探-小试牛刀

1、启动数据库服务2、下载mongodb的Java驱动,并构建到java工程中,下载地址:https://github.com/mongodb/mongo-java-driver/downloads3、编写如下代码packagecom.ljq.dao;importjava.util.Date;importjava.util.HashMap;importjava.util.List;importjava.util.Map;importjava.util.Se

系统 2019-08-29 23:04:03 2385