上一期博客,我本来想爬取美团美食的,但是由于请求头太复杂,没有破解开其中的几个参数,所以放弃,这次我们来用selenium来模式浏览器抓取数据,我们先来简单看一下流程:1,利用selenium驱动浏览器,得到美食列表2,分析网页,并给予翻页后续的美食列表3,分析提取数据(pyQuery)项目一:美团美食项目地址:https://gitee.com/dwyui/pyQuery_selenium.git由于美团反扒严重,只爬取到部分数据,可以尝试修改间隔时间来
系统 2019-09-27 17:45:51 2385
变量是计算机内存中的一块区域,变量可以存储规定范围内的值,而且值可以改变。基于变量的数据类型,解释器会分配指定内存,并决定什么数据可以被存储在内存中。常量是一块只读的内存区域,常量一旦被初始化就不能被改变。变量命名字母、数字、下划线组成,不能以数字开头,前文有说不在赘述。变量赋值Python中的变量不需要声明,变量的赋值操作即是变量的声明和定义的过程。每个变量在内存中创建都包括变量的标识、名称、和数据这些信息。Python中一次新的赋值,将创建一个新的变量
系统 2019-09-27 17:38:32 2385
关于python性能提升的一些方案。一、函数调用优化(空间跨度,避免访问内存)程序的优化核心点在于尽量减少操作跨度,包括代码执行时间上的跨度以及内存中空间跨度。1.大数据求和,使用suma=range(100000)%timeit-n10sum(a)10loops,bestof3:3.15msperloop%%timeit...:s=0...:foriina:...:s+=i...:100loops,bestof3:6.93msperloop2.小数据求和
系统 2019-09-27 17:37:58 2385
TheNetBeansTeamhasreleasedNetBeansIDE6.5.1,whichisaminorupdatetoNetBeansIDE6.5.ThereleaseisavailableinEnglish,SimplifiedChinese,Japanese,andBrazilianPortuguese,andincludesthefollowingchanges:GlassFishv2UR2replacedwithGlassFishv2.1
系统 2019-08-29 23:23:25 2385
微软6月3日发布Silverlight4新版本,客户端从4.0.50401.0升级为4.0.50524.0。本次升级主要针对Silverlight多媒体应用开发人员,对DRM媒体控制进行功能增强,另外,解决在Mac平台流媒体播放内存泄漏的问题。更多详细的升级描述,可以参考微软官方。本次升级不影响Silverlight4SDK和Toolkit,开发人员只需要到以下地址,即可更新Silverlight版本,Windows开发运行环境Mac开发运行环境终端用户客
系统 2019-08-29 23:09:30 2385
1、启动数据库服务2、下载mongodb的Java驱动,并构建到java工程中,下载地址:https://github.com/mongodb/mongo-java-driver/downloads3、编写如下代码packagecom.ljq.dao;importjava.util.Date;importjava.util.HashMap;importjava.util.List;importjava.util.Map;importjava.util.Se
系统 2019-08-29 23:04:03 2385
1、将文件checkout到本地目录svncheckoutpath(path是服务器上的目录)例如:svncheckoutsvn://192.168.1.1/pro/domain简写:svnco2、往版本库中添加新的文件svnaddfile例如:svnaddtest.php(添加test.php)svnadd*.php(添加当前目录下所有的php文件)3、将改动的文件提交到版本库svncommit-m“LogMessage“[-N][--no-unlock
系统 2019-08-29 22:36:28 2385
asp:CheckBox:asp:RadioButton:注:属性GroupName与htmlinputRadioButton控件的name属性等同
系统 2019-08-29 22:33:17 2385
最近写了个闹钟的程序,看到SharedPreferences在一个程序中可以共享数据,SharedPreferences是一个轻量级的键值存储机制,只可以存储基本数据类型。我就拿来用用,没想到SharedPreferences太好了,真是轻量级的保存数据的好的工具,比sqlite好用多了!以后我又多了一种编程思想了,呵呵,所以现在分享给大家,特别注意这点:这个无法直接在多个程序间共享Preferences数据。程序关闭再打开时间仍然保留你上次设置的时间。这
系统 2019-08-29 22:28:18 2385
这是一篇好文章,我转来收藏,技术的最高境界是分享。最近在搞android新浪微博客户端,有一些心得分享弄android客户端表情功能可以用以下思路1.首页把新浪的表情下载到本地一文件夹种,表情图片的命名要用新浪微博表情原来的命名比如新浪的害羞表情是shame.gif那么你在本地也得命名为shame.gif,命名相同主要是为了能够匹配表情对应的code.2.把本地的表情都放进android的资源文件里----drawable下面3.访问新浪的表情接口(新浪返
系统 2019-08-29 22:22:47 2385