搜索到与相关的文章
Python

python抓取网页时字符集转换问题处理方案分享

问题提出:有时候我们采集网页,处理完毕后将字符串保存到文件或者写入数据库,这时候需要制定字符串的编码,如果采集网页的编码是gb2312,而我们的数据库是utf-8的,这样不做任何处理直接插入数据库可能会乱码(没测试过,不知道数据库会不会自动转码),我们需要手动将gb2312转换成utf-8。首先我们知道,python里的字符默认是ascii码,英文当然没问题啦,碰到中文的时候立马给跪。不知道你还记不记得,python里打印中文汉字的时候需要在字符串前面加u

系统 2019-09-27 17:48:17 2044

Python

python 字典(dict)遍历的四种方法性能测试报告

python中,遍历dict的方法有四种。但这四种遍历的性能如何呢?我做了如下的测试l=[(x,x)forxinxrange(10000)]d=dict(l)fromtimeimportclockt0=clock()foriind:t=i+d[i]t1=clock()fork,vind.items():t=k+vt2=clock()fork,vind.iteritems():t=k+vt3=clock()fork,vinzip(d.iterkeys(),d

系统 2019-09-27 17:48:13 2044

Python

Python实现扫描指定目录下的子目录及文件的方法

本文介绍了使用Python来扫描指定目录下的文件,或者匹配指定后缀和前缀的函数。步骤如下:如果要扫描指定目录下的文件,包括子目录,需要调用scan_files("/export/home/test/")如果要扫描指定目录下的特定后缀的文件(比如jar包),包括子目录,调用scan_files("/export/home/test/",postfix=".jar")如果要扫描指定目录下的特定前缀的文件(比如test_xxx.py),包括子目录,调用scan_

系统 2019-09-27 17:47:27 2044

Python

用python写一个定时提醒程序的实现代码

身体是革命的本钱,身体健康了我们才有更多精力做自己想做的事情,追求女神,追求梦想。然而程序员是一个苦比的职业,大部分时间都对着电脑,我现在颈椎就不好了,有时候眼睛还疼,我还没20阿,伤心...于是乎写了一个小程序,指定时间会打开浏览器播放一段音乐,提醒我们休息一会儿,防止我们猝死,说多了都是泪。较基础,适合python新手及对python感兴趣的同学阅读。我们来理一遍这个程序,大概功能是:我们设置一个时间,时间到了以后会打开浏览器播放一段音频。1。等待2。

系统 2019-09-27 17:47:25 2044

Python

Python获取当前脚本文件夹(Script)的绝对路径方法代码

Python脚本有一个毛病,当使用相对路径时,被另一个不同目录下的py文件中导入时,会报找不到对应文件的问题。感觉是当前工作目录变成了导入py文件当前目录。如果你有配置文件的读取操作,然后都放在一个py文件中,而你又用的是相对路径,而且这个py文件在多个不同目录下的py文件中被导入,那就呵呵了。。。还是用绝对路径吧。解决这个问题,可以用绝对路径。当然是自动的绝对路径,而不是每次都手动给前缀赋值,让脚本自动寻找当前文件的绝对路径。此处分享在python下获取

系统 2019-09-27 17:46:48 2044

Python

【python】列表解析式和生成器

转自:https://www.cnblogs.com/rivendare/p/9493698.html列表解析式可以根据已有列表,高效创建新列表的方式。列表解析是Python迭代机制的一种应用,它常用于实现创建新的列表,返回的是一个列表,因此用在[]中。列表解析式因编译器进行优化,提高了效率,减少出错,增加可读性语法[返回值for元素in可迭代对象if条件]使用中括号[],内部是for循环,if条件语句可选返回一个新列表示例1:生成一个列表,元素0-9,对

系统 2019-09-27 17:46:41 2044

Python

【Python练习圣典】字典dictionary高级操作

1.字典键-值对中,值元素的便捷创建增减主要是利用collections中的defaultdict普通复杂过程:pairs=[('a',1),('a',2),('b',2)]d={}forkey,valueinpairs:ifkeynotind:d[key]=[]d[key].append(value)或d={}#普通字典d.setdefault('a',[]).append(1)d.setdefault('a',[]).append(2)d.setdef

系统 2019-09-27 17:46:20 2044

Python

python for循环赋值方法

背景写代码的时候,你会发现你的代码越写越多。然而,功能需要也越来越多,然后你的冗余代码就多得不能再多了~~~怎么办,我太难了。那就寻求一些高级写法,一般的高级写法都是尽可能地短。另外,把重复的代码抽取出来,封装成函数,每次使用直接调函数即可。For循环赋值前提条件:我创建了一个road类,这个类里面有这些属性。我先初始化给road赋值,然后再把这些对象放到roadObjList集合里面。目标:从roadObjList集合里面取出每个road对象的objec

系统 2019-09-27 17:46:11 2044

Python

Python安装selenium包详细过程

Python安装selenium包打开命令行窗口,进入python交互环境python尝试导入selenium包,报错,说明尚未安装seleniumimportselenium退出python交互环境exit()使用pip安装selenium包pipinstallselenium下载对应版本的webdirver,这里用的是某歌的,因为本机安装的某歌浏览器,网页有对应版本说明及下载地址,这里不写了,注意的是下载的dirver一定要在环境变量里path配有的路

系统 2019-09-27 17:46:04 2044

Python

Phantomjs抓取渲染JS后的网页(Python代码)

最近需要爬取某网站,无奈页面都是JS渲染后生成的,普通的爬虫框架搞不定,于是想到用Phantomjs搭一个代理。Python调用Phantomjs貌似没有现成的第三方库(如果有,请告知小编),漫步了一圈,发现只有pyspider提供了现成的方案。简单试用了一下,感觉pyspider更像一个为新手打造的爬虫工具,好比一个老妈子,有时无微不至,有时喋喋不休。轻巧的小工具应该更受人喜爱,我也怀着一点私心,可以带着我最爱的BeautifulSoup一块儿用,而不用

系统 2019-09-27 17:38:44 2044