学习python少不了写爬虫,不仅能以点带面地学习、练习使用python,爬虫本身也是有用且有趣的,大量重复性的下载、统计工作完全可以写一个爬虫程序完成。用python写爬虫需要python的基础知识、涉及网络的几个模块、正则表达式、文件操作等知识。昨天在网上学习了一下,写了一个爬虫自动下载「糗事百科」里面的图片。源代码如下:复制代码代码如下:#-*-coding:utf-8-*-#上面那句让代码里支持中文#------------------------
系统 2019-09-27 17:45:42 1795
装饰器:概念:把一个函数当作参数传递给一个函数,返回一个替代版的函数本质上就是一个返回函数的函数“在不改变原函数的基础上,给函数增加功能”@符号,那只是一个简短的方式来生成一个被装饰的函数defpaint(func):参数是一个函数definner():print('#########')这个的整个部分就都是装饰器func()returninner@paint这个就是函数戴帽子,也就是装饰器deffunc():print('haveaniceday!!')
系统 2019-09-27 17:45:41 1795
这次要为我的python程序加上数据库,主要是实现从mysql中查询出数据并在页面上显示出来。首先是mysql的配置文件config.pyhost="127.0.0.1"user="root"password=""charset="utf8"database="service"port=3306然后是从数据库中读取数据的aService.pyimportMySQLdbimportsysimportconfigclassAService(object):de
系统 2019-09-27 17:45:28 1795
保证只能运行一个脚本实例,方法是程序运行时监听一个特定端口,如果失败则说明已经有实例在跑。使用装饰器实现,便于重用复制代码代码如下:importfunctoolsdefjust_one_instance(func):'''装饰器如果已经有实例在跑则退出复制代码代码如下::return:'''@functools.wraps(func)deff(*args,**kwargs):importsockettry:#全局属性,否则变量会在方法退出后被销毁globa
系统 2019-09-27 17:45:27 1795
python通过安装使用paramiko模块,将本地文件上传到服务器上importparamikoimportdatetimeimportoshostname='服务器ip'username='root'password='服务器密码'port=22#配置信息可以写到配置文件中#loacl_file是要上传的本地文件路径#remote_path是要上传到服务器上指定文件的路径defupload(local_file,remote_path):try:t=p
系统 2019-09-27 17:45:24 1795
IPython+ptpython,完美体验首先是安装pipinstallipythonptpython然后使用ptipython有什么好处1.IPython是非常强大的Python增强工具2.ptpython提供了类似IDE的自动补全功能3.当你在命令行输入pyipython时,便结合了这两者的功能,无比强大!virtualenv+virtualenvwrapper,轻松创建隔离环境首先安装pipinstallvirtualenvwrapper(会自动把v
系统 2019-09-27 17:38:45 1795
注释文本箭头结果展示:完整代码示例:importnumpyasnpimportmatplotlib.pyplotaspltfig,ax=plt.subplots(figsize=(5,5))ax.set_aspect(1)x1=-1+np.random.randn(100)y1=-1+np.random.randn(100)x2=1.+np.random.randn(100)y2=1.+np.random.randn(100)ax.scatter(x1,y
系统 2019-09-27 17:38:44 1795
OK,首先写一个pythonsocket的server段,对开放三个端口:10000,10001,10002.krondo的例子中是每个server绑定一个端口,测试的时候需要分别开3个shell,分别运行.这太麻烦了,就分别用三个Thread来运行这些services.importoptparseimportosimportsocketimporttimefromthreadingimportThreadimportStringIOtxt='''1111
系统 2019-09-27 17:38:44 1795
什么是中间件我们从一个简单的例子开始。高流量的站点通常需要将Django部署在负载平衡proxy之后。这种方式将带来一些复杂性,其一就是每个request中的远程IP地址(request.META["REMOTE_IP"])将指向该负载平衡proxy,而不是发起这个request的实际IP。负载平衡proxy处理这个问题的方法在特殊的X-Forwarded-For中设置实际发起请求的IP。因此,需要一个小小的中间件来确保运行在proxy之后的站点也能够在r
系统 2019-09-27 17:38:42 1795
一般来说在Python中,为了解决内存泄漏问题,采用了对象引用计数,并基于引用计数实现自动垃圾回收。由于Python有了自动垃圾回收功能,就造成了不少初学者误认为自己从此过上了好日子,不必再受内存泄漏的骚扰了。但如果仔细查看一下Python文档对__del__()函数的描述,就知道这种好日子里也是有阴云的。下面摘抄一点文档内容如下:Somecommonsituationsthatmaypreventthereferencecountofanobjectfr
系统 2019-09-27 17:38:39 1795