汇总整理一套Python网页爬虫，文本处理，科学计算，机器学习和数据挖掘的兵器谱。1.Python网页爬虫工具集一个真实的项目，一定是从获取数据开始的。无论文本处理，机器学习和数据挖掘，都需要数据，除了通过一些渠道购买或者下载的专业数据外，常常需要大家自己动手爬数据，这个时候，爬虫就显得格外重要了，幸好，Python提供了一批很不错的网页爬虫工具框架，既能爬取数据，也能获取和清洗数据，也就从这里开始了：1.1Scrapy鼎鼎大名的Scrapy，相信不少同学
系统 2019-09-27 17:53:22 1862
在上一篇文章中，我们讲了如何在linux上用python写一个守护进程。主要原理是利用linux的fork函数来创建一个进程，然后退出父进程运行，生成的子进程就会成为一个守护进程。细心观察的可能会发现，这个守护进程的运行身份是执行这个程序的用户，如果把这个守护程序加入到系统的服务项，那么这个守护程序的执行身份应该是root。一个情况出现了，root的权限比较大，如果通过这个root身份的守护程序来进行操作，危险性是比较大的。一种好的办法是生成一个身份为ro
系统 2019-09-27 17:52:32 1862
扫描服务器ip开放端口，用线程池ThreadPoolExecutor，i7的cpu可以开到600个左右现成,大概20s左右扫描完65535个端口，根据电脑配置适当降低线程数#!/usr/local/python3.6.3/bin/python3.6#coding=utf-8importsocketimportdatetimeimportrefromconcurrent.futuresimportThreadPoolExecutor,waitDEBUG=Fa
系统 2019-09-27 17:52:19 1862
记住以下几点:直接子类化内置类型(如dict,list或str)容易出错,因为内置类型的方法通常会忽略用户覆盖的方法,不要子类化内置类型,用户自定义的类应该继承collections模块。def__setitem__(self,key,value):super().__setitem__(key,[value]*2)#错误案例classAnswerDict(dict):def__getitem__(self,item):#错误案例return42impor
系统 2019-09-27 17:50:43 1862
本文章面向有一定基础的python学习者，使用Pygame包开发一款简单的游戏首先打开命令行，使用PyPI下载Pygame包（输入命令pipinstallpygame）打开python编辑器（vs，IDLE，或其他），再引入包定义一些需要用到的数据先使用pygame包创建一个游戏窗口，然后使用循环将窗口展示出来，运行会出现下图现在定义一个可操控的小球类Player，draw()方法可以使它展示在屏幕上，update()方法让小球跟随鼠标移动类似的，定义不可
系统 2019-09-27 17:49:28 1862
python基础学习笔记（二）2013-02-2416:25虫师阅读(...)评论(...)编辑收藏继续第一篇的内容，讲解，python的一些基本的东西。注释为了让别人能够更容易理解程序，使用注释是非常有效的，即使是自己回头再看旧代码也是一样。>>>#获得用户名：>>>user_name=raw_input("whatisyourname?")在python中用井号（#）表示注释。井号（#）右边的内存将不被程序执行。即使没有注释，也应该让代码本身易于理解。
系统 2019-09-27 17:48:56 1862
引言logging的基本用法网上很多，这里就不介绍了。在引入正文之前，先来看一个需求：假设需要将某功能封装成类库供他人使用，如何处理类库中的日志？数年前在一个C#开发的项目中，我用了这样的方法：定义一个logging基类，所有需要用到日志的类都继承这个基类，这个基类中定义一个LogHandler事件，该事件用于实现具体的记录日志动作，同时可以通过将类A的LogHandler委托挂到类B的LogHandler上，实现将两个类的日志信息添加到一起。自从看了py
系统 2019-09-27 17:47:37 1862
本文实例讲述了Python3实现连接SQLite数据库的方法，对于Python的学习有不错的参考借鉴价值。分享给大家供大家参考之用。具体方法如下：实例代码如下：importsqlite3db=r"D:\pyWork\test.db"#pyWork目录下test.db数据库文件drp_tb_sql="droptableifexistsstaff"crt_tb_sql="""createtableifnotexistsstaff(idintegerprimar
系统 2019-09-27 17:46:13 1862
importsubprocessoutput=Popen(["mycmd","myarg"],stdout=PIPE).communicate()[0]importsubprocessp=subprocess.Popen(['ls','-a'],stdout=subprocess.PIPE,stderr=subprocess.PIPE)out,err=p.communicate()printout#workonUnix/Linuxonlyimportcom
系统 2019-09-27 17:45:26 1862
列表有自己的sort方法，其对列表进行原址排序，既然是原址排序，那显然元组不可能拥有这种方法，因为元组是不可修改的。排序，数字、字符串按照ASCII，中文按照unicode从小到大排序x=[4,6,2,1,7,9]x.sort()print(x)#[1,2,4,6,7,9]如果需要一个排序好的副本，同时保持原有列表不变，怎么实现呢？x=[4,6,2,1,7,9]y=x[:]y.sort()print(y)#[1,2,4,6,7,9]print(x)#[4,
系统 2019-09-27 17:38:09 1862
