在这个教材中,我们假定你已经安装了Scrapy。假如你没有安装,你可以参考这个安装指南。我们将会用开放目录项目(dmoz)作为我们例子去抓取。这个教材将会带你走过下面这几个方面:创造一个新的Scrapy项目定义您将提取的Item编写一个蜘蛛去抓取网站并提取Items。编写一个ItemPipeline用来存储提出出来的ItemsScrapy由Python写成。假如你刚刚接触Python这门语言,你可能想要了解这门语言起,怎么最好的利用这门语言。假如你已经熟悉
系统 2019-09-27 17:49:18 2071
OS模块基本操作提供对操作系统进行调用的接口importos#导入模块os.getcwd()#获取当前目录(pwd)os.chdir("/Users")#切换到某个指定的目录(cd/Users)os.curdir#返回当前目录('.'、cd.)os.pardir#返回上级目录('..'、cd..)os.makedirs('dirname1/dirname2')#递归创建目录(mkdir-p)os.removedirs('dirname1/dirname2'
系统 2019-09-27 17:49:12 2071
python循环结构1.1使用whilePython中没有do…while循环while…else在条件语句为false时执行else的语句块：list=[1,2,3,4,5]i=0whilei
系统 2019-09-27 17:49:12 2071
如题，后续继续优化importcsv#构建表头headers=["id","user_name","age","country"]#内容列表rows=[("001","dana",18,"china"),("002","tom",22,"arimecan"),("003","jack",45,"hk")]#新建csv文档，默认是自动换行的，所以要newline=""withopen("csv01.csv","w",newline='')asf:f_csv=
系统 2019-09-27 17:49:07 2071
先说说线程在多线程中，为了保证共享资源的正确性，我们常常会用到线程同步技术.将一些敏感操作变成原子操作，保证同一时刻多个线程中只有一个线程在执行这个原子操作。我最常用的是互斥锁，也称独占锁。其次还有读写锁，信号量，条件变量等。除此之外，我们在进程间通信时会用到信号，向某一个进程发送信号，该进程中设置信号处理函数，然后当该进程收到信号时，执行某些操作。其实在线程中，也可以接受信号，利用这种机制，我们也可以用来实现线程同步。更多信息见//www.jb51.ne
系统 2019-09-27 17:48:40 2071
python可以方便地支持多线程。可以快速创建线程、互斥锁、信号量等等元素，支持线程读写同步互斥。美中不足的是，python的运行在python虚拟机上，创建的多线程可能是虚拟的线程，需要由python虚拟机来轮询调度，这大大降低了python多线程的可用性。我们经今天用了经典的生产者和消费者的问题来说明下python的多线程的运用上代码：#encoding=utf-8importthreadingimportrandomimporttimefromQue
系统 2019-09-27 17:48:36 2071
安装很简单复制代码代码如下:pipinstallpsutil官网地址为：https://pythonhosted.org/psutil/（文档上有详细的api）github地址为：https://github.com/giampaolo/psutil/psutil比较好的地方，一个是跨平台，不需要切换平台的时候在重新开放了，另外一个好处的工具集中CPU,memory,disks,network，这些信息都可以获得到。可以用来做系统监控，性能分析，进程管理。
系统 2019-09-27 17:48:35 2071
python的osmodule中有fork()函数用于生成子进程，生成的子进程是父进程的镜像，但是它们有各自的地址空间，子进程复制一份父进程内存给自己，两个进程之间的执行是相互独立的，其执行顺序可以是不确定的、随机的、不可预测的，这点与多线程的执行顺序相似。importosdefchild():print'Anewchild:',os.getpid()print'Parentidis:',os.getppid()os._exit(0)defparent()
系统 2019-09-27 17:48:24 2071
通用视图1.前言回想一下，在Django中view层起到的作用是相当于controller的角色，在view中实施的动作，一般是取得请求参数，再从model中得到数据，再通过数据创建模板，返回相应响应对象。但在一些比较通用的功能中，比如显示对象列表，显示某对象信息，如果反复写这么多流程的代码，也是一件浪费时间的事，在这里，Django同样给我们提供了类似的"shortcut"捷径--通用视图。2.使用通用视图使用通用视图的方法就是在urls.py这个路径配
系统 2019-09-27 17:48:15 2071
log日志监测程序运行：可以1⃣️Linux重定向将python运行报错记录到log日志中，2⃣️或者用python内置的logging模块。但是在用logging模块时，try...except...可以捕获到可预见/考虑到的异常，用logging记录到log日志文件中，但是在对于未知异常或导致程序退出时的情形无法记录到log日志中，用Linux的重定向可以捕捉到。现在到问题时我不想用Linux系统提供的重定向方法，我需要捕获python运行中未知的异常
系统 2019-09-27 17:48:09 2071
