安装urllib库更适合写爬虫文件，scrapy更适合做爬虫项目。步骤：先更改pip源，国外的太慢了，参考：https://www.jb51.net/article/159167.htm升级pip：python-mpipinstall--upgradepippipinstallwheelpipinstalllxmlpipinstallTwistedpipinstallscrapy常用命令核心目录新建项目：scrapystartprojectmcq运行独立的
系统 2019-09-27 17:55:57 2164
Python设计模式设计模式（DesignPattern）是一套被反复使用、多数人知晓的、经过分类的、代码设计经验的总结。使用设计模式的目的：为了代码可重用性、让代码更容易被他人理解、保证代码可靠性。设计模式使代码编写真正工程化；设计模式是软件工程的基石脉络，如同大厦的结构一样。所有的设计模式示例都是来源于菜鸟教程，每个设计模式的UML都可以在菜鸟教程中找到相应的示例github地址：Python设计模式以工厂模式为例：工厂模式在菜鸟教程中的UML图为工厂
系统 2019-09-27 17:55:35 2164
Virtualenv我们都知道Python开发项目很容易，项目也经得起工业级别考验。很多开发者都会习惯用Python开发项目，但是由于我们每个项目情况都有些不一样。比如今天可能用的是Django1.8，明天可能用的是Django2.1。如果不进行环境隔离全局安装就会导致包的冲突，依赖不同，出现问题。这个时候每个应用都需要一套「独立」的Python运行环境。而Virtualenv就是拿来为应用创建这一套「隔离」的Python运行环境。首先用pip安装pipi
系统 2019-09-27 17:55:33 2164
当我们在写程序的时候，我们需要通过测试来验证程序是否出错或者存在问题，但是，编写大量的测试来确保程序的每个细节都没问题会显得很繁琐。在Python中，我们可以借助一些标准模块来帮助我们自动完成测试过程，比如：unittest:一个通用的测试框架；doctest:一个更简单的模块，是为检查文档而设计的，但也非常适合用来编写单元测试。下面，笔者将会简单介绍这两个模块在测试中的应用。doctestdoctest模块会搜索那些看起来像是python交互式会话中的代
系统 2019-09-27 17:55:06 2164
师父布置的任务，让我写一个服务练练手，搞清楚socket的原理和过程后跑了一个小demo，很有成就感，代码内容也比较清晰易懂，很有教育启发意义。代码#coding:utf-8importsocketfrommultiprocessingimportProcessHTML_ROOT_DIR=""defhandle_client(client_socket):"""处理客户端请求"""#获取客户端请求数据request_data=client_socket.r
系统 2019-09-27 17:53:32 2164
在python中我们偶尔会用到输出不换行的效果，python2中使用逗号，即可，而python3中使用end=''来实现的，这里简单为大家介绍一下,需要的朋友可以参考下python输出不换行Python2的写法是：print'hello',Python3的写法是：print('hello',end='')对于python2和python3都兼容的写法是：from__future__importprint_functionprint('hello',end=
系统 2019-09-27 17:53:12 2164
由于产品运营部需要采用第三方个推平台，来推送消息。如果手动一个个键入字段和字段值，容易出错，且非常繁琐，需要将mysql的数据转换为json数据，直接复制即可。本文将涉及到如何使用Python访问Mysql数据库及读取获取数据（前提需要安装MySQLdb第三方库哦），以及如何将数据转换为json数据，最后保存成文件输出。代码如下：注释比较详细了。#coding=utf-8'''Createdon2016-10-26@author:JenniferProje
系统 2019-09-27 17:52:21 2164
测试1deco运行，但myfunc并没有运行复制代码代码如下:defdeco(func):print'beforefunc'returnfuncdefmyfunc():print'myfunc()called'myfunc=deco(myfunc)测试2需要的deco中调用myfunc，这样才可以执行复制代码代码如下:defdeco(func):print'beforefunc'func()print'afterfunc'returnfuncdefmyfu
系统 2019-09-27 17:51:53 2164
我们开始来谈谈python的爬虫。1，什么是爬虫：网络爬虫是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。互联网犹如一个大蜘蛛网，我们的爬虫就犹如一个蜘蛛，当在互联网遇到所需要的资源，我们就会爬取下来，即为爬虫是一个请求网站并且提取数据的自动化程序。2，下面我们来提到两个名词：1）请求，request即为我们的请求，当我们在浏览器内输入网址，敲击回车时，这时浏览器就会发送消息给该网址所在
系统 2019-09-27 17:50:56 2164
原文链接：https://blog.csdn.net/m0_37586991/article/details/81629421近期在写dataloader函数时，由于错用了extend和append，导致后面出现了bug。后面发现问题后，便将该问题记录下来防止重复出错。两个函数从功能上来看非常类似，但处理后的结果却完全不同，使用时需要特别注意。尤其是对多个的list进行合并时，append可以保持list的原始形式，extend则进行了拆分重组，将待添加的
系统 2019-09-27 17:50:26 2164
