1.在Scrapy工程下新建“middlewares.py”#Importingbase64librarybecausewe'llneeditONLYincaseiftheproxywearegoingtouserequiresauthenticationimportbase64#StartyourmiddlewareclassclassProxyMiddleware(object):#overwriteprocessrequestdefprocess_r
系统 2019-09-27 17:38:07 1998
1、首先建一个SampleServlet类，（名字随意。）继承HttpServletpackagecom.maojd.test;importjava.io.IOException;importjava.io.PrintWriter;importjavax.servlet.ServletException;importjavax.servlet.http.HttpServlet;importjavax.servlet.http.HttpServletRequ
系统 2019-08-29 22:10:42 1998
'''进程间的通信'''"""multiprocessing模块支持进程间通信的两种主要形式：管道和队列都是基于消息传递实现的，"""frommultiprocessingimportQueueq=Queue(3)#put,get,put_nowait,get_nowait,full,emptyq.put(1)q.put(2)q.put(3)#q.put(1)#队列已经满了，再加程序就会一直停在这里，等待数据被别人取走，不取走就一直停在这##q.get(1
系统 2019-09-27 17:55:59 1997
Numpy模块被广泛用于科学和数值计算，自然有它的强大之处，之前对于特征处理中需要进行数据列表或者矩阵拼接的时候都是自己写的函数来完成的，今天发现一个好玩的函数，不仅好玩，关键性能强大，那就是Numpy模块自带的矩阵、列表连接函数，实践一下。#!usr/bin/envpython#encoding:utf-8from__future__importdivision'''__Author__:沂水寒城使用numpy模块实现矩阵的连接操作'''importnu
系统 2019-09-27 17:55:12 1997
由于之前对于爬取下来的数据都是存入MongoDB中，想起来还没有尝试存入MySQL，于是将一篇简单的文章爬取下来，存入MySQL试试这里用到的python模块是pymysql，因为MySQLdb之前已经停止维护首先在cmd中连接MySQL并且创建一个数据库json在图形化界面workbench中可以看到接下来就要在pycharm中写代码了，在pycharm中导入pymysql后即可#建立python与MySQL之间的连接mysql=pymysql.conn
系统 2019-09-27 17:53:26 1997
汇总整理一套Python网页爬虫，文本处理，科学计算，机器学习和数据挖掘的兵器谱。1.Python网页爬虫工具集一个真实的项目，一定是从获取数据开始的。无论文本处理，机器学习和数据挖掘，都需要数据，除了通过一些渠道购买或者下载的专业数据外，常常需要大家自己动手爬数据，这个时候，爬虫就显得格外重要了，幸好，Python提供了一批很不错的网页爬虫工具框架，既能爬取数据，也能获取和清洗数据，也就从这里开始了：1.1Scrapy鼎鼎大名的Scrapy，相信不少同学
系统 2019-09-27 17:53:22 1997
附Java/C/C++/机器学习/算法与数据结构/前端/安卓/Python/程序员必读书籍书单大全：书单导航页（点击右侧极客侠栈即可打开个人博客）：极客侠栈①【Java】学习之路吐血整理技术书从入门到进阶最全50+本（珍藏版)②【算法数据结构+acm】从入门到进阶吐血整理书单50+本（珍藏版)③【数据库】从入门到进阶必读18本技术书籍网盘吐血整理网盘(珍藏版)④【Web前端】从HTML到JS到AJAX到HTTP从框架到全栈帮你走更少弯路(珍藏版)⑤【pyt
系统 2019-09-27 17:53:09 1997
本文主要是记录ubuntu16.04下python环境配置，具体内容如下对于ubuntu16.04，由于本身是自带python，这样就减少了在windows下的下载和环境变量配置，非常不错。但是他本身是自带两个版本的python，2.X和3.X,两个版本，两个版本默认的是使用2.X，毕竟3.X是一个趋势，今后我这边应该也会主要使用3.X版本，所以这里记录一下如果在版本间切换以及如何把python版本切换到3.X下的方法。一、确认本机下的python默认版本
系统 2019-09-27 17:51:01 1997
最近在做周报的时候，需要把csv文本中的数据提取出来制作表格后生产图表。在获取csv文本内容的时候，基本上都是用withopen(filename,encoding='UTF-8')asf:来打开csv文本，但是实际使用过程中发现有些csv文本并不是utf-8格式，从而导致程序在run的过程中报错，每次都需要手动去把该文本文件的编码格式修改成utf-8，再次来run该程序，所以想说：直接在程序中判断并修改文本编码。基本思路：先查找该文本是否是utf-8的编
系统 2019-09-27 17:46:34 1997
一个mailLogin的jsp页面:<%@pagelanguage="java"import="java.util.*"pageEncoding="UTF-8"%>MyJSP'mailLogin.jsp'startingpage<%Stringusername="";if(!session.isNew()){username=(String)session.getAttribu
系统 2019-08-29 23:23:34 1997
