前面十章爬虫笔记陆陆续续记录了一些简单的Python爬虫知识，用来解决简单的贴吧下载，绩点运算自然不在话下。不过要想批量下载大量的内容，比如知乎的所有的问答，那便显得游刃不有余了点。于是乎，爬虫框架Scrapy就这样出场了！Scrapy=Scrach+Python，Scrach这个单词是抓取的意思，Scrapy的官网地址：点我点我。那么下面来简单的演示一下Scrapy的安装流程。具体流程参照：//www.jb51.net/article/48607.htm
系统 2019-09-27 17:54:46 2205
一、简单使用复制代码代码如下:defTestLogBasic():importlogginglogging.basicConfig(filename='log.txt',filemode='a',level=logging.NOTSET,format='%(asctime)s-%(levelname)s:%(message)s')logging.debug('thisisamessage')logging.info("thisisainfo")loggin
系统 2019-09-27 17:54:02 2205
在初步了解Python多进程之后，我们可以继续探索multiprocessing包中更加高级的工具。这些工具可以让我们更加便利地实现多进程。进程池进程池(ProcessPool)可以创建多个进程。这些进程就像是随时待命的士兵，准备执行任务(程序)。一个进程池中可以容纳多个待命的士兵。“三个进程的进程池”比如下面的程序:复制代码代码如下:importmultiprocessingasmuldeff(x):returnx**2pool=mul.Pool(5)r
系统 2019-09-27 17:53:52 2205
基于TCP协议的套接字编程实现电话沟通为例,这里传递的是字符,可以自己尝试去发送一个文件#服务端importsocket#1.符合TCP协议的手机server=socket.socket(socket.AF_INET,socket.SOCK_STREAM)#TCP#2.绑定手机号一个服务器,我们自己的电脑作为服务器的话,用自己的IP地址server.bind(('127.0.0.1',8000))#127.0.0.1代表本地#server.bind(('1
系统 2019-09-27 17:53:04 2205
前言学过Python数据分析的朋友都知道，在可视化的工具中，有很多优秀的三方库，比如matplotlib，seaborn，plotly，Boken，pyecharts等等。这些可视化库都有自己的特点，在实际应用中也广为大家使用。plotly、Boken等都是交互式的可视化工具，结合Jupyternotebook可以非常灵活方便地展现分析后的结果。虽然做出的效果非常的炫酷，比如plotly，但是每一次都需要写很长的代码，一是麻烦，二是不便于维护。我觉得在数据
系统 2019-09-27 17:52:48 2205
#使用StandardScaler进行数据预处理importnumpyimportmatplotlib.pyplotaspltfromsklearn.datasetsimportmake_blobsX,y=make_blobs(n_samples=40,centers=2,random_state=50,cluster_std=2)plt.scatter(X[:,0],X[:,1],c=y,cmap=plt.cm.cool)plt.show()#导入Sta
系统 2019-09-27 17:52:41 2205
创建main.py文件并粘贴下面代码点击右键运行Debug'main'后，下方的Debug窗口会出现ImportError:Nomodulenamed'bottle'这样的提示，提示导入bottle包出错所以我们需要先安装这两个包，cmd，输入pipinstallbottle回车后开始安装bottle包Mac权限不够补上sudo#!/usr/bin/python#coding=utf-8frombottleimportdefault_app,get,run
系统 2019-09-27 17:52:23 2205
原理在网页源码中如果出现将用户输入数据进行反序列化当成参数输出时,出现漏洞,可造成任意命令执行例如网页源码try:become=self.get_argument('become')p=pickle.loads(urllib.unquote(become))returnself.render('form.html',res=p,member=1)except:returnself.render('form.html',res='ThisisBlackTec
系统 2019-09-27 17:51:41 2205
前言Python以其简单易懂的语法格式与其它语言形成鲜明对比，初学者遇到最多的问题就是不按照Python的规则来写，即便是有编程经验的程序员，也容易按照固有的思维和语法格式来写Python代码，有一个外国小伙总结了一些大家常犯的错误，，我把他翻译过来并在原来的基础补充了我的一些理解，希望可以让你避开这些坑。0、忘记写冒号在if、elif、else、for、while、class、def语句后面忘记添加“:”ifspam==42print('Hello!')
系统 2019-09-27 17:50:54 2205
博主在这个问题上卡了挺久的，贴出来解决方法帮助需要的朋友，直接上代码（测试环境：win10+Python2.7）：#coding=utf-8importsqlite3withsqlite3.connect(":memory:")asconn:try:init_sql="createtabletest(idintegerprimarykey,nametext(200)notnull);"\"insertintotest(name)values('小居居');
系统 2019-09-27 17:50:19 2205
