最近博主手上有一个爬虫项目，开始深入研究python爬虫开发，这是我篇博客也相当于是我的学习笔记，我认为学习爬虫第一步，先学习python多线程与多进程，熟悉网络编程，接下来会陆续以博客的方式跟大家做分享。多进程Python实现多进程的方式主要有两种，一种方法是使用os模块中的fork方法，另一种方法是使用multiprocessing模块。这两种方法的区别在于前者仅适用于Unix/Linux操作系统，对Windows不支持，后者则是跨平台的实现方式，目前
系统 2019-09-27 17:53:30 1764
函数的作用域python中的作用域分4种情况：L：local，局部作用域，即函数中定义的变量；E：enclosing，嵌套的父级函数的局部作用域，即包含此函数的上级函数的局部作用域，但不是全局的；G：globa，全局变量，就是模块级别定义的变量；B：built-in，系统固定模块里面的变量，比如int,bytearray等。搜索变量的优先级顺序依次是：作用域局部>外层作用域>当前模块中的全局>python内置作用域，也就是LEGB。local和enclos
系统 2019-09-27 17:53:09 1764
首先,你得下载SocksiPy这个.解压出来之后里面会有一个socks.py文件.然后你可以把这个文件复制到python安装目录里面的Lib\site-packages中.或者把这个文件复制到程序所在的目录中.然后就可以再程序中使用socket代理来编写程序了.下面是示例代码importsocksimportsocketsocks.setdefaultproxy(socks.PROXY_TYPE_SOCKS5,"127.0.0.1",8088)socket
系统 2019-09-27 17:53:08 1764
Python命令行之旅：使用argparse实现git命令作者：HelloGitHub-ProdesireHelloGitHub的《讲解开源项目》系列，项目地址：https://github.com/HelloGitHub-Team/Article前言在前面三篇介绍argparse的文章中，我们全面了解了argparse的能力，相信不少小伙伴们都已经摩拳擦掌，想要打造一个属于自己的命令行工具。本文将以我们日常工作中最常见的git命令为例，讲解如何使用arg
系统 2019-09-27 17:52:36 1764
安装pydensecrf时报错：(venv)dorothy@dorothy-MS-7A94:~/project/venv/bin$pipinstallpydensecrfCollectingpydensecrfUsingcachedhttps://files.pythonhosted.org/packages/31/5a/1c2ab48e8019d282c128bc5c621332267bb954d32eecdda3ba57306b1551/pydense
系统 2019-09-27 17:52:21 1764
Python实现Mysql数据统计的实例代码如下所示：importpymysqlimportxlwtexcel=xlwt.Workbook(encoding='utf-8')sheet=excel.add_sheet('Mysql数据库')sheet.write(0,0,'库名')sheet.write(0,1,'表名')sheet.write(0,2,'数据条数')db=pymysql.connect('192.168.1.74','root','123
系统 2019-09-27 17:51:52 1764
一、新建云端notebook打开https://colab.research.google.com网站，我们就能看到浏览器中出现了新建pythonnotebook二、分享代码有时候同学之间或者同事之间分享项目代码，过去都是使用邮箱，繁琐费事。现在一键分享，这里我是给自己的邮箱里转发然后大邓打开自己的邮箱，wow，6666三、团队成员可以评论代码比如在一个团队中，有的人写错了代码，我们可以在远隔十万八千的另外一台电脑上做评论，提示错误。四、链接到stacko
系统 2019-09-27 17:51:44 1764
推荐系统的相关知识我们已在前文中提到，在这篇文章中，我们会介绍如何用Python来搭建一个简单的推荐系统。本文使用的数据集是MovieLens数据集，该数据集由明尼苏达大学的Grouplens研究小组整理。它包含1,10和2亿个评级。Movielens还有一个网站，我们可以注册，撰写评论并获得电影推荐。接下来我们就开始实战演练。在这篇文章中，我们会使用Movielens构建一个基于item的简易的推荐系统。在开始前，第一件事就是导入pandas和numPy
系统 2019-09-27 17:50:15 1764
记录三种添加cookie保持接口登录状态的方法，方便自己回顾。1.简单粗暴式。此方法比较小白，前提是已经通过fiddler抓包等方式拿到了cookie，然后直接塞进去。importrequeststrainsUrl='http://XXX.com/trains'headers={"Content-Type":"application/json;charset=UTF-8",}cookies={"XXXthor":"XXXXXX105a42"}prames=
系统 2019-09-27 17:49:54 1764
因为目前python非常火，应用非常的广泛，是目前最火的行业之一，竞争很大，工资很高，未来发展也极好。我个人建议：如条件还可以，负担不是那么大，可以选择培训，培训一定会比你自学的好，如果培训都学好，自学肯定更难。目前python的培训费用都是2W+，这还只是培训费而已，加上一些其他的东西，四个月时间要小三万吧！所以建议选择线上培训，成本低，可以反复学。如果条件不允许，选择自学，自学肯定会难，但是只要你决心够用，自学也可以找到工作，但是从比例来看会很低，其实
系统 2019-09-27 17:48:21 1764
