简介提到爬虫，大部分人都会想到使用Scrapy工具，但是仅仅停留在会使用的阶段。为了增加对爬虫机制的理解，我们可以手动实现多线程的爬虫过程，同时，引入IP代理池进行基本的反爬操作。本次使用天天基金网进行爬虫，该网站具有反爬机制，同时数量足够大，多线程效果较为明显。技术路线IP代理池多线程爬虫与反爬编写思路首先，开始分析天天基金网的一些数据。经过抓包分析，可知：./fundcode_search.js包含所有基金的数据，同时，该地址具有反爬机制，多次访问将会
系统 2019-09-27 17:57:51 2539
字符串(str)双引号或者单引号中的数据，就是字符串.注意事项1、反斜杠可以用来转义，使用r可以让反斜杠不发生转义。2、字符串可以用+运算符连接在一起，用*运算符重复。3、Python中的字符串有两种索引方式，从左往右以0开始，从右往左以-1开始。4、Python中的字符串不能改变“+”可以直接连接多个字符串“*”可以重复多个相同的字符串字符串的截取(切片)下标字符串的下标是从0开始的，列如字符串，"xiaose",x的下标则0，i的下标则为1，接下来的就
系统 2019-09-27 17:57:17 2539
有个朋友要求帮忙绘制堆叠柱状图，查阅了一些文档之后也算是完成了，只是一个小demo，下面我就记录一下。1.什么是堆叠柱状图与并排显示分类的分组柱状图不同，堆叠柱状图将每个柱子进行分割以显示相同类型下各个数据的大小情况。它可以形象的展示一个大分类包含的每个小分类的数据，以及各个小分类的占比，显示的是单个项目与整体之间的关系。效果图如下：2.数据展示这里展示了部分数据，主要是treatment就是对应的上图分类一，分类二；species就是对应的分组；ra就是
系统 2019-09-27 17:57:06 2539
·Django是利用Python语言从事Web开发的首选框架。如果你以后想从事pythonweb开发工作，就必需了解其优缺点。这些都可能会是你将来的面试题哦。他采用了MVC模式，什么是MVC？大家不要着急，MVC这么好的东西我在下面会精细的讲一下！Django最初是被开发来用于管理劳伦斯出版集团下的一些以新闻为主内容的网站。一款CMS（内容管理系统）软件。并于2005年7月在BSD许可证下发布。这套框架是以比利时的吉普赛爵士吉他手DjangoReinhar
系统 2019-09-27 17:55:56 2539
Python中查看变量的类型，内存地址，所占字节的大小查看变量的类型#利用内置type()函数>>>nfc=["Packers","49"]>>>afc=["Ravens","48"]>>>combine=zip(nfc,afc)>>>type(combine)查看变量的内存地址#利用内置函数id(),是以十进制显示>>>id(nfc)2646554913160>>>id(afc)2646554913544查看变量所占字节的大小>>>importsys>>
系统 2019-09-27 17:55:23 2539
这里主要讲了bs4解析方法和json方法，以8684网页为例子，爬取了全国公交线路importrequestsimporttimefrombs4importBeautifulSoupimportjsonfromxpinyinimportPinyinheaders={'User-Agent':'Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/76.0.
系统 2019-09-27 17:53:12 2539
python运维必须会用的库：1os,pathlib(系统操作库)2logging(运维用到的核心库，用于快速写入日志，非常好用)3pymysql,pymssql,cx_oracle(这些是常用数据库驱动，很多，不一一列举)4datetime(日期计算最常用的库),time(经常在统计性能的时候用到，以及sleep)5random(随机数库，时常会用到)6threading,multiprocessing(多线程，多进程，什么区别就不赘述了，自己百度),q
系统 2019-09-27 17:51:46 2539
词云图是将词汇按照频率的高低显示不同大小而形成的图，可以一目了然地看出关键词。下面是词云图的python代码～#导入需要模块importjiebaimportnumpyasnpimportmatplotlib.pyplotaspltfromPILimportImagefromwordcloudimportWordCloud,STOPWORDS,ImageColorGeneratortext_road=str(input('请输入文章的路径：'))pictu
系统 2019-09-27 17:48:34 2539
学习python遇到的第一个问题：汉诺塔问题的实现。首先是不知道什么是汉诺塔问题，然后是不知道怎么实现。于是百度了下，结果如下：汉诺塔：汉诺塔（又称河内塔）问题是源于印度一个古老传说的益智玩具。大梵天创造世界的时候做了三根金刚石柱子，在一根柱子上从下往上按照大小顺序摞着64片黄金圆盘。大梵天命令婆罗门把圆盘从下面开始按大小顺序重新摆放在另一根柱子上。并且规定，在小圆盘上不能放大圆盘，在三根柱子之间一次只能移动一个圆盘方法一：defmove(n,a,b,c)
系统 2019-09-27 17:37:52 2539
在京东购买了i7500U，却发现除了Googlemaps，其他的Google产品，如gmail、greader全部被阉割了，费了好长时间也没有搜索到解决办法，索性刷机到1.6。期间看了很多大侠的攻略，特别是hiapk的liudidi、白熊等大侠，这里一并谢过。这里总结的方法都是跟这些大侠学来的，我主要是对这些方法进行了一些优化组合，主要目的是自己做个总结，日后刷机时可能用得上，当然，也可能能让新手少走一些弯路，放在这里就算是一个交流贴吧。刷机准备：电脑、数
系统 2019-08-29 23:22:41 2539
