申明：本文出自我自己的微信号python1024，属于个人原创。先看下代码目录结构：有三个.py文件,map_craw.py、stat.py、store.py分别的功能是爬取数据、数据分析、将爬取的数据存储入mysql数据库中，由于stat.py还没写完，这篇文章主要讲数据的爬取与存储。这里的地图就是baidumap,如果是没有爬虫基础的同学先到CSDN里面搜一下，安装个Chrome浏览器，顺便在浏览器的右上角更多中找到更多工具—>扩展程序选项将JSONV
系统 2019-09-27 17:53:30 2154
Dash简介Dash是一个用于构建Web应用程序的Python数据可视化库。它基于PythonWeb框架Flask以及Javascript绘图库Plotly.js和用于构建用户界面的Javascript库React.js，所以它非常适合用于构建后端基于Flask，前端数据可视化的Web网页。因为Dash应用程序可以在Web浏览器中显示，所以可以将这些Dash应用程序部署到服务器，通过URL共享。Dash应用程序由两部分组成，第一部分是布局（Layout），
系统 2019-09-27 17:52:31 2154
互联网寒冬2017年冬天，是我人生中最难熬的一个冬天，其实2017年的冬天并不算太冷，比这冬日的寒风还要严寒的要属这所谓的”互联网寒冬”吧！各大厂裁员的消息充斥着互联网，互联网表面风光实则早己经千仓百孔。其实不仅仅是互联网，每个行业都一样。包括18、19这两年都还处在寒冬期。那为什么互联网界的人对着会这么敏感呢？尤其是程序员！因为IT的知识体系太过庞大，知识更新速度太快太快了。程序员永远在追着热点跑，今天学Java，明天学Python，后天学Golang，
系统 2019-09-27 17:50:24 2154
初识pythonpython爬虫爬虫步骤（个人学习后的理解）：获取URL地址解析URL源码提取源码中的需要信息使用re、beautifulsoup、urllib.request等常用库写入txt、excel等等。Python格式化字符：format_string%string_to_convert其中：format_string为格式标记字符串，形式为“%cdoe”；string_to_convert为要格式化的字符串，如果是两个以上，则需要用小括号括起来
系统 2019-09-27 17:49:59 2154
掷骰子骰子类#die.py骰子类模块fromrandomimportrandintclassDie():"""骰子类"""def__init__(self,num_sides=6):"""默认六面的骰子"""self.num_sides=num_sidesdefroll(self):"""掷骰子的方法"""returnrandint(1,self.num_sides)折线图掷骰子#die_visual_plot.py使用plot可视化骰子importmat
系统 2019-09-27 17:48:44 2154
寻觅工具确定任务之后第一步就是找个趁手的库来干活。PythonExcel上列出了xlrd、xlwt、xlutils这几个包，但是它们都比较老，xlwt甚至不支持07版以后的excel它们的文档不太友好，都可能需要去读源代码，而老姐的任务比较紧，加上我当时在期末，没有这个时间细读源代码再一番搜索后我找到了openpyxl，支持07+的excel，一直有人在维护，文档清晰易读，参照Tutorial和API文档很快就能上手，就是它了~安装这个很容易，直接pipi
系统 2019-09-27 17:47:29 2154
目录一、守护线程1.1详细解释1.2守护线程例11.3守护线程例2一、守护线程无论是进程还是线程，都遵循：守护xx会等待主xx运行完毕后被销毁。需要强调的是：运行完毕并非终止运行。对主进程来说，运行完毕指的是主进程代码运行完毕对主线程来说，运行完毕指的是主线程所在的进程内所有非守护线程统统运行完毕，主线程才算运行完毕1.1详细解释主进程在其代码结束后就已经算运行完毕了（守护进程在此时就被回收）,然后主进程会一直等非守护的子进程都运行完毕后回收子进程的资源(
系统 2019-09-27 17:47:07 2154
Scrapy官方介绍是Anopensourceandcollaborativeframeworkforextractingthedatayouneedfromwebsites.Inafast,simple,yetextensibleway.意思就是一个开源和协作框架，用于以快速，简单，可扩展的方式从网站中提取所需的数据。环境准备本文项目使用环境及工具如下python3scrapymongodbpython3scrapy的安装就不再叙述mongodb是用来存
系统 2019-09-27 17:46:17 2154
一、什么是Selenium？Selenium是一个基于浏览器的自动化测试工具，它提供了一种跨平台、跨浏览器的端到端的web自动化解决方案。Selenium主要包括三部分：SeleniumIDE、SeleniumWebDriver和SeleniumGrid。SeleniumIDE：Firefox的一个扩展，它可以进行录制回放，并把录制的操作以多种语言（例如java、python等）的形式导出成测试用例。SeleniumWebDriver：提供Web自动化所需
系统 2019-09-27 17:45:45 2154
在平时的工程中，我们在构建工程时，常常需要用到配置文件，用来配置项目的一些信息，比如数据库，请求网址，文件夹，线程、进程数等信息，这样就可以方便我们通过修改配置文件中的参数来很好地完成整个项目的功能修改或开发。配置文件一般区别于Python代码，会单独存放在一个文件夹中，方便管理，常见的配置文件格式有.conf,.ini,.yaml等。本文使用Python中的configparser模块来处理conf、ini配置文件。首先需要安装configparser模
系统 2019-09-27 17:45:29 2154
