由于之前对于爬取下来的数据都是存入MongoDB中，想起来还没有尝试存入MySQL，于是将一篇简单的文章爬取下来，存入MySQL试试这里用到的python模块是pymysql，因为MySQLdb之前已经停止维护首先在cmd中连接MySQL并且创建一个数据库json在图形化界面workbench中可以看到接下来就要在pycharm中写代码了，在pycharm中导入pymysql后即可#建立python与MySQL之间的连接mysql=pymysql.conn
系统 2019-09-27 17:53:26 1887
使用python来登录asp网站和登录其他网站差不多,只是因为asp页面在每次请求的时候都要带上viewstate,因此使用python来登录的话就多了一个步骤,获得这个页面的viewstate之后带上这个和你要post或get到该页面的请求数据就好了,下面这段程序是登录一个asp系统,然后搜索某些数据并将这些数据保存下来.#coding=utf-8importurllib2frombs4importBeautifulSoupimporturllibimp
系统 2019-09-27 17:53:06 1887
Spark编程环境Spark可以独立安装使用，也可以和Hadoop一起安装使用。在安装Spark之前，首先确保你的电脑上已经安装了Java8或者更高的版本。Spark安装访问Spark下载页面，并选择最新版本的Spark直接下载，当前的最新版本是2.4.2。下载好之后需要解压缩到安装文件夹中，看自己的喜好，我们是安装到了/opt目录下。tar-xzfspark-2.4.2-bin-hadoop2.7.tgzmvspark-2.4.2-bin-hadoop2
系统 2019-09-27 17:52:49 1887
问题1：需要得到一个类似{“demo”:{“key”:”value”}}这样格式的字典dic。dic=dict()dic_temp=dict()dic_temp={"key":"value"}dic["demo"]=dic_temp问题2：创建一个多值映射字典.。d={}forkey,valueinpairs:ifkeynotind:d[key]=[]d[key].append(value)问题3：需要得到一个类似[{“id”:1,“text”:“Root
系统 2019-09-27 17:48:04 1887
如果你不希望从头开始创造一种数据格式来存放数据，JSON是一个很好的选择。如果你对Python有所了解，就更加事半功倍了。下面就来介绍一下如何使用Python处理JSON数据。JSON的全称是JavaScript对象表示法JavaScriptObjectNotation。这是一种以键值对的形式存储数据的格式，并且很容易解析，因而成为了一种被广泛使用的数据格式。另外，不要因为JSON名称而望文生义，JSON并不仅仅在JavaScript中使用，它也可以在其它
系统 2019-09-27 17:47:24 1887
本文我们详细地介绍下两个模块关于生成随机序列的其他使用方法。随机数参与的应用场景大家一定不会陌生，比如密码加盐时会在原密码上关联一串随机数，蒙特卡洛算法会通过随机数采样等等。Python内置的random模块提供了生成随机数的方法，使用这些方法时需要导入random模块。importrandom下面介绍下Python内置的random模块的几种生成随机数的方法。1、random.random()随机生成0到1之间的浮点数[0.0,1.0)。注意的是返回的随
系统 2019-09-27 17:46:55 1887
命令行方式运行Python脚本在这个章节中，我们将写一些简单的数据库管理脚本。在此之前让我们来复习一下如何通过命令行方式执行Python脚本.如果Linux或者OSX的操作系统，需要有执行脚本的权限。例如：chmoda+xscript.py该脚本有个指向使用解释器的命令行。再脚本赋予执行权限后就可以通过命令行执行，就像这样：likethis:./script.py然而，在Windows系统上这样做是不行的，你必须提供Python解释器作为必选参数，如：复制
系统 2019-09-27 17:45:52 1887
本文较为详细的讲述了Python中常用的模块，分享给大家便于大家查阅参考之用。具体如下：1.内置模块(不用import就可以直接使用)常用内置函数：help(obj)在线帮助,obj可是任何类型callable(obj)查看一个obj是不是可以像函数一样调用repr(obj)得到obj的表示字符串，可以利用这个字符串eval重建该对象的一个拷贝eval_r(str)表示合法的python表达式，返回这个表达式dir(obj)查看obj的namespace中
系统 2019-09-27 17:45:32 1887
python是支持多线程的，主要是通过thread和threading这两个模块来实现的。thread模块是比较底层的模块，threading模块是对thread做了一些包装的，可以更加方便的使用。虽然python的多线程受GIL限制，并不是真正的多线程，但是对于I/O密集型计算还是能明显提高效率，比如说爬虫。下面用一个实例来验证多线程的效率。代码只涉及页面获取，并没有解析出来。#-*-coding:utf-8-*-importurllib2,timeim
系统 2019-09-27 17:37:56 1887
作为一个mod_python模块的替代，你可以考虑使用mod_wsgi模块，此模块开发的时间比mod_python的开发时间离现在更近一些，在Django社区已有一些使用。一个完整的概述超出了本书的范围，你可以从官方的Django文档查看到更多的信息。使用FastCGI部署Django应用尽管将使用Apache和mod_python搭建Django环境是最具鲁棒性的，但在很多虚拟主机平台上，往往只能使用FastCGI此外，在很多情况下，FastCGI能够提
系统 2019-09-27 17:37:35 1887
在python中有一个telnetlib，它的作用就是建立一个通到主机的telnet连线实体，然后向主机传送命令(就像用键盘输入一样)并从该连线接收数据。利用它，我们可以把示范1的所有内容从"人-机'交流变成'机-机'交流，这样也可以做到处理pop3邮箱的工作。不过既然我们已经试过了pop3，这一次可以试用真的telnet埠23做些好玩的东西。#telnetdo.py#!/usr/bin/envpythondeftelnetdo(HOST=None,USE
系统 2019-09-27 17:50:56 1886
最近在用Python编写连接数据库获取记录的脚本，其中用到了cx_Oracle模块。它的语法主要如下：cx_Oracle.connect('username','pwd','IP/HOSTNAME:PORT/TNSNAME')importcx_Oracledb1=cx_Oracle.connect('yang','yang','127.0.0.1:1523/yangdb')db2=cx_Oracle.connect('yang/yang@127.0.0.1
系统 2019-09-27 17:47:07 1886
前言在浏览博客时，偶然看到了用python将汉字转为拼音的第三方包，但是在实现的过程中发现一些参数已经更新，现在将两种方法记录一下。xpinyin在一些博客中看到，如果要转化成带音节的拼音，需要传递参数，‘show_tone_marks=True'，但我在实际使用时发现，已经没有这个参数了，变成了tone_marks，其它的参数和使用方法，一看就明白了，写的很清楚。看下源码：classPinyin(object):"""translatechineseha
系统 2019-09-27 17:46:05 1886
引言您是否能编写命令行工具？也许您可以，但您能编写出真正好用的命令行工具吗？本文讨论使用Python来创建一个强健的命令行工具，并带有内置的帮助菜单、错误处理和选项处理。由于一些奇怪的原因，很多人并不了解Python?的标准库具有制作功能极其强大的*NIX命令行工具所需的全部工具。可以这样说，Python是制作*NIX命令行工具的最佳语言，因为它依照“batteries-included”的哲学方式工作，并且强调提供可读性高的代码。但仅作为提醒，当您发现使
系统 2019-09-27 17:38:28 1886
Python安装Django本身是纯Python编写的，所以安装框架的第一步是确保你已经安装了Python。Python版本核心Django框架可以工作在2.3至2.6（包括2.3和2.6）之间的任何Python版本。Django的可选GIS（地理信息系统）支持需要Python2.4到2.6。如果你不确定要安装Python的什么版本，并且你完全拿不定主意的话,那就选2.x系列的最新版本吧。版本2.6。虽然Django在2.3至2.6版之间的任意Python
系统 2019-09-27 17:37:57 1886
