案例:爬取使用搜狗根据指定词条搜索到的页面数据(例如爬取词条为‘周杰伦'的页面数据)importurllib.request#1.指定urlurl='https://www.sogou.com/web?query=周杰伦''''2.发起请求:使用urlopen函数对指定的url发起请求,该函数返回一个响应对象,urlopen代表打开url'''response=urllib.request.urlopen(url=url)#3.获取响应对象中的页面数据:r
系统 2019-09-27 17:53:11 2254
在前面的文章《python小欢喜(六)动画(1)pygame的安装与初步使用》中介绍了如何安装pygame。接下来用pygame开发一个小游戏。游戏界面如下:在游戏窗口中有一个运动的足球,碰到边界或挡板会反弹,玩家通过鼠标的移动,可以拖动挡板左右移动。足球如果碰到窗口下边界,则玩家的生命值减1,如果足球被挡板弹回,则得分数加1。python代码如下:ballGame.py该代码改编自BrysonPayne《TeachYourKidstoCode》第10章的
系统 2019-09-27 17:53:04 2254
文件结构html_downloader.py-下载网页html内容#!/usr/bin/python#-*-coding:UTF-8-*-importurllib2classHtmlDownloader(object):defdownlod(self,url):ifurlisNone:returnNoneresponse=urllib2.urlopen(url)ifresponse.getcode()!=200:returnNonereturnrespon
系统 2019-09-27 17:52:08 2254
缘由日常工作中经常遇到类似的问题:把某个服务器上的某些指定的表同步到另外一台服务器。类似需求用SSIS或者其他ETL工作很容易实现,比如用SSIS的话,就会会存在相当一部分反复的手工操作。建源的数据库信息,目标的数据库信息,如果是多个表,需要一个一个地拉source和target,然后一个一个地mapping,然后运行实现数据同步。然后很可能,这个workflow使用也就这么一次,就寿终正寝了,却一样要浪费时间去做这个ETL。快速数据同步实现于是在想,可不
系统 2019-09-27 17:52:07 2254
要安装运行Python的容器,那先到https://hub.docker.com/去查找一下,看看有哪些可用的镜像。恩,最高的版本已经是3.8.0b4了,不过考虑下还是安装3.7.4稳定版把。用来安装的虚拟机是Ubuntu18.04服务器版,安装虚拟机就跳过不写了,太简单。为了方便,使用root用户操作。在Ubuntu上安装Docker使用官方脚本,在终端输入curl-fsSLget.docker.com-oget-docker.sh瞬间下载安装脚本:-r
系统 2019-09-27 17:51:05 2254
1.json模块提供了一种很简单的方式来编码和解码JSON数据。其中两个主要的函数是json.dumps()和json.loads(),要比其他序列化函数库如pickle的接口少得多。下面演示如何将一个Python数据结构转换为JSON:'''遇到问题没人解答?小编创建了一个Python学习交流QQ群:857662006寻找有志同道合的小伙伴,互帮互助,群里还有不错的视频学习教程和PDF电子书!'''importjsondata={'name':'ACME
系统 2019-09-27 17:50:20 2254
如下所示:#!/usr/bin/envpython3#-*-coding:utf-8-*-importsqlite3conn=sqlite3.connect('test.db')#创建一个Cursor:cursor=conn.cursor()#查询记录:conn=sqlite3.connect('calendar.db')cursor=conn.cursor()#执行查询语句:cursor.execute('select*fromperpetualCale
系统 2019-09-27 17:50:18 2254
到现在为止,我们的淘宝教程已经写到了第四篇,前三篇分别是:第一篇:Python模拟登录淘宝,详细讲解如何使用requests库登录淘宝pc端。第二篇:淘宝自动登录2.0,新增Cookies序列化,教大家如何将cookies保存起来。第三篇:Python爬取淘宝商品避孕套,教大家如何爬取淘宝pc端商品信息。今天,我们来看看淘宝系列的第四篇我们在上一篇的时候已经将淘宝数据爬取下来了,但是并没有做数据分析。所以今天这篇文章就是教大家如何去分析数据,得出一些有用的
系统 2019-09-27 17:50:12 2254
maketrans和translate函数是进行字符串字符编码的常用方法。本文着重点在于演示其基本用法和在不同版本下操作的差异。本文提到的2.X版本指2.6以上的版本,3.X版本指3.1以上的版本。2.X版本把字符串基本分为两种:unicode字符串和8位字符串str,后者包含字节数据和我们常见的ASCII码数据;而3.X版本则重新对字符串进行了划分,分为了字节字符串bytes和文本字符串str,两者都是不可变的,所以添加了一个可变的字节字符串类型byte
系统 2019-09-27 17:49:54 2254
1.命令介绍最近学习并使用了一个python的内置函数dir,首先help一下:复制代码代码如下:>>>help(dir)Helponbuilt-infunctiondirinmodule__builtin__:dir()dir([object])->listofstringsReturnanalphabetizedlistofnamescomprising(someof)theattributesofthegivenobject,andofattribu
系统 2019-09-27 17:49:49 2254