Python

python3之微信文章爬虫实例讲解

前提:python3.4windows作用:通过搜狗的微信搜索接口http://weixin.sogou.com/来搜索相关微信文章,并将标题及相关链接导入Excel表格中说明:需xlsxwriter模块,另程序编写时间为2017/7/11,以免之后程序无法使用可能是网站做过相关改变,程序较为简单,除去注释40多行。正题:思路:打开初始Url-->正则获取标题及链接-->改变page循环第二步-->将得到的标题及链接导入Excel爬虫的第一步都是先手工操作

系统 2019-09-27 17:54:31 2147

Python

【Python3网络爬虫开发实战】7.4-使用Selenium爬取淘宝商品

【摘要】在前一章中,我们已经成功尝试分析Ajax来抓取相关数据,但是并不是所有页面都可以通过分析Ajax来完成抓取。比如,淘宝,它的整个页面数据确实也是通过Ajax获取的,但是这些Ajax接口参数比较复杂,可能会包含加密密钥等,所以如果想自己构造Ajax参数,还是比较困难的。对于这种页面,最方便快捷的抓取方法就是通过Selenium。本节中,我们就用Selenium来模拟浏览器操作,抓取淘宝的商品信息,并将结果保存到MongoDB。1.本节目标本节中,我们

系统 2019-09-27 17:54:29 2147

Python

被女朋友三番两次拉黑后,我用 Python 写了个“舔狗”必备神器

点击上方“何俊林”,马上关注真爱,请置顶或星标在一个阳光明媚的周日,我打开窗户呼吸了一口新鲜空气。阳光灿烂,岁月静好,又是一个约女朋友出去爬山吃饭看电影的好日子。想到女朋友的大眼睛,我脸上不禁洋溢起了幸福的微笑。打开微信,给女朋友发出去一个美好的邀约。等等,这为什么有一个感叹号???我的消息被拒收了??笑容凝固在了我的脸上。什么?她又一次拉黑了我?我开始反省:我昨天吃饭买单的时候找钱包找的太久了被她误认为是迟疑?昨天清空她购物车的时候没有举一反三融会贯通?

系统 2019-09-27 17:54:03 2147

Python

Python面向对象编程——类与对象

Python面向对象编程——类与对象一、类与对象的概念类即类别、种类,是面向对象设计最重要的概念,从一小节我们得知对象是特征与技能的结合体,而类则是一系列对象相似的特征与技能的结合体。那么问题来了,先有的一个个具体存在的对象(比如一个具体存在的人),还是先有的人类这个概念,这个问题需要分两种情况去看。在现实世界中:肯定是先有对象,再有类。世界上肯定是先出现各种各样的实际存在的物体,然后随着人类文明的发展,人类站在不同的角度总结出了不同的种类,比如人类、动物

系统 2019-09-27 17:53:58 2147

Python

Python Queue模块详解

Python中,队列是线程间最常用的交换数据的形式。Queue模块是提供队列操作的模块,虽然简单易用,但是不小心的话,还是会出现一些意外。创建一个“队列”对象importQueueq=Queue.Queue(maxsize=10)Queue.Queue类即是一个队列的同步实现。队列长度可为无限或者有限。可通过Queue的构造函数的可选参数maxsize来设定队列长度。如果maxsize小于1就表示队列长度无限。将一个值放入队列中q.put(10)调用队列对

系统 2019-09-27 17:53:36 2147

Python

Appium+python自动化(三十四)- 有图有真相,很美很精彩 - 屏幕

简介在实际自动化项目运行过程中,很多时候App可以会出现各种异常,为了更好的定位问题,除了捕捉日志我们还需要对运行时的设备状态来进行截屏。从而达到一种“有图有真相”的效果。截图方法方法1save_screenshot()该方法直接保存当前屏幕截图到当前脚本所在文件位置。driver.save_screenshot('login.png')查看方法1源码:方法2get_screenshot_as_file(self,filename)将截图保留到指定文件路径

系统 2019-09-27 17:51:40 2147

Python

Python爬虫,使用BeautifulSoup解析页面结果

Python爬虫,使用BeautifulSoup可以轻松解析页面结果,下面是使用该方法爬取boss页面的职位信息:包括职位名称、薪资、地点、公司名称、公司融资情况等信息。通过这个示例可以轻松看到BeautifulSoup的使用方法。1、爬取boss直聘的职位信息importrequestsfrombs4importBeautifulSoupfrommiddlewaresimportget_random_proxy,get_random_agentimpor

系统 2019-09-27 17:51:39 2147

Python

python 里面 JsonResponse (book_list,safe

代码为:#查询所有图书、增加图书defget(self,request):queryset=BookInfo.objects.all()book_list=[]forbookinqueryset:book_list.append({'id':book.id,'bread':book.bread})returnJsonResponse(book_list,safe=False)遇到问题:JsonResponse(book_list,safe=False)sa

系统 2019-09-27 17:49:09 2147

Python

Python生成随机数的方法

如果你对在Python生成随机数与random模块中最常用的几个函数的关系与不懂之处,下面的文章就是对Python生成随机数与random模块中最常用的几个函数的关系,希望你会有所收获,以下就是这篇文章的介绍。random.random()用于生成用于生成一个指定范围内的随机符点数,两个参数其中一个是上限,一个是下限。如果a>b,则生成随机数n:a<=n<=b。如果a<=n<=a。printrandom.uniform(10,20)printrandom.

系统 2019-09-27 17:48:33 2147

Python

Python中的并发编程实例

一、简介我们将一个正在运行的程序称为进程。每个进程都有它自己的系统状态,包含内存状态、打开文件列表、追踪指令执行情况的程序指针以及一个保存局部变量的调用栈。通常情况下,一个进程依照一个单序列控制流顺序执行,这个控制流被称为该进程的主线程。在任何给定的时刻,一个程序只做一件事情。一个程序可以通过Python库函数中的os或subprocess模块创建新进程(例如os.fork()或是subprocess.Popen())。然而,这些被称为子进程的进程却是独立

系统 2019-09-27 17:47:46 2147

Python

Python读取ini文件、操作mysql、发送邮件实例

我是闲的没事干,2014过的太浮夸了,博客也没写几篇,哎~~~用这篇来记录即将逝去的2014python对各种数据库的各种操作满大街都是,不过,我还是喜欢我这种风格的,涉及到其它操作,不过重点还是对数据库的操作。呵~~Python操作Mysql首先,我习惯将配置信息写到配置文件,这样修改时可以不用源代码,然后再写通用的函数供调用新建一个配置文件,就命名为conf.ini,可以写各种配置信息,不过都指明节点(文件格式要求还是较严格的):复制代码代码如下:[a

系统 2019-09-27 17:47:24 2147

Python

python协程gevent案例 爬取斗鱼图片过程解析

分析分析网站寻找需要的网址用谷歌浏览器摁F12打开开发者工具,然后打开斗鱼颜值分类的页面,如图:在里面的请求中,最后发现它是以ajax加载的数据,数据格式为json,如图:圈住的部分是我们需要的数据,然后复制它的网址为https://www.douyu.com/gapi/rknc/directory/yzRec/1,出于学习目的只爬取第一页(减少服务器压力)。然后把网址放到浏览器中测试是否可以访问。如图:结果正常。分析json数据,提取图片链接最后分析发现

系统 2019-09-27 17:46:57 2147

Python

Python自定义类中内部函数:__repr__()和__string__

我们在定义Python类时,经常会看到比较好的代码中,都有__repr__和__string__,两个内部函数的定义。但是我一直很少关注它们的区别和具体应用场景。稍微做个小结。1.__foo()__在python中表示__foo__是一个私有private函数,在CookBookpp254中,解释为,该函数不会被子类的相同名称的函数重载。一般地说,类中以“下划线”开头定义的变量或者函数都是私有变量或者内部函数,区别是:1.1单下划线开始的变量或者函数表示非

系统 2019-09-27 17:46:49 2147

Python

在Python中操作文件之read()方法的使用教程

read()方法读取文件size个字节大小。如果读取命中获得EOF大小字节之前,那么它只能读取可用的字节。语法以下是read()方法的语法:fileObject.read(size);参数size--这是可以从文件中读取的字节数。返回值此方法返回读取字符串中的字节数。例子下面的例子显示了read()方法的使用。#!/usr/bin/python#Openafilefo=open("foo.txt","rw+")print"Nameofthefile:",f

系统 2019-09-27 17:46:26 2147

Python

Python读取键盘输入的2种方法

Python提供了两个内置函数从标准输入读入一行文本,默认的标准输入是键盘。如下:1.raw_input2.inputraw_input函数raw_input()函数从标准输入读取一个行,并返回一个字符串(去掉结尾的换行符):复制代码代码如下:str=raw_input("Enteryourinput:");print"Receivedinputis:",str这将提示你输入任意字符串,然后在屏幕上显示相同的字符串。当我输入"HelloPython!",它

系统 2019-09-27 17:45:41 2147