Python

Using Django with GAE Python 后台抓取多个网站

一直想做个能帮我过滤出优质文章和博客的平台给它取了个名叫Moven。。把实现它的过程分成了三个阶段:1.Downloader:对于指定的url的下载并把获得的内容传递给Analyser--这是最简单的开始2.Analyser:对于接受到的内容,用RegularExpression或是XPath或是BeautifulSoup/lxml进行过滤和简化--这部分也不是太难3.SmartCrawler:去抓取优质文章的链接--这部分是最难的:Crawler的话可以

系统 2019-09-27 17:38:09 2217

Python

独特的python循环语句

1、局部变量foriinrange(5):printi,printi,运行结果:012344i是for语句里面的局部变量。但在python里面,在同一方法体内,定义了一个局部变量,该变量的作用域是定义行开始至该方法体结束。在其他编程语言,“printi”那一句是有误的,因为i没有定义例1:deffunc():a=100ifa>50:b=Trueprintbif__name__=='__main__':func()结果:True例2:deffunc():a=

系统 2019-09-27 17:37:35 2217

Python

Python 从subprocess运行的子进程中实时获取输出的例子

有些时候,我们需要将某些程序放到子进程中去运行,以达到整合系统的目的。在Python中,一个非常好的选择就是使用subprocess模块,本模块为开辟子进程去执行子程序提供了统一的接口,更加便于学习和使用。同时,对于在子进程里的程序,我们希望能够实时获取其输出,以在主进程中打印相关信息,使我们能够了解当前子程序的执行进度。对此,subprocess模块也提供了相应的参数,能够将子程序的标准输出和标准错误输出返回给主程序。下面,我们就通过一个例子来说明这个功

系统 2019-09-27 17:56:49 2216

Python

Python函数参数匹配模型通用规则keyword-only参数

概述Python3对函数参数的排序规则更加通用化了,即Python3keyword-only参数,该参数即为必须只按照关键字传递而不会有一个位置参数来填充的参数。该规则在处理人一多个参数是很有用的。keyword-onlykword_only(1,2,3,c=4)print('-'*20)kword_only(a=1,c=3)示例结果:1(2,3)4--------------------1()3在*args之后的参数都需要在调用中使用关键字的方式传递,否

系统 2019-09-27 17:54:57 2216

Python

Python_11_函数的执行流程-函数递归-匿名函数-生成器

文章目录1.函数的执行流程1.1.字节码了解压栈过程1.2.嵌套函数的压栈2.递归2.1.递归函数2.2.递归的性能2.3.递归的优化2.4.间接递归2.5.递归总结3.匿名函数4.Python生成器4.1.基本结构4.2.使用场景4.3.协程coroutine4.4.yieldfrom1.函数的执行流程函数的执行需要对函数进行压栈,什么是压栈呢,简而言之就是在函数执行时在栈中创建栈帧存放需要的变量以及指针的意思。具体涉及的知识非常多,这里就以一个Pyth

系统 2019-09-27 17:54:56 2216

Python

零基础写python爬虫之爬虫框架Scrapy安装配置

前面十章爬虫笔记陆陆续续记录了一些简单的Python爬虫知识,用来解决简单的贴吧下载,绩点运算自然不在话下。不过要想批量下载大量的内容,比如知乎的所有的问答,那便显得游刃不有余了点。于是乎,爬虫框架Scrapy就这样出场了!Scrapy=Scrach+Python,Scrach这个单词是抓取的意思,Scrapy的官网地址:点我点我。那么下面来简单的演示一下Scrapy的安装流程。具体流程参照://www.jb51.net/article/48607.htm

系统 2019-09-27 17:54:46 2216

Python

解决python文件字符串转列表时遇到空行的问题

文件内容如下:Alex100000Rain80000Egon50000Yuan30000#此处有一个空行!现在看如何处理并转成列表!salary_info=open("salaryinfo.txt","r+",encoding="UTF-8")salary_info_list=[]forlineinsalary_info.readlines():ifline=='\n':passelse:salary_info_list.append(list(line.

系统 2019-09-27 17:54:35 2216

Python

python 基于TCP协议的套接字编程详解

基于TCP协议的套接字编程实现电话沟通为例,这里传递的是字符,可以自己尝试去发送一个文件#服务端importsocket#1.符合TCP协议的手机server=socket.socket(socket.AF_INET,socket.SOCK_STREAM)#TCP#2.绑定手机号一个服务器,我们自己的电脑作为服务器的话,用自己的IP地址server.bind(('127.0.0.1',8000))#127.0.0.1代表本地#server.bind(('1

系统 2019-09-27 17:53:04 2216

Python

Python爬虫之selenium高级功能

Python爬虫之selenium高级功能原文地址表单操作元素拖拽页面切换弹窗处理表单操作表单里面会有文本框、密码框、下拉框、登陆框等。这些涉及与页面的交互,比如输入、删除、点击等。前提是找到页面中的元素。例如下面有一个表单输入框:"text"name="passwd"id="passwd-id"/>获取这个元素的方法:element=driver.find_element_by_id("passwd-id")element=driver.find_ele

系统 2019-09-27 17:53:02 2216

Python

Python中栈、队列与优先级队列的实现方法

前言栈、队列和优先级队列都是非常基础的数据结构。Python作为一种“编码高效”的语言,对这些基础的数据结构都有比较好的实现。在业务需求开发过程中,不应该重复造轮子,今天就来看看些数据结构都有哪些实现。0x00栈(Stack)栈是一种LIFO(后进先出)的数据结构,有入栈(push)、出栈(pop)两种操作,且只能操作栈顶元素。在Python中有多种可以实现栈的数据结构。1、listlist是Python内置的列表数据结构,它支持栈的特性,有入栈和出栈操作

系统 2019-09-27 17:52:46 2216

Python

菜鸟学习python:逻辑语句小结

今天学习了python的逻辑语句。感觉与其他语言不通,鲜明的特点是除了Ture和False,有时返回的是数值。简单小结如下:1、and(逻辑与)乘法性质:同时为真方为真,只要一假就是假。计算方法:遇假跳出,否则返回最后真(值)。2、or(逻辑或)加法性质:同时为假方为假,只要一真就是真。计算方法:遇真跳出,直接返回跳出真(值)。3、not(逻辑非)取反性质:结果总是Ture或False。最后,跳出返回的真值可能是非零的数值或是Ture,返回假(值)可能是F

系统 2019-09-27 17:52:38 2216

Python

Python输出各行命令详解

创建main.py文件并粘贴下面代码点击右键运行Debug'main'后,下方的Debug窗口会出现ImportError:Nomodulenamed'bottle'这样的提示,提示导入bottle包出错所以我们需要先安装这两个包,cmd,输入pipinstallbottle回车后开始安装bottle包Mac权限不够补上sudo#!/usr/bin/python#coding=utf-8frombottleimportdefault_app,get,run

系统 2019-09-27 17:52:23 2216

Python

1 Python命令行参数(脚本神器)

1#!/usr/bin/envpython3.72#-*-coding:utf-8-*-3#Author:Lancer2019-09-0210:07:2145importsys,getopt67defusage():8print("usagecall")910defmain():11try:12opts,args=getopt.getopt(sys.argv[1:],"ho:v",["help","output="])13print(sys.argv[1:

系统 2019-09-27 17:52:18 2216

Python

Python入门Anaconda和Pycharm的安装和配置详解

子曰:“工欲善其事,必先利其器。”学习Python就需要有编译Python程序的软件,一般情况下,我们选择在Python官网下载对应版本的Python然后用记事本编写,再在终端进行编译运行即可,但是对于我这样懒的小白,我喜欢装一些方便的软件来辅助我编写程序。在学习Java时,正常情况选择安装JDK然后配置环境变量后,用记事本编写程序再在终端编译运行即可,而我一般选择安装JDK+MyEclipse。将Python和Java进行类比的话,在Python中使用P

系统 2019-09-27 17:51:16 2216

Python

day001-在Windows下python环境的搭建

一、Python下载1、Python最新源码,二进制文档,新闻资讯等可以在Python的官网查看到:2、Python官网:https://www.python.org/3、你可以在以下链接中下载Python的文档,你可以下载HTML、PDF和PostScript等格式的文档。4、Python文档下载地址:https://www.python.org/doc/二、Window平台安装Python:1、以下为在Window平台上安装Python的简单步骤:2、

系统 2019-09-27 17:50:36 2216