Python

零基础写python爬虫之爬虫框架Scrapy安装配置

前面十章爬虫笔记陆陆续续记录了一些简单的Python爬虫知识,用来解决简单的贴吧下载,绩点运算自然不在话下。不过要想批量下载大量的内容,比如知乎的所有的问答,那便显得游刃不有余了点。于是乎,爬虫框架Scrapy就这样出场了!Scrapy=Scrach+Python,Scrach这个单词是抓取的意思,Scrapy的官网地址:点我点我。那么下面来简单的演示一下Scrapy的安装流程。具体流程参照://www.jb51.net/article/48607.htm

系统 2019-09-27 17:54:46 2006

Python

裸辞面11家python公司,拿到4个offer!网友:买了简历置顶会员吗?

原文链接:https://edu.csdn.net/topic/python115?utm_source=yjs我一直认为,敢裸辞的只有2种人:1、能力足够强,即使裸辞也不会被财务问题所困,更不愁找工作。2、年轻气盛,遇到傻X领导和傻X同事,绝对0容忍!但是最近我在刷某乎的时候,发现了第三种人。为了方便面试而裸辞。裸辞面试11家python公司一口气拿到4个offer这无疑是一种高效的方式,但是如果底气不够,还是很容易陷入焦虑的。还好的是,这位up主后续更

系统 2019-09-27 17:54:31 2006

Python

Python 命令行之旅 —— 深入 argparse (一)

作者:HelloGitHub-ProdesireHelloGitHub的《讲解开源项目》系列,项目地址:https://github.com/HelloGitHu...前言在第一篇“初探argparse”的文章中,我们初步掌握了使用argparse的四部曲,对它有了一个基本的体感。但是它具体支持哪些类型的参数?这些参数该如何配置?本文将带你深入了解argparse的参数们。本系列文章默认使用Python3作为解释器进行讲解。若你仍在使用Python2,请注

系统 2019-09-27 17:53:22 2006

Python

Python算法引入

[TOC]这里主要是算法的介绍以及一些判断算法好坏的标准和方式引入如果a+b+c=1000,且a^2+b^2=c^2,如何求出所有a,b,c可能的组合?第一次尝试:importtimeprint("开始")start_time=time.time()forainrange(1001):forbinrange(1001):forcinrange(1001):ifa+b+c==1000anda**2+b**2==c**2:print("a,b,c:%d,%d,

系统 2019-09-27 17:53:21 2006

Python

Python实现一个简单的MySQL类

本文实例讲述了Python实现一个简单的MySQL类。分享给大家供大家参考。具体实现方法如下:复制代码代码如下:#!/usr/bin/envpython#-*-coding:utf-8-*-#Createdon2011-2-19#@author:xiaoxiaoimportMySQLdbimportsys__all__=['MySQL']classMySQL(object):'''MySQL'''conn=''cursor=''def__init__(se

系统 2019-09-27 17:53:16 2006

Python

深入理解Python中range和xrange的区别

脚本之家已经给大家介绍过range和xrange的区别的基础知识,有兴趣的朋友可以参阅:python中xrange和range的区别python中range()与xrange()用法分析本次小编给大家带来的是深入理解range和xrange之间的区别。两种用法介绍如下:1.range([start],stop[,step])返回等差数列。构建等差数列,起点是start,终点是stop,但不包含stop,公差是step。start和step是可选项,没给出s

系统 2019-09-27 17:53:10 2006

Python

可能是最优雅的任意进制转换(python实现)

deftrans_map(cint):ifcint<0:print"不合法"returnelifcint<10:returncintelifcint>=10:returnchr(cint-10+65)#将一个m进制的数转换为一个n进制的数deftransfer(m,n,origin):num=anyToTen(m,origin)target=tenToAny(n,num)printtargetdefanyToTen(m,origin):#任意进制的数转换为

系统 2019-09-27 17:52:21 2006

Python

Python yield与实现方法代码分析

yield的功能类似于return,但是不同之处在于它返回的是生成器。生成器生成器是通过一个或多个yield表达式构成的函数,每一个生成器都是一个迭代器(但是迭代器不一定是生成器)。如果一个函数包含yield关键字,这个函数就会变为一个生成器。生成器并不会一次返回所有结果,而是每次遇到yield关键字后返回相应结果,并保留函数当前的运行状态,等待下一次的调用。由于生成器也是一个迭代器,那么它就应该支持next方法来获取下一个值。基本操作#通过`yield`

系统 2019-09-27 17:52:18 2006

Python

python3实现斐波那契数列(4种方法)

基础版(list方法)#比较占内存w=int(input("输入一个数字还你一个斐波那契数列:"))list_res=[]deflist_n(n):ifn>=3:res=list_n(n-1)+list_n(n-2)else:res=1returnresprint("开始")foriinrange(0,w):list_res.append(list_n(i+1))print(list_res)升级版#比较占内存num=int(input("输入一个数字还你

系统 2019-09-27 17:52:01 2006

Python

python获取未来和过去的时间

获取现在的时间用方法datetime.datetime.now().strftime('%F%T'),获取未来或者过去的时间可以用如下方法:#-*-coding:utf-8-*-importdatetimeif__name__=='__main__':print(datetime.datetime.now().strftime('%F%T'))print((datetime.datetime.now()-datetime.timedelta(days=1)

系统 2019-09-27 17:51:23 2006

Python

Python爬虫:url中带字典列表参数的编码转换方法

平时见到的url参数都是key-value,一般vlaue都是字符串类型的如果有幸和我一样遇到字典,列表等参数,那么就幸运了python2代码importjsonfromurllibimporturlencode#1.直接将url编码params={"name":"Tom","hobby":["ball","swimming"],"books":[{"name":"语文","pages":20}]}print(urlencode(params))"""ho

系统 2019-09-27 17:51:13 2006

Python

Python中比较特别的除法运算和幂运算介绍

不管是啥语言都离不开加减乘除这些算法,但是在Python里面你知道这些符号代表什么运算吗?“/”这个是除法运算,那么这个“//”呢?“*”这个是乘法运算,那么这个“**”呢?下面来一一介绍下。“//”运算除法运算符是“/”,这个人人皆知道,但是这个二元运算符“/”求出来的结果都是取决于操作数本身的,比如:复制代码代码如下:20/3620/3.06.66666666666666720.0/36.66666666666666720.0/3.06.6666666

系统 2019-09-27 17:51:01 2006

Python

Python 的可迭代对象、迭代器和生成器

迭代器和可迭代对象由for循环的内部原理说起list01=[2,434,5,6,8]foriteminlist01:print(item)大家有没有想过list类型对象为什么可以被for循环呢?能够被for循环的条件是:它是可迭代对象(iterable)。那么什么是可迭代对象呢?参考一下内置函数item()的官方说明文档:iter(object[,sentinel])返回一个iterator对象。根据是否存在第二个实参,第一个实参的解释是非常不同的。如果没

系统 2019-09-27 17:50:22 2006

Python

python 模块

要先导入模块,才能调用用模块中定义的函数(才会有该模块的代码提示)。import模块#导入一个模块import模块1,模块2,....#同时导入多个模块from模块import部分#导入一部分from模块import部分1,部分2,部分3....#导入一个模块的多个部分from模块import*#导入整个模块以上的模块均可换为模块.子模块,表示只导入子模块|从子模块中导入。导入之后就可以通过模块名.方法名()调用模块中的函数了。不管导入一个相同模块多少次,

系统 2019-09-27 17:49:40 2006

Python

python初学小记

python初学小记使用PyCharm向世界打招呼!print(“Helloworld!”)介绍自己的基本信息的方法name=input("name:")age=int(input("age:"))#integer强转义成数字print(type(age),type(str(age)))job=input("job:")salary=input("salary:")#一.info='''-------infoof%s--------Name:%sAge:%

系统 2019-09-27 17:49:39 2006