Python - 军军小站|张军博客
Python

2019年 python 爬虫面试题 参考答案不对的请指出 持续更新 7/7

1.import导入模块importxxx,xxx,xxx可以同时导入多个库建议每次导入一个。fromxxximportxx从模块中导入指定方法xx()导入的方法就直接用2.python基本数据类型数字(intfloatlongcomplex(复数))字符串列表字典元组集合py3去除long了,拥抱py3吧其中complex是高中数学知识,不知道的就直接百度。3.区分可变数据类型和不可变数据类型就是变量的内存地址变不变的问题可变数据类型:字典dict,列表

系统 2019-09-27 17:53:32 1811

Python

python爬取欧美美女图片---xpath方法

这里爬取的是http://sc.chinaz.com/tag_tupian/OuMeiMeiNv.html网站献上欧美美女!!!!fromlxmlimportetreeimporturllib.request,os,timeclassOuMeiSpider(object):def__init__(self,start_page,end_page):self.start_page=start_pageself.end_page=end_pageself.fi

系统 2019-09-27 17:53:14 1811

Python

python粘包问题及socket套接字编程详解

粘包问题TCP协议在传输过程中会出现数据粘包问题讲一下TCP和UDP的区别,都是传数据的协议,没有好坏之说,只是不同的应用需求可能会更好选择哪一个协议TCP:适合传输数量大,需要建立连接,会出现粘包问题,粘包问题可以解决,确定传入的长度,接收同样长度就可以保证一次性传输完UDP:适合传输数据量小,没有粘包,不需要连接,一次性传输,下一次就是新的数据,弊端就是数据丢失,不安全QQ是用什么协议呢?按理应该可以用UDP协议,但是实际用的是TCP协议,这是历史遗留

系统 2019-09-27 17:53:03 1811

Python

python 动态迁移solr数据过程解析

前言上项目的时候,遇见一次需求,需要把在线的其中一个collection里面的数据迁移到另外一个collection下,于是就百度了看到好多文章,其中大部分都是使用导入的方法,没有找到在线数据的迁移方法。于是写了python脚本,分享出来。思路:collection数据量比较大,所以一次性操作所有数据太大,于是分段执行操作。先分段按1000条数据量进行查询,处理成json数据把处理后的json数据发送到目的collection上即可实现:一、使用http的

系统 2019-09-27 17:52:33 1811

Python

1 Python命令行参数(脚本神器)

1#!/usr/bin/envpython3.72#-*-coding:utf-8-*-3#Author:Lancer2019-09-0210:07:2145importsys,getopt67defusage():8print("usagecall")910defmain():11try:12opts,args=getopt.getopt(sys.argv[1:],"ho:v",["help","output="])13print(sys.argv[1:

系统 2019-09-27 17:52:18 1811

Python

排序算法总结(Python实现)——(一)

整个排序算法分两部分来总结,这篇总结第一部分一些相对简单和常用的排序算法,包括冒泡排序、选择排序、插入排序和希尔排序。冒泡排序冒泡排序应该是大家接触的最早的排序方法了,理解起来也十分简单。冒泡排序是一种简单的排序算法。它重复地走访过要排序的数列,一次比较两个元素,如果它们的顺序错误就把它们交换过来。走访数列的工作是重复地进行直到没有再需要交换,也就是说该数列已经排序完成。这个算法的名字由来是因为越小的元素会经由交换慢慢“浮”到数列的顶端。算法描述比较相邻的

系统 2019-09-27 17:52:14 1811

Python

基于Python的SQL Server数据库实现对象同步轻量级

缘由日常工作中经常遇到类似的问题:把某个服务器上的某些指定的表同步到另外一台服务器。类似需求用SSIS或者其他ETL工作很容易实现,比如用SSIS的话,就会会存在相当一部分反复的手工操作。建源的数据库信息,目标的数据库信息,如果是多个表,需要一个一个地拉source和target,然后一个一个地mapping,然后运行实现数据同步。然后很可能,这个workflow使用也就这么一次,就寿终正寝了,却一样要浪费时间去做这个ETL。快速数据同步实现于是在想,可不

系统 2019-09-27 17:52:07 1811

Python

Python中运行并行任务技巧

示例标准线程多进程,生产者/消费者示例:Worker越多,问题越大复制代码代码如下:#-*-coding:utf8-*-importosimporttimeimportQueueimportthreadingfromPILimportImagedefcreate_thumbnail(filename,size=(128,128)):try:fp,fmt=filename.rsplit('.',1)im=Image.open(filename)im.thum

系统 2019-09-27 17:52:06 1811

Python

Python中判断输入是否为数字的实现代码

在接收raw_input方法后,判断接收到的字符串是否为数字例如:str=raw_input("pleaseinputthenumber:")ifstr.isdigit():为True表示输入的所有字符都是数字,否则,不是全部为数字str为字符串str.isalnum()所有字符都是数字或者字母str.isalpha()所有字符都是字母str.isdigit()所有字符都是数字str.islower()所有字符都是小写str.isupper()所有字符都是

系统 2019-09-27 17:51:10 1811

Python

数据挖掘入门读物《Python数据挖掘入门与实践》豆瓣评分[7.70]

好书推荐、视频分享,公众号"读书ReadBook"与您一起进步下载地址……1、点击阅读原文或者地址https://ebooklist.mobi/2019/05/20/6465.html2、回复关键字11730直接获取下载链接,好书推荐、视频分享,公众号"读书ReadBook"与您一起进步图书简介……本书作为数据挖掘入门读物,介绍了数据挖掘的基础知识、基本工具和实践方法,通过循序渐进地讲解算法,带你轻松踏上数据挖掘之旅。本书采用理论与实践相结合的方式,呈现了

系统 2019-09-27 17:51:09 1811

Python

Python多线程编程(六):可重入锁RLock

考虑这种情况:如果一个线程遇到锁嵌套的情况该怎么办,这个嵌套是指当我一个线程在获取临界资源时,又需要再次获取。根据这种情况,代码如下:复制代码代码如下:'''Createdon2012-9-8@author:walfred@module:thread.ThreadTest6'''importthreadingimporttimecounter=0mutex=threading.Lock()classMyThread(threading.Thread):de

系统 2019-09-27 17:50:55 1811

Python

运用Python制作词云(3)

scipy的引入要制作一张具有特定形状的词云图,便需要一张原始图片提供形状参数,于是我们便要使用scipyscipy的安装在Windows系统中,在命令提示符中输入pipinstallscipy进行安装若报错则尝试pip3installscipy或sudopip3installscipy在苹果系统中则建议直接输入sudopip3installscipy若报错则参照Windows下的方法scipy的运用scipy旨在提取原始图片的形状参数,并应用于制作特定形

系统 2019-09-27 17:50:36 1811

Python

Python爬虫:现学现用xpath爬取豆瓣音乐

爬虫的抓取方式有好几种,正则表达式,Lxml(xpath)与BeautifulSoup,我在网上查了一下资料,了解到三者之间的使用难度与性能三种爬虫方式的对比。抓取方式性能使用难度正则表达式快困难Lxml快简单BeautifulSoup慢简单这样一比较我我选择了Lxml(xpath)的方式了,虽然有三种方式,但肯定是要选择最好的方式来爬虫,这个道理大家都懂,另外有兴趣的朋友也可以去了解另外两种爬虫方式!好了现在来讲讲xpath由于Xpath属于lxml模块

系统 2019-09-27 17:49:52 1811

Python

python原类、类的创建过程与方法详解

今天为大家介绍一下python中与class相关的知识……获取对象的类名python是一门面向对象的语言,对于一切接对象的python来说,咱们有必要深入的学习与了解一些知识首先大家都知道,要获取一个对象所对应的类,需要使用class来进行检索。但如果我们只是一个简单的赋值语句,能这么使用么?让我们看下下面的代码:num=10string='abc'classMainClass:passp=MainClass()print(num.__class__)#o

系统 2019-09-27 17:48:42 1811

Python

“学了半年后,我要揭开Python 3宗罪!”

有人曾说,未来只有2种人,会Python的人和....不懂Python的小学生,虽有夸张,这也意味着Python越来越重要了,究竟这门语言厉害在哪里?以下为你总结了Python3宗“罪”!Python凭啥这么优秀?作为一个计算机初级爱好者,据笔者这些年敲过的代码所反馈(是的,我的代码是有灵魂的),他们还是比较喜欢Python,因为Python干净利索,简单直接。Python代码简洁易懂,同样的内容按照代码量计算,C++:Java:Python=1000:1

系统 2019-09-27 17:48:26 1811