Python

学会爬虫抓取竞争对手数据,《Python3网络爬虫开发实战》PDF高清+源码

众所周知python的拿手好戏就是爬虫抓取数据,性能优秀,抓取时间快,消耗低,这是python的优势。学会了爬虫后那我们就可以抓取竞争对手的数据,可以对数据进行分析,或者拿来使用(作者不赞成这样做哦)。最重要是对数据进行分析,这样对我们的运营自己的产品,提高用户的新增或留存都是很有帮助的,正所谓现在是大数据年代,没有数据我们也能利用别人的数据。那要怎样才能更好去学习python爬虫呢?今天推荐一本最新使用python3的书籍,值得阅读。《Python3网络

系统 2019-09-27 17:47:38 2267

Python

【记录】linux安装python3后再安装Scrapy环境遇到的问题

本地电脑具有Scrapy爬虫环境,但是想让爬虫一直工作,还是要把代码扔到服务器上,所以在linux服务器上安装Scrapy环境。linux服务器原python2.7经过一番操作,升级到python3.6参考https://www.cnblogs.com/kimyeee/p/7250560.html我只是到makeinstall为止然后安装Scrapy,遇到问题1:'error:gcc'failedwithexitstatus1'参考https://blog

系统 2019-09-27 17:46:10 2267

Python

python 之 Django框架(ORM常用字段和字段参数、关系字段和和字段

12.324DjangoORM常用字段1.id=models.AutoField(primary_key=True):int自增列,必须填入参数primary_key=True。当model中如果没有自增列,则自动会创建一个列名为id的列。2.IntegerField:一个整数类型,范围在-2147483648to21474836473.name=models.CharField(max_length=32):varchar字符类型,必须提供max_len

系统 2019-09-27 17:46:07 2267

Python

一文看懂怎样用 Python 创建比特币交易

链客,专为开发者而生,有问必答!此文章来自区块链技术社区,未经允许拒绝转载。比特币价格的上上下下,始终撩动着每一个人无比关切的小心脏。从去年初的800美元左右,飞涨到去年底到19783.21美元最高点,不到1年,便有将近25倍的升值速度。尽管眼下又掉回8000多美元的价格,但价格差不多能搞出去年同期一个数量级,币圈人士“过去一年比以往10年挣的都多”,已经是不争的事实。而对区块链开发者来说,据说也已经有拿到年新500万的天价。所以“跑步进入区块链”,已经成

系统 2019-09-27 17:46:02 2267

Python

Python+matplotlib+numpy实现在不同平面的二维条形图

在不同平面上绘制二维条形图。本实例制作了一个3d图,其中有二维条形图投射到平面y=0,y=1,等。演示结果:完整代码:frommpl_toolkits.mplot3dimportAxes3Dimportmatplotlib.pyplotaspltimportnumpyasnp#Fixingrandomstateforreproducibilitynp.random.seed(19680801)fig=plt.figure()ax=fig.add_subpl

系统 2019-09-27 17:38:47 2267

Python

Python读大数据txt

如果直接对大文件对象调用read()方法,会导致不可预测的内存占用。好的方法是利用固定长度的缓冲区来不断读取文件内容。即通过yield。在用Python读一个两个多G的txt文本时,天真的直接用readlines方法,结果一运行内存就崩了。还好同事点拨了下,用yield方法,测试了下果然毫无压力。咎其原因,原来是readlines是把文本内容全部放于内存中,而yield则是类似于生成器。代码如下:defopen_txt(file_name):withope

系统 2019-09-27 17:38:24 2267

Python

Python2.6版本中实现字典推导 PEP 274(Dict

之前自己也遇到过一次,这段时间在群里也遇到过几次的一个问题用python2.7写的一段程序,里面用到了字典推导式,但是服务器版本是python2.6,无法运行。今天查了下关于DictComprehensions,在pep274中有明确的说明。http://legacy.python.org/dev/peps/pep-0274/复制代码代码如下:ImplementationAllimplementationdetailswereresolvedinthePy

系统 2019-09-27 17:38:19 2267

Python

python3 批量获取对应端口服务的实例

思路懒得写了.依赖python-nmap,先在电脑上装nmap,不然用不了.openpyxl实际上没有用到,可以不安装.makeEx()没用到,懒得删了.#依赖python-nmap,openpyxl包importnmapimporttimeimportopenpyxlfrommultiprocessing.dummyimportPoolasThreadPoolimportmultiprocessing#1.同目录下创建一个input.txt,放入ip地址

系统 2019-09-27 17:57:14 2266

Python

python 键盘中断子线程及graceful exiting方案

最近需要实现一个服务程序的gracefulexiting,保证在退出前关闭所有已创建的子线程python借助KeyboardInterrupted异常响应键盘中断,因此首先尝试在子线程中try-catch这个异常(失败)查阅原因,键盘中断只有主线程可以响应并处理,子线程无法收到这个异常。因此可以使用类似这样的结构:cond=Truedefstart_task():whilecond:#dosomethingdefterminate_task():#brea

系统 2019-09-27 17:55:29 2266

Python

python修改注册表终止360进程实例

本文实例讲述了python修改注册表终止360进程的实现方法。分享给大家供大家参考。具体实现代码如下:import_winregimportosimportshutil#复制自身shutil.copyfile(K3.exe,c:WINDOWSsystem32K3.exe)#把360启动改为自身run=_winreg.OpenKey(_winreg.HKEY_LOCAL_MACHINE,"SOFTWAREMicrosoftWindowsCurrentVers

系统 2019-09-27 17:55:20 2266

Python

python每天定时运行某程序代码

思路:利用time函数返回的时间字符串与指定时间字符串做比较,相等的时候执行对应的操作。不知道大家的思路是什么,感觉这样比较耗CPU。。。。此处设置为15:30:10输出相应内容,需要执行什么,就修改什么。importtimewhileTrue:time_now=time.strftime("%H:%M:%S",time.localtime())#刷新iftime_now=="15:30:10":#此处设置每天定时的时间#此处3行替换为需要执行的动作pri

系统 2019-09-27 17:55:04 2266

Python

python自定义时钟类、定时任务类

这是我使用python写的第一个类(也算是学习面向对象语言以来正式写的第一个解耦的类),记录下改进的过程。分析需求最初,因为使用time模块显示日期时,每次都要设置时间字符串的格式,挺麻烦,但还是忍了。后来,在处理多线程任务时需要实现定时控制的功能,更麻烦,终于决定自己做一个解决这些问题的通用代码(虽然网上有现成的模块,但亲手编写这部分代码正好能锻炼一下我的面向对象编程)。分析框架刚开始,我计划做一个模仿时钟的抽象类,让它独立运行在一个线程中,让它提供显示

系统 2019-09-27 17:54:34 2266

Python

python 列表越界

data=[1,8,5,9,7,4,5]print(data[10:])#返回空print(data[10])#出错,越界

系统 2019-09-27 17:54:02 2266

Python

Python实现最常见加密方式详解

前言我们所说的加密方式,都是对二进制编码的格式进行加密的,对应到Python中,则是我们的Bytes。所以当我们在Python中进行加密操作的时候,要确保我们操作的是Bytes,否则就会报错。将字符串和Bytes互相转换可以使用encode()和decode()方法。如下所示:#方法中不传参数则是以默认的utf-8编码进行转换In[1]:'南北'.encode()Out[1]:b'\xe5\x8d\x97\xe5\x8c\x97'In[2]:b'\xe5\

系统 2019-09-27 17:52:59 2266

Python

Ubuntu服务器修改默认Python版本

方法一,利用alias,自定指令的别名。当前默认python版本是2.7:同时,也支持python3:使用命令ls/usr/bin/python*查看python地址:使用命令aliaspython='/usr/bin/python3.5'更改默认python版本(设定别名):这个方法在断开之后就无效了。可以在~/.bashrc文件中加入alias命令使它永久生效。方法二,使用update-alternatives命令:输入命令:update-altern

系统 2019-09-27 17:52:47 2266