搜索到与相关的文章
Python

零基础写python爬虫之打包生成exe文件

1.下载pyinstaller并解压(可以去官网下载最新版):https://github.com/pyinstaller/pyinstaller/2.下载pywin32并安装(注意版本,我的是python2.7):https://pypi.python.org/pypi/pywin323.将项目文件放到pyinstaller文件夹下面(我的是baidu.py):4.按住shift键右击,在当前路径打开命令提示行,输入以下内容(最后的是文件名):pytho

系统 2019-09-27 17:54:46 2171

Python

零基础写python爬虫之使用Scrapy框架编写爬虫

网络爬虫,是在网上进行数据抓取的程序,使用它能够抓取特定网页的HTML数据。虽然我们利用一些库开发一个爬虫程序,但是使用框架可以大大提高效率,缩短开发时间。Scrapy是一个使用Python编写的,轻量级的,简单轻巧,并且使用起来非常的方便。使用Scrapy可以很方便的完成网上数据的采集工作,它为我们完成了大量的工作,而不需要自己费大力气去开发。首先先要回答一个问题。问:把网站装进爬虫里,总共分几步?答案很简单,四步:新建项目(Project):新建一个新

系统 2019-09-27 17:54:44 2171

Python

Python的subprocess模块总结

subprocess意在替代其他几个老的模块或者函数,比如:os.systemos.spawn*os.popen*popen2.*commands.*subprocess最简单的用法就是调用shell命令了,另外也可以调用程序,并且可以通过stdout,stdin和stderr进行交互。subprocess的主类复制代码代码如下:subprocess.Popen(args,bufsize=0,executable=None,stdin=None,stdou

系统 2019-09-27 17:54:43 2171

Python

Python内存管理机制 之 垃圾回收

参考链接:https://www.cnblogs.com/alexzhang92/p/9416692.htmlhttps://www.cnblogs.com/neillee/p/6259590.html目录一、基本知识二、GC垃圾回收1、引用计数引用计数的增减引用计数法有很明显的优点:引用计数机制的缺点:2、画说Ruby与Python垃圾回收2.1应用程序那颗跃动的心一个简单的例子免费清单在Python中分配对象Ruby开发人员住在凌乱的房子里Python

系统 2019-09-27 17:53:41 2171

Python

python连接mongodb数据库,并将数据存成dataframe

首先需要有连接mongodb数据库基本信息:CONFIG_HOST='11.111.11.11'CONFIG_PORT='27017'CONFIG_DATABASE='databasename'CONFIG_USER='username'CONFIG_PASSWORD=XXXXXXCONFIG_TABLE='tablename'python通过pymongo对mongodb进行访问,提取出databasename中tablename中的colname_a,

系统 2019-09-27 17:53:00 2171

Python

Python设计模式2--工厂模式

工厂模式,类似实际的制造车间中,根据订单的需求来生成/创建某个实例。1.应用场景:需要创建的实例不确定,由输入的数据决定;2.实现方法:实现一个独立的类,接收传入的需要创建实例的名称,在该类中实现创建某个具体实例。3.代码:#coding:utf-8classPerson(object):def__init__(self):self.name=Noneself.gender=NonedefgetName(self):returnself.namedefge

系统 2019-09-27 17:52:31 2171

Python

Python3将excel中的数据导入mysql数据库

原文链接:https://blog.csdn.net/Anwel/article/details/79967261非常使用的方法:(亲测有效果)importpymysql#xlrd为python中读取excel的库,支持.xls和.xlsx文件#importxlrd#openpyxl库支持.xlsx文件的读写fromopenpyxl.reader.excelimportload_workbookfrombuiltinsimportint#cur是数据库的游

系统 2019-09-27 17:51:55 2171

Python

python基础面试题整理---从零开始 每天十题(01)

最近在弄flask的东西,好久没写博客的,感觉少了点什么,感觉被别人落下好多,可能渐渐的养成了写博客的习惯吧。也是自己想学的东西太多了(说白了就是基础太差了,只是knowhow,不能做到konwwhy)。不说那些毒鸡汤了,我们来说说我们今天的python基础面试题吧。一,Q:python的优缺点有什么?A:优点:1,基础语法简单易学,对于初学者来说,语法还是相对简单的,比较容易学习,网上的学习资料也很多。2,面向对象,在python里继承和封装较多,而py

系统 2019-09-27 17:50:49 2171

Python

自学Python的总结

作为一名Python爱好者,我也想跟大家分享分享我自学Python的一些小经验。搬来你的小板凳,听听看吧。也许,你会很有收获,也许你也走上了自学Python的不归路。开讲啦~首先,你要有自信心,要明确学习目的。学Python,可以解决在软件使用中所遇到的问题,可以为找到理想工作添加重要砝码。还能锻炼思维,使我们的逻辑思维更加严密;能不断享受到创新的乐趣,将走在高科技的前沿。在我们最初开始想学习编程语言的时候需要在网上找到相应的课程,网上有很多免费的Pyth

系统 2019-09-27 17:50:04 2171

Python

Python爬虫:现学现用xpath爬取豆瓣音乐

爬虫的抓取方式有好几种,正则表达式,Lxml(xpath)与BeautifulSoup,我在网上查了一下资料,了解到三者之间的使用难度与性能三种爬虫方式的对比。抓取方式性能使用难度正则表达式快困难Lxml快简单BeautifulSoup慢简单这样一比较我我选择了Lxml(xpath)的方式了,虽然有三种方式,但肯定是要选择最好的方式来爬虫,这个道理大家都懂,另外有兴趣的朋友也可以去了解另外两种爬虫方式!好了现在来讲讲xpath由于Xpath属于lxml模块

系统 2019-09-27 17:49:52 2171