抓取动态的网页内容主要有两种办法，一种是通过开发者工具找到动态内容的接口，然后分析接口的参数和返回值来爬取网站的数据。另外一种是通过模拟浏览器来抓取数据。python的Selenium库就可以通过代码来模拟浏览器抓取数据。一、概述运行Selenium需要依赖于Python的selenium库，以及浏览器对应驱动器（WebDriver）。安装selenium库pipinstallselenium项目地址：https://pypi.org/project/se
系统 2019-09-27 17:47:10 1880
项目目录结构：按照下图所示创建build文件夹及内容Dockerfile:FROMubuntu:16.04FROMpython:3.6ENVhttp_proxy=http://172.16.6.67:3128ENVhttps_proxy=http://172.16.6.67:3128RUNapt-get-yupdate&&\apt-get-yupgrade&&\apt-getinstall-y\vim\git\python3-dev\python3-set
系统 2019-09-27 17:46:45 1880
mktime()方法是localtime()反函数。它的参数是struct_time或全9元组，它返回一个浮点数，为了兼容时time()。如果输入值不能表示为有效的时间，那么OverflowError或ValueError错误将被引发。Syntax以下是mktime()方法的语法：time.mktime(t)参数t--这是struct_time或满9元组。返回值此方法返回一个浮点数，对于兼容性time()。例子下面的例子显示了mktime()方法的使用。#
系统 2019-09-27 17:46:39 1880
1.从集合中取出最大或最小N个元素importheapqnums=[1,8,2,23,7,-4,18,23,42,37,2]print(heapq.nlargest(3,nums))#输出[42,37,23]print(heapq.nsmallest(3,nums))#输出[-4,1,2]也支持其他参数支持更为复杂的数据结构portfolio=[{'name':'IBM','shares':100,'price':91.1},{'name':'AAPL',
系统 2019-09-27 17:46:30 1880
学习Python的第一天,也是我第一次写博客的一天,不怎么会写博客,也不怎么会Python,也不怎么会写总结.在学Python的第一天发现自己脑子不是很好用,在学习过程中出现很多错误,错误锦集如下,哈哈哈哈,要加油.以后要注意不要再犯下面的错误了,不然以后在工作中很难独立完成,也容易出现很多错误,这样就不好了啊!!!下面是我的知识总结和错误总结,如果有IT大佬看见了,希望能指出我的不足之处,让我好改进改进,可以进步.======我======是======
系统 2019-09-27 17:46:07 1880
这次只演示了，如何在真实项目内用到BeautifulSoup库来解析网页，而新浪的新闻是ajax加载过来的数据，在这里我们只演示解析部分数据（具体反扒机制没做分析）。代码地址：https://gitee.com/dwyui/BeautifulSoup_xinlang.git。关于的爬虫的博客已经越来越多，使用到的技术也越来越多，后期我还会持续写下去，大概从几个角度去写，多线程爬取（提高效率），如何更好的做到爬取数据（破解反扒）。用redis管理多线程和代理
系统 2019-09-27 17:45:54 1880
装饰器：概念：把一个函数当作参数传递给一个函数，返回一个替代版的函数本质上就是一个返回函数的函数“在不改变原函数的基础上，给函数增加功能”@符号，那只是一个简短的方式来生成一个被装饰的函数defpaint(func):参数是一个函数definner():print('#########')这个的整个部分就都是装饰器func()returninner@paint这个就是函数戴帽子，也就是装饰器deffunc():print('haveaniceday!!')
系统 2019-09-27 17:45:41 1880
Python实现文件的全备份和差异备份之前有写利用md5方式来做差异备份，但是这种md5方式来写存在以下问题：md5sum获取有些软连接的MD5值存在问题不支持对空目录进行备份，因为md5sum无法获取空目录的md5值权限的修改md5sum无法判断解决方案：利用文件的mtimectimemtime（Modifiedtime）是在写入文件时随文件内容的更改而更改的ctime（Createtime）是在写入文件、更改所有者、权限或链接设置时随Inode的内容更
系统 2019-09-27 17:45:28 1880
IPython+ptpython，完美体验首先是安装pipinstallipythonptpython然后使用ptipython有什么好处1.IPython是非常强大的Python增强工具2.ptpython提供了类似IDE的自动补全功能3.当你在命令行输入pyipython时，便结合了这两者的功能，无比强大！virtualenv+virtualenvwrapper，轻松创建隔离环境首先安装pipinstallvirtualenvwrapper（会自动把v
系统 2019-09-27 17:38:45 1880
在Python2.5中，with关键字被加入。它将常用的try...except...finally...模式很方便的被复用。看一个最经典的例子：withopen('file.txt')asf:content=f.read()在这段代码中，无论with中的代码块在执行的过程中发生任何情况，文件最终都会被关闭。如果代码块在执行的过程中发生了一个异常，那么在这个异常被抛出前，程序会先将被打开的文件关闭。再看另外一个例子。在发起一个数据库事务请求的时候，经常会用
系统 2019-09-27 17:38:19 1880
最近开发了一个GoogleAnalytics相关的应用，但需要在Windows下部署，结合网上的相关经验，最终选择了apache+mod_wsgi这样的配置。修改python应用复制代码代码如下:Notethatmod_wsgirequiresthattheWSGIapplicationentrypointbecalled'application'.Ifyouwanttocallitsomethingelsethenyouwouldneedtoconfig
系统 2019-09-27 17:38:15 1880
Theunrarcommandorguitoolsarenotsupportedoutofthebox.Usethefollowinginstructionsinstallthesame:unrarCommandLineToolYouneedtodownloadunrarbyvisitingthispageandlookforOSXversion.Alternativly,youcanopentheterminalandtypethefollowingco
系统 2019-08-29 23:45:59 1880
周润发：大气此君出演的多数电影中，都实难挡其魅力，无论主演客串，都令众多演员望尘莫及。大将之风。梁朝伟：灵气不要被他油头粉面或落魄颓废的造型迷离忧郁的眼神所迷惑。实有让观众细细品味的风采,具有影帝风采。周星弛：人气他对香港电影的喜剧贡献实在太大了，创造了他独特的喜剧风格，佳作不断，且深入人心。成龙：神气这条龙似乎越来越红，红的发烫。在好来坞的发展比发哥更明朗化。而且涉足商业也更加的多，有了自己的服装品牌，自己的公司，自己的寿司店等，看来大哥要更忙啦！吴镇宇
系统 2019-08-29 23:23:43 1880
/**//*--SETNOCOUNT的问题SQL版本:SQLServer20053159故障描述:当满足下述条件时,SETNOCOUNT导致TRY...CATCH无法正确处理错误1.使用EXEC()AT或者EXEC..dbo.sp_executesql2.中包括输出参数3.中包括SETNOCOUNTON和USE
系统 2019-08-29 23:09:42 1880
我们期待自己成为一个优秀的软件模型设计者，但是，要怎样做，又从哪里开始呢？将下列原则应用到你的软件工程中，你会获得立杆见影的成果。1.人远比技术重要你开发软件是为了供别人使用，没有人使用的软件只是没有意义的数据的集合而已。许多在软件方面很有成就的行家在他们事业的初期却表现平平，因为他们那时侯将主要精力都集中在技术上。显然，构件（components），EJB（EnterpriseJavaBeans）和代理（agent）是很有趣的东西。但是对于用户来说，如果
系统 2019-08-29 22:34:33 1880
