搜索到与相关的文章
Python

python爬虫---从零开始(二)Urllib库

接上文再继续我们的爬虫,这次我们来述说Urllib库1,什么是Urllib库Urllib库是python内置的HTTP请求库urllib.request请求模块urllib.error异常处理模块urllib.parseurl解析模块urllib.robotparserobots.txt解析模块不需要额外安装,python自带的库。注意:python2importurllib2response=urllib2.urlopen('http://baidu.c

系统 2019-09-27 17:50:06 2298

Python

使用Python的Treq on Twisted来进行HTTP压力测试

从事API相关的工作很有挑战性,在高峰期保持系统的稳定及健壮性就是其中之一,这也是我们在Mailgun做很多压力测试的原因。这么久以来,我们已经尝试了很多种方法,从简单的ApacheBench到复杂些的自定义测试套。但是本贴讲述的,是一种使用python进行“快速粗糙”却非常灵活的压力测试的方法。使用python写HTTP客户端的时候,我们都很喜欢用Requestslibrary。这也是我们向我们的API用户们推荐的。Requests很强大,但有一个缺点,

系统 2019-09-27 17:49:27 2298

Python

Python脚本判断 Linux 是否运行在虚拟机上

在WebHostingTalk论坛上有些国外奸商会把虚拟机当作独立服务器卖,去年7月份的时候就有一位中国同胞上当受骗,并在WHT上发帖声讨,证据确凿,甚至连服务商自己也承认,回帖达355篇。这家独立服务器/VPS提供商HostATree.com居然大胆的把OpenVZVPS这种一看就知道是虚拟机的虚拟机当作独立服务器卖,晕,至少也要弄个VMWare/KVM/XenHVM吧(更难发现是虚拟机),用OpenVZ这种容器也太欺负人了:)昨天恰好收到网友一封邮件问

系统 2019-09-27 17:48:43 2298

Python

从字符编码到python的字符串与bytes

最近编写自己的rpc小框架,涉及到bytes.这里就想梳理一下编码与python的字符串和字节码(bytes)类型.先上个图,有个印象,随时可以回头看.#前置知识字符:在计算机和电信技术中,一个字符是一个单位的字形、类字形单位或符号的基本信息。即一个字符可以是一个中文汉字、一个英文字母、一个阿拉伯数字、一个标点符号等;字符集:多个字符的集合。例如GB2312是中国国家标准的简体中文字符集;字符编码:将某个字符集中的字符转换成一个唯一编号(码点,二进制数据)

系统 2019-09-27 17:48:25 2298

Python

Linux下原码安装 python-3.6.6

Linux下原码安装python-3.6.6下载#wgethttps://www.python.org/ftp/python/3.6.6/Python-3.6.6.tgz安装依赖包#yum-yinstallzlib-develbzip2-developenssl-develsqlite-develreadline-develgcc解压并进入到解压目录#tarxvfPython-3.6.6.tgz#cdPython-3.6.6/修改Modules/Setup

系统 2019-09-27 17:47:22 2298

Python

Python中dictionary items()系列函数的用法实例

本文实例讲述了Python中dictionaryitems()系列函数的用法,对Python程序设计有很好的参考借鉴价值。具体分析如下:先来看一个示例:importhtml#availableonlyinPython3.xdefmake_elements(name,value,**attrs):keyvals=['%s="%s"'%itemforiteminattrs.items()]attr_str=''.join(keyvals)element='<{

系统 2019-09-27 17:46:31 2298

Python

Python爬虫入门【2】:妹子图网站爬取

妹子图网站爬取---前言从今天开始就要撸起袖子,直接写Python爬虫了,学习语言最好的办法就是有目的的进行,所以,接下来我将用10+篇的博客,写爬图片这一件事情。希望可以做好。为了写好爬虫,我们需要准备一个火狐浏览器,还需要准备抓包工具,抓包工具,我使用的是CentOS自带的tcpdump,加上wireshark,这两款软件的安装和使用,建议你还是学习一下,后面我们应该会用到。妹子图网站爬取---网络请求模块requests妹子图网站爬取---安装req

系统 2019-09-27 17:45:42 2298

Python

利用python分析access日志的方法

前言WAF上线之后,处理最多的是误报消除。产生误报有多种原因,比如web应用源码编写时允许客户端提交过多的cookie;比如单个参数提交的数值太大。把误报降低到了可接受的范围后,还要关注漏报。WAF不是神,任何WAF都可能被绕过。所以还需要定位漏过的攻击,明确漏报的原因,才能updateWAF的策略。要定位漏报,就必须分析Web应用的访问日志了。一个站点,每天产生的access日志大概接近1GB,显然靠肉眼看是不现实的。这就需要用python帮助自动分析。

系统 2019-09-27 17:37:54 2298

编程技术

下半年封闭基金投资策略

不同于五、六月封闭式基金的强劲表现——封闭基金在二级市场价格平均涨幅达41.43%,超出同期上证指数涨幅36个百分点,随着市场的走软和s双汇复牌的失望,封闭基金转而开始过度反映。同一个因素竟然可以让局势急转直下,此前,S双汇复牌套利曾一度成为行情上涨的导火索,随着罗特克斯要约收购的开展及完成,重仓S双汇的基金金鑫、基金金盛、基金裕泽等基金大幅上涨并激活了封闭式基金板块。但由于双汇复牌表现低于预期而导致这些封基大幅下跌,前期过度反映的上涨必须由更加惨烈的下跌

系统 2019-08-29 23:12:15 2298