码字不易，喜欢请点赞！！！背景：其实两年前就爬了天眼查的很多信息，包括电话、地址等基本信息之外，还有公司的股东、专利以及对外投资等信息，但是当时的电脑没备份，代码都没了。这次山东的某个教育机构有偿找我帮爬天眼查公司电话以及地址信息，所以就重新爬了一下天眼查。准备：selenium+PhatomJS或者selenium+Firefox我这里直接用的后者selenium+Firefox思路爬取这部分信息的话，代码其实不难，主要包括模拟登陆、获得页面网址以及抓取
系统 2019-09-27 17:56:18 2486
我们都知道，爬虫获取页面的响应之后，最关键的就是如何从繁杂的网页中把我们需要的数据提取出来，python从网页中提取数据的包很多，常用的解析模块有下面的几个：BeautifulSoupAPI简单但解析速度慢，不推荐使用lxml由C语言编写的xml解析库(libxm2),解析速度快但是API复杂Scrapy综合以上两者优势实现了自己的数据提取机制，被称为Selector选择器。它是由lxml库构建的，并简化了API，先通过XPath或者CSS选择器选中要提取
系统 2019-09-27 17:54:28 2486
以下代码对于元组，字典和列表都是可以用的A=[1,2,3]print(A)#输出整个列表，包括逗号和括号等A=[1,2,3]forainA:print(a)#输出所有元素A=[1,2,3]N=0whileN列表的排序https://blog.csdn.net/GrofChen/article/details/91466264列表的所有内置函数https://blog.csdn.net/GrofChen/article/details/91371937
系统 2019-09-27 17:53:29 2486
当我们试图从新浪微博抓取数据时，我们会发现网页上提示未登录，无法查看其他用户的信息。模拟登录是定向爬虫制作中一个必须克服的问题，只有这样才能爬取到更多的内容。实现微博登录的方法有很多，一般我们在模拟登录时首选WAP版。因为PC版网页源码中包括很多的js代码，提交的内容也更多，不适合机器模拟登录。我们实现微博登录的大体思路是这样的：用抓包工具把正常登录时要提交的字段都记录下来;模拟提交这些字段;判断是否登录成功;原理很简单，让我们一步一步来实现吧。一.抓包利
系统 2019-09-27 17:53:11 2486
书上的代码，然后具体原理公式先占个坑，以后再详细写defployinterp_column(s,n,k=8):#取出要插值位置的前后k个数据y=s[list(range(n-k,n))+list(range(n+1,n+1+k))]#剔除空值y=y[y.notnull()]returnlagrange(y.index,list(y))(n)foriindata.columns:forjinrange(len(data)):#如果该值为空，则需要插值if(d
系统 2019-09-27 17:52:56 2486
使用流程：-导包：frombs4importBeautifulSoup-使用方式：可以将一个html文档，转化为BeautifulSoup对象，然后通过对象的方法或属性去查找指定的节点内容。（1）转化本地文件：-soup=BeautifulSoup（open（‘本地文件’），‘lxml’）（2）转化网络文件（与requests配合）：-page_text=requests.get(url=url,headers=headers).text-soup=Bea
系统 2019-09-27 17:52:15 2486
原文链接：https://edu.csdn.net/topic/python115?utm_source=cxrs感觉全世界营销文都在推Python，但是找不到工作的话，又有哪个机构会站出来给我推荐工作？笔者冷静分析多方数据，想跟大家说：关于超越老牌霸主Java，过去几年间Python一直都被寄予厚望。但是事实是虽然上升趋势，但是国内环境下，一时间是无法马上就超越Java的，也可以换句话说：超越Java只是时间问题罢。超越Java，或许只是时间问题有企业的
系统 2019-09-27 17:51:35 2486
谈到比特币，我们都知道挖矿，有些人并不太明白挖矿的含义。这里的挖矿其实就是哈希的碰撞，举个简单例子：importhashlibx=11y=1#这里可以调节挖矿难度，也就是哈希的长度whilehashlib.sha256(f'{x*y}'.encode("utf-8")).hexdigest()[5:7]!="00":print(x*y)y+=1print("找到了：",(x*y))结果如下：当然比特币的挖矿要比这个复杂太多，但是原理差不多，有个大概的认知。
系统 2019-09-27 17:49:39 2486
使用Python进行图片和pdf之间的相互转换使用到第三方库PyMuPDF在python环境下对PDF文件的操作。PDF转为图片需新建文件夹pdf2pngimportfitzimportglobdefrightinput(desc):flag=Truewhile(flag):instr=input(desc)try:intnum=eval(instr)iftype(intnum)==int:flag=Falseexcept:print('请输入正整数！')
系统 2019-09-27 17:49:31 2486
python实现建造者模式前言无论是在现实世界中还是在软件系统中，都存在一些复杂的对象，它们拥有多个组成部分，如汽车，它包括车轮、方向盘、发送机等各种部件。而对于大多数用户而言，无须知道这些部件的装配细节，也几乎不会使用单独某个部件，而是使用一辆完整的汽车，可以通过建造者模式对其进行设计与描述，建造者模式可以将部件和其组装过程分开，一步一步创建一个复杂的对象。用户只需要指定复杂对象的类型就可以得到该对象，而无须知道其内部的具体构造细节.介绍建造者模式（Bu
系统 2019-09-27 17:45:45 2486
