搜索到与相关的文章
Python

Python爬虫入门【23】:scrapy爬取云沃客项目外包网数据!

闲暇写一个外包网站的爬虫,万一你从这个外包网站弄点外快呢数据分析官方网址为https://www.clouderwork.com/进入全部项目列表页面,很容易分辨出来项目的分页方式得到异步请求RequestURL:https://www.clouderwork.com/api/v2/jobs/search?ts=1546395904852&keyword=&budget_range=&work_status=&pagesize=20&pagenum=3&s

系统 2019-09-27 17:55:39 2304

Python

Python爬取Coursera课程资源的详细过程

有时候我们需要把一些经典的东西收藏起来,时时回味,而Coursera上的一些课程无疑就是经典之作。Coursera中的大部分完结课程都提供了完整的配套教学资源,包括ppt,视频以及字幕等,离线下来后会非常便于学习。很明显,我们不会去一个文件一个文件的下载,只有傻子才那么干,程序员都是聪明人!那我们聪明人准备怎么办呢?当然是写一个脚本来批量下载了。首先我们需要分析一下手工下载的流程:登录自己的Coursera账户(有的课程需要我们登录并选课后才能看到相应的资

系统 2019-09-27 17:54:49 2304

Python

PythonI/O进阶学习笔记_5.python的set和dict

前言:我一直觉得对我来说学习知识很忌讳不系统。本篇内容与上一篇自定义序列类是有联系的。上一篇比较通范的了解了序列类的一些协议和特性,并且有些list的内容。这篇更加具体到set和dict这两个序列类。以此来了解python序列类的具体应用。(这篇比较简单)(感觉具体比抽象都更容易理解,但是也要学会思考把具体对象抽象化来表达,即提取共性)content:1.dict在abc中的序列类型和继承关系2.dict实现了的常用方法3.我可不可以继承dict这种序列类

系统 2019-09-27 17:54:41 2304

Python

Python学习四:Python for ArcGIS学习笔记

一、优点:(1):容易上手;(2):易于部署到ArcGIS中;(3):批处理具有优势;二、学习方向:(1)自定义工具箱;(2)Add-In插件;三、自定义工具箱:1、.tbx工具箱:(1)创建一个工具箱(TestToolbox):目录>我的工具箱>新建>工具箱(X)(2)添加一个脚本(TestTool):TestToolbox>添加>脚本(S)(3)配置.py文件信息:选择使用相对路径,设置匹配参数,项目描述里编辑使用说明,导入脚本并设置密码。(4)共享:

系统 2019-09-27 17:53:20 2304

Python

浅谈Python 递归算法指归

1.递归概述递归(recursion)是一种编程技巧,某些情况下,甚至是无可替代的技巧。递归可以大幅简化代码,看起来非常简洁,但递归设计却非常抽象,不容易掌握。通常,我们都是自上而下的思考问题,递归则是自下而上的解决问题――这就是递归看起来不够直观的原因。那么,究竟什么是递归呢?让我们先从生活中找一个栗子。我们都有在黑暗的放映厅里找座位的经验:问问前排的朋友坐的是第几排,加上一,就是自己当前所处位置的排号。如果前排的朋友不知道自己是第几排,他可以用同样的方

系统 2019-09-27 17:50:31 2304

Python

10 行 Python 代码教你自动发送短信(不想回复工作邮件妙招)

最近工作上有个需求,当爬虫程序遇到异常的时候,需要通知相应的人员进行修复。如果是国外可能是通过邮件的方式来通知,但国内除了万年不变的qq邮箱,大部分人都不会去再申请其他的账号,qq邮箱也是闲的蛋疼的时候才会瞄一眼。你还记得上次看邮箱的内容是什么时候吗?所以在国内最好的通知方式是通过手机短信,今天就教大家利用python10行代码实现短信发送。Twilio短信代理服务已经有非常多成熟的方案,比如国内的阿里云。这次我介绍的是国外的一个代理商「Twilio」,使

系统 2019-09-27 17:50:28 2304

Python

Python之Subprocess模块

前言其实有一个模块也支持执行系统命令,那个模块就是sys.system,但他执行系统命令会直接通过主进程去执行命令,那假如,该命令的执行需要耗费一个小时,那么主进程会卡一个小时,而不会去干别的事,这样就会导致程序的运行效率低下。如果由subprocess去执行系统命令的时候并不会让主进程去执行,而是主进程会开辟出一个子进程去执行,并不会影响到主进程的运行,主进程该干嘛就干嘛,那么又有个问题,大家都知道进程之间的内存空间是独立的,也就是说进程之间是不能相互访

系统 2019-09-27 17:50:09 2304

Python

python django model联合主键的例子

今天,在家试试django的model的设置,如何设置的联合主键,我经过查资料和实践,把结果记录如下:例如:classuser(Model):id=AutoField(primary_key=True)name=CharField(max_length=30)age=IntegerField()classrole(Model):id=AutoField(primary_key=True)name=CharField(max_length=10)这是两个mo

系统 2019-09-27 17:49:48 2304

Python

Python apply函数

Pythonapply函数1、介绍apply函数是pandas里面所有函数中自由度最高的函数。该函数如下:DataFrame.apply(func,axis=0,broadcast=False,raw=False,reduce=None,args=(),**kwds)该函数最有用的是第一个参数,这个参数是函数,相当于C/C++的函数指针。这个函数需要自己实现,函数的传入参数根据axis来定,比如axis=1,就会把一行数据作为Series的数据结构传入给自

系统 2019-09-27 17:47:17 2304

Python

收藏整理的一些Python常用方法和技巧

1.逆转字符串的三种方法1.1.模拟C++中方法,定义一个空字符串来实现通过设置一个空字符串,然后讲参数中的字符串从后往前遍历,使用字符串的加法合并为新的字符串复制代码代码如下:defreverse(text):str=''index=len(text)-1whileindex>=0:str+=text[index]index-=1returnstr1.2.使用切片法这个是Python中的一个特性,切片可以取负值,这是采用切片的方法,设置步长为-1,这样就

系统 2019-09-27 17:46:56 2304