Python

python爬虫小案例_从豆瓣爬取多页的图书信息保存到数据库(MongoDB)

一、在豆瓣网爬取以下图书的信息:二、参考代码:1、连接MongoDB数据库,并且创建数据库和表importpymongomyclient=pymongo.MongoClient("mongodb://127.0.0.1:27017/")db=myclient['webCrawler']#创建数据库webCrawlerdatatable=db['Book_info']#创建Book_info表2、爬取数据并且存储到数据库importreimportpanda

系统 2019-09-27 17:56:44 2063

Python

python数据持久存储 pickle模块的基本使用方法解析

python的pickle模块实现了基本的数据序列和反序列化。通过pickle模块的序列化操作我们能够将程序中运行的对象信息保存到文件中去,永久存储;通过pickle模块的反序列化操作,我们能够从文件中创建上一次程序保存的对象。基本接口:pickle.dump(obj,file,[,protocol])注解:将对象obj保存到文件file中去。protocol为序列化使用的协议版本,0:ASCII协议,所序列化的对象使用可打印的ASCII码表示;1:老式的

系统 2019-09-27 17:56:17 2063

Python

算法与数据结构(十六):Python 内建排序方法总结

Python内建排序机制很强大,此处对其进行一个较为系统的使用总结。1.排序方法介绍Python中有2个排序函数,一个是list内置的sort()方法,另一个是全局的sorted()方法sorted(iterable,key=None,reverse=False)#返回排好序的新列表,不改变对象本身,默认升序;reverse:-True降序-False正序对所有可迭代的对象均有效list.sort(key=None,reverse=False)#将list

系统 2019-09-27 17:56:11 2063

Python

完美解决Python2操作中文名文件乱码的问题

Python2默认是不支持中文的,一般我们在程序的开头加上#-*-coding:utf-8-*-来解决这个问题,但是在我用open()方法打开文件时,中文名字却显示成了乱码。我先给大家说说Python中的编码问题,Python中的字符串的大概分为为str和Unicode两种形式,其中str常用的编码类型为utf-8,gb2312,gbk等等,Python使用Unicode作为编码的基础类型。str记录的是字节数组,只是某种编码的存储格式,终于输出到文件或是

系统 2019-09-27 17:56:07 2063

Python

Python:为什么必须在方法定义和调用中明确使用'self'?

面向对象的语言有对象。对象是状态和行为的组合。对象需要访问自己的状态。这样做基本上有两个主要选择。要么你明确地说你何时访问一个对象的状态(通过self,this或者其他类似的东西),或者语言会为你找出。让我先讨论后一种情况。存在名称冲突的问题。例如,如果对象的数据成员与方法参数的名称匹配,或者如果声明与数据成员的名称匹配的局部变量,会发生什么。您要么不允许这种情况,要么具有某种解决机制。Smalltalk是一个像这样工作的语言的例子,但我不记得语言是如何处

系统 2019-09-27 17:55:44 2063

Python

python3 一个处理数据的案例

读取文件,将每一行作为列表的一个值,求每个字符串出现的次数,以及有哪些字符串。写入文件,按次数大小排序,次数后面对应着字符串#-*-coding:utf-8-*-input1=open('jpc.txt','r')output1=open('out.txt','w')list_of_all_the_lines=input1.read()a=list_of_all_the_lines.splitlines(False)myset=set(a)mylist_c

系统 2019-09-27 17:55:22 2063

Python

python分割文件的常用方法

本文大家整理了一些比较好用的关于python分割文件的方法,方法非常的简单实用。分享给大家供大家参考。具体如下:例子1指定分割文件大小配置文件config.ini:复制代码代码如下:[global]#原文件存放目录dir1=F:\work\python\3595\pyserver\test#新文件存放目录dir2=F:\work\python\3595\pyserver\test1python代码如下:复制代码代码如下:#!/usr/bin/python#

系统 2019-09-27 17:54:53 2063

Python

python_面向对象三大特性-多态

定义:不同的子类对象调用相同的父类方法,产生不同的执行结果多态指的是一类事物有多种形态,(一个抽象类有多个子类,因而多态的概念依赖于继承)多态是调用方法的技巧,不会影响到类的内部设计关键点:继承改写(重载)#定义狗类classDog:defwork(self):print("狗是人类的好朋友")#定义警犬类classArmyDog(Dog):defwork(self):print('追击敌人')#定义缉毒犬类classDrugDog(Dog):defwor

系统 2019-09-27 17:54:27 2063

Python

Python小白丁笔记(13)------封装工具——类

例子:classFileTool:def__init__(self,filepath):self.filepath=filepathdefwrite_to_file(self,line):f=open(self.filepath,'a')f.write(line)f.close()defread_to_file(self):f=open(self.filepath,'r')lines=f.readlines()f.close()returnlines

系统 2019-09-27 17:53:57 2063

Python

python爬虫第6关csv&excel

前面讲到json是特殊的字符串。其实,csv也是一种字符串文件的格式,它组织数据的语法就是在字符串之间加分隔符——行与行之间是加换行符,同列之间是加逗号分隔。它可以用任意的文本编辑器打开(如记事本),也可以用Excel打开,还可以通过Excel把文件另存为csv格式(因为Excel支持csv格式文件)。将我们刚刚写入的csv文件下载到本地电脑,再用记事本打开,你会看到:用Excel打开,则是这样的:发现了吗?csv文件里的逗号可以充当分隔同列字符串的作用。

系统 2019-09-27 17:53:37 2063

Python

Python中的MongoDB基本操作:连接、查询实例

MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可护展的高性能数据存储解决方案。它的特点是高性能、易部署、易使用,存储数据非常方便。MongoDB简单使用联接数据库复制代码代码如下:In[1]:importpymongoIn[2]:frompymongoimportConnectionIn[3]:connection=Connection('192.168.1.3',27017)//创建联接Connection相关参数

系统 2019-09-27 17:52:17 2063

Python

用Eclipse写python程序

在上一篇文章里已经写过如何安装python和在eclipse中配置python插件,这篇就不多说了,开始入门。1.先新建一个python工程,File-->New-->Other,直接搜pyDev就出来了,选择pyDevproject创建一个src文件夹2.在src中新建一个python文件,右键-->New-->pyDewModule,名字么,既然是第一个程序,那肯定来个经典的helloworld3.python文件是以.py结尾的4.接下来写我们第一行

系统 2019-09-27 17:52:15 2063

Python

Python可以从事的工作/就业岗位总结

现在互联网巨头,都已经转投到人工智能领域,而人工智能的首选编程语言就是python,未来前景显而易见。那么问题来了,想学Python,Python工程师工资一般多少?值得去学吗?说句实在话,还得看你自己:自己足够用功,经验够,两三万月薪也不是不可能;如果资历浅,又不用功,想要高薪,除非运气够好!学习Python可以从事以下工作:一、人工智能Python作为人工智能的黄金语言,选择人工智能作为就业方向是理所当然的,而且就业前景好,薪资普遍较高,拉勾网上,人工

系统 2019-09-27 17:51:49 2063

Python

python学习笔记

一、变量赋值及命名规则①声明一个变量及赋值1#!/usr/bin/envpython2#-*-coding:utf-8-*-3#_author_soloLi4name1="solo"5name2=name16print(name1,name2)7name1="hehe"8print(name1,name2)#name1的值为hehe,name2的值为solo②变量命名的规则11、变量名只能是字母、数字或下划线的任意组合22、变量名的第一个字符不能是数字33

系统 2019-09-27 17:50:38 2063

Python

119 Python程序中的线程操作-线程同步

[TOC]一、锁线程中的锁机制和进程中一样。都是通过锁来控制资源访问虽然,线程中的资源是共享的,但也可以通过锁来进行控制。达到线程同步的目的。虽然牺牲了效率但是保证了安全。x=0mutex=Lock()deftask():globalxmutex.acquire()#上锁foriinrange(200000):x=x+1mutex.release()#解锁if__name__=='__main__':th_list=[]foriinrange(10):t1

系统 2019-09-27 17:49:53 2063