Python数据科学入门DmitryZinoviev著熊子源译第四章使用数据库本章介绍了数据库的使用。之前那本《Python爬虫》中有谈到数据库的使用，这里就不再详细介绍。仅记录了一点自己没有了解到的东西。相关内容可参考之前的文章。https://blog.csdn.net/cjx14060307101/article/details/90046558第17单元设置MySQL数据库如果要插入新的数据，首先需要删除已有的索引，才能插入数据并重新添加索引。UN
系统 2019-09-27 17:53:33 2280
我们直接用Requests、Selenium等库写爬虫，如果爬取量不是太大，速度要求不高，是完全可以满足需求的。但是写多了会发现其内部许多代码和组件是可以复用的，如果我们把这些组件抽离出来，将各个功能模块化，就慢慢会形成一个框架雏形，久而久之，爬虫框架就诞生了。利用框架我们可以不用再去关心某些功能的具体实现，只需要去关心爬取逻辑即可。有了它们，可以大大简化代码量，而且架构也会变得清晰，爬取效率也会高许多。所以如果对爬虫有一定基础，上手框架是一种好的选择。本
系统 2019-09-27 17:53:32 2280
方法：使用urlencode函数urllib.request.urlopen()importurllib.requestimporturllib.parseurl='https://www.sogou.com/web?'#将get请求中url携带的参数封装至字典中param={'query':'周杰伦'}#对url中的非ascii进行编码param=urllib.parse.urlencode(param)#将编码后的数据值拼接回url中url+=para
系统 2019-09-27 17:53:16 2280
前两天学习了一下socket编程，在向某大神请教问题时被嫌弃了，有一种还没学会走就想跑的感觉。大神说我现在的水平应该去做一些像是操作文件、序列号等的小练习来加深理解。下面是他给我出的小练习：1、datas=[['sherry',19,'female'],['flora',21,'female'],['june',15,'femal']]，分别根据名字首字母和年龄进行排序输出；2、按照给定的输出方式进行输出比较结果，对Person类进行补充；class_ma
系统 2019-09-27 17:52:19 2280
原文地址python的多线程异步常用到queue和threading模块#!/usr/bin/envpython#-*-coding:UTF-8-*-importloggingimportqueueimportthreadingdeffunc_a(a,b):returna+bdeffunc_b():passdeffunc_c(a,b,c):returna,b,c#异步任务队列_task_queue=queue.Queue()defasync_call(fu
系统 2019-09-27 17:51:38 2280
一、定义见百度百科链表链表由表头和节点组成，节点分为数据域和指针域，数据域中存贮数据元素，指针域存储下个结点的地址二、单链表实现逻辑创建节点类Node和链表类Linklist，Linklist类中包含head属性，head的值为0或Node对象，Node类中包含value属性存储数据，next属性存储下个节点的地址（Node对象）循环节点从head开始取next属性，直到next=0为止，返回当前对象添加节点时调用循环方法返回最后一个节点对象，把返回节点的
系统 2019-09-27 17:51:27 2280
之前遇到一个场景是这样的：我在自己的电脑上需要用mongodb图形客户端，但是mongodb的服务器地址没有对外网开放，只能通过先登录主机A，然后再从A连接mongodb服务器B。本来想通过ssh端口转发的，但是我没有从机器A连接ssh到B的权限。于是就自己用python写一个。原理很简单。1.开一个socketserver监听连接请求2.每接受一个客户端的连接请求，就往要转发的地址建一条连接请求。即client->proxy->forward。proxy
系统 2019-09-27 17:50:32 2280
1、先看最简单的场景，生产者生产消息，消费者接收消息，下面是生产者的简单代码。#!/usr/bin/envpython#-*-coding:utf-8-*-importjsonfromkafkaimportKafkaProducerproducer=KafkaProducer(bootstrap_servers='xxxx:x')msg_dict={"sleep_time":10,"db_config":{"database":"test_1","host
系统 2019-09-27 17:48:02 2280
需要建立2个文件，一个作为客户端，一个作为服务端文件一作为客户端client，文件二作为服务端serverudp的特点是不需要建立连接文件一客户端#不需要建立连接importsocket#创建socket对象#SOCK_DGRAMudp模式s=socket.socket(socket.AF_INET,socket.SOCK_DGRAM)#发送数据字节s.sendto("你好".encode(),("169.254.184.146",8000))文件二服务端
系统 2019-09-27 17:47:11 2280
python中的lambda通常是用来在python中创建匿名函数的，而用def创建的方法是有名称的，除了从表面上的方法名不一样外，python中的lambda还有如下几点和def不一样：1.pythonlambda会创建一个函数对象，但不会把这个函数对象赋给一个标识符，而def则会把函数对象赋值给一个变量。2.pythonlambda它只是一个表达式，而def则是一个语句。下面是pythonlambda的格式，看起来非常精简。lambdax:printx
系统 2019-09-27 17:47:09 2280
