这次只演示了，如何在真实项目内用到BeautifulSoup库来解析网页，而新浪的新闻是ajax加载过来的数据，在这里我们只演示解析部分数据（具体反扒机制没做分析）。代码地址：https://gitee.com/dwyui/BeautifulSoup_xinlang.git。关于的爬虫的博客已经越来越多，使用到的技术也越来越多，后期我还会持续写下去，大概从几个角度去写，多线程爬取（提高效率），如何更好的做到爬取数据（破解反扒）。用redis管理多线程和代理
系统 2019-09-27 17:45:54 1342
1.开放封闭原则什么是开放封闭原则？有的同学问开放，封闭这是两个反义词这还能组成一个原则么？这不前后矛盾么？其实不矛盾。开放封闭原则是分情况讨论的。我们的软件一旦上线之后（比如你的软件主要是多个函数组成的）,那么这个软件对功能的扩展应该是开放的，比如你的游戏一直在迭代更新，推出新的玩法，新功能。但是对于源代码的修改是封闭的。你就拿函数举例，如果你的游戏源代码中有一个函数是闪躲的功能，那么你这个函数肯定是被多个地方调用的，比如对方扔雷，对方开枪，对方用刀
系统 2019-09-27 17:45:53 1342
命令行方式运行Python脚本在这个章节中，我们将写一些简单的数据库管理脚本。在此之前让我们来复习一下如何通过命令行方式执行Python脚本.如果Linux或者OSX的操作系统，需要有执行脚本的权限。例如：chmoda+xscript.py该脚本有个指向使用解释器的命令行。再脚本赋予执行权限后就可以通过命令行执行，就像这样：likethis:./script.py然而，在Windows系统上这样做是不行的，你必须提供Python解释器作为必选参数，如：复制
系统 2019-09-27 17:45:52 1342
并发与锁多个线程共享数据的时候，如果数据不进行保护，那么可能出现数据不一致现象，使用锁，信号量、条件锁互斥锁1.互斥锁，是使用一把锁把代码保护起来，以牺牲性能换取代码的安全性，那么Rlock后必须要relase解锁不然将会失去多线程程序的优势2.互斥锁的基本使用规则：importthreading#声明互斥锁lock=threading.Rlock();defhandle(sid):#功能实现代码lock.acquire()#加锁#writercodein
系统 2019-09-27 17:45:51 1342
dic={'key1':'value1','key2':'value2'}一、增if'key3'notindic:dic['key3']='value3'二、删deldic['key1']#删除键是'Name'的条目dic.clear()#清空字典所有条目deldic#删除字典三、改dic['key1']='value0'#更新四、查遍历forkey,valueindic.items():print(key,value)#同时遍历key，valuefori
系统 2019-09-27 17:45:50 1342
前面的python3入门系列基本上也对python入了门，从这章起就开始介绍下python的爬虫教程，拿出来给大家分享；爬虫说的简单，就是去抓取网路的数据进行分析处理；这章主要入门，了解几个爬虫的小测试，以及对爬虫用到的工具介绍，比如集合，队列，正则表达式；用python抓取指定页面：代码如下：importurllib.requesturl="http://www.baidu.com"data=urllib.request.urlopen(url).rea
系统 2019-09-27 17:45:49 1342
电脑和树莓派在同一局域网内，先在电脑和树莓派创建python运行环境，然后在树莓派中用python运行rpi.py；在电脑上运行computer.py；电脑上输入字符即可在树莓派上即时显示！rpi.py#coding:utf-8#importnecessarypackageimportsocketimporttimeimportsysHOST_IP="192.168.31.151"#树莓派的IP地址HOST_PORT=8888print("Starting
系统 2019-09-27 17:45:46 1342
学习python少不了写爬虫，不仅能以点带面地学习、练习使用python，爬虫本身也是有用且有趣的，大量重复性的下载、统计工作完全可以写一个爬虫程序完成。用python写爬虫需要python的基础知识、涉及网络的几个模块、正则表达式、文件操作等知识。昨天在网上学习了一下，写了一个爬虫自动下载「糗事百科」里面的图片。源代码如下：复制代码代码如下:#-*-coding:utf-8-*-#上面那句让代码里支持中文#------------------------
系统 2019-09-27 17:45:42 1342
pythongenerator与coroutine协程简单介绍协程，又称微线程，纤程，英文名Coroutine。协程是一种用户态的轻量级线程，又称微线程。协程拥有自己的寄存器上下文和栈，调度切换时，将寄存器上下文和栈保存到其他地方，在切回来的时候，恢复先前保存的寄存器上下文和栈。因此：协程能保留上一次调用时的状态（即所有局部状态的一个特定组合），每次过程重入时就相当于进入上一次调用的状态，换种说法：进入上一次离开时所处逻辑流的位置。优缺点优点：1.无需线程
系统 2019-09-27 17:45:41 1342
当安装好python之后，其实就已经可以进行开发了。下面我们开始写第一行python代码。值得纪念的时刻：Helloworld如果是用windows，请打开CMD，并执行python。如果是UNIX类的，就运行shell，并执行python。都会出现如下内容：Python2.7.6(default,Nov132013,19:24:16)[GCC4.6.3]onlinux2Type"help","copyright","credits"or"license"
系统 2019-09-27 17:45:25 1342
