现在正式开始吧, 我们创建一个名为my_blog的Django项目

创建项目的指令如下:

1

$ django-admin.py startproject my_blog

现在来看一下整个项目的文件结构

1
2
3
4
5
6
7
8
9
10
11

$ tree my_blog   #打印树形文件结构
my_blog
├── manage.py
└── my_blog
    ├── __init__.py
    ├── settings.py
    ├── urls.py
    └── wsgi.py
1 directory, 5 files

#开发环境

下面仅仅是我的项目开发环境, 没有必要追求完全一致...

1
2
3
4
5
6

Mac OS X 10.10.1
Python3.4.1
Django1.7.1 
Bootstrap3.3.0  #非必要
Sublime Text 3  #非必要
virtualenv  1.11.6

#写作目的

喜欢一个学习观点以教促学, 一直以来, 学习的时候经常会发现, 某个方法某个问题自己已经明白了, 但是在教给别人的时候确说不清楚, 所以慢慢的学会了以教促学这种方法, 在教给别人知识的同时也能够提升自己对语言, 对框架的理解.

#1. Cookie原理

HTTP是无状态的面向连接的协议, 为了保持连接状态, 引入了Cookie机制

Cookie是http消息头中的一种属性，包括：

• Cookie名字（Name）Cookie的值（Value）
• Cookie的过期时间（Expires/Max-Age）
• Cookie作用路径（Path）
• Cookie所在域名（Domain），使用Cookie进行安全连接（Secure）。
  前两个参数是Cookie应用的必要条件，另外，还包括Cookie大小（Size，不同浏览器对Cookie个数及大小限制是有差异的）。

更详细的cookie

#1. UITabBarController简单使用

1. 初始化UITabBarController
2. 设置UIWindow的rootViewController为UITabBarController
3. 根据具体情况, 通过addChildViewController方法添加对应个数的子控制器

UITabBarController添加控制器的方式有2种 :

1
2
3
4
5

//添加单个子控制器
- (void)addChildViewController:(UIViewController *)childController;
//设置子控制器数组
@property(nonatomic,copy) NSArray *viewControllers;

本文希望达到以下目标:

1. 简要介绍Scarpy
2. 阅读官网入门文档并实现文档中的范例
3. 使用Scarpy优化豆瓣爬虫的抓取
4. 制定下一步学习目标

#1. Scrapy简介

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。
其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试

Scrapy 使用了 Twisted异步网络库来处理网络通讯。整体架构大致如下

本文希望达到的目标:

1. 学习Queue模块
2. 将Queue模块与多线程编程相结合
3. 通过Queue和threading模块, 重构爬虫, 实现多线程爬虫,
4. 通过以上学习希望总结出一个通用的多线程爬虫小模版

#1. Queue模块

Queue模块实现了多生产者多消费者队列, 尤其适合多线程编程.Queue类中实现了所有需要的锁原语(这句话非常重要), Queue模块实现了三种类型队列:

• FIFO(先进先出)队列, 第一加入队列的任务, 被第一个取出
• LIFO(后进先出)队列,最后加入队列的任务, 被第一个取出(操作类似与栈, 总是从栈顶取出, 这个队列还不清楚内部的实现)
• PriorityQueue(优先级)队列, 保持队列数据有序, 最小值被先取出(在C++中我记得优先级队列是可以自己重写排序规则的, Python不知道可以吗)

系统:Mac OS X 10.10.1
编辑器: Sublime Text2
Python版本: 2.7.8
模块依赖: import sys, string, re, random, urllib, urllib2, cookielib, getpass(均为系统内的模块)

#0. 抓站小结

##0.1. cookie处理
需要进行登陆的时候, 要进行cookie的处理,使用以下方法

1
2
3
4
5

cookie = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))
urllib2.install_opener(opener)
req = urllib2.Request(url)
content = urllib2.urlopen(req)

#1. thread模块

• python是支持多线程的, 主要是通过thread和threading这两个模块来实现的。
• python的thread模块是比较底层的模块(或者说轻量级)，python的threading模块是对thread做了一些包装的，可以更加方便的被使用。

简要的看一下thread模块中含函数和常量

1
2
3
4
5
6
7
8
9
10
11
12
13
14

import thread
thread.LockType  #锁对象的一种, 用于线程的同步
thread.error  #线程的异常
thread.start_new_thread(function, args[, kwargs])  #创建一个新的线程
function : 线程执行函数
args : 线程执行函数的参数, 类似为tuple,
kwargs : 是一个字典
返回值: 返回线程的标识符
thread.exit()  #线程退出函数
thread.allocate_lock()  #生成一个未锁状态的锁对象
返回值: 返回一个锁对象

锁对象的方法

1
2
3
4
5
6
7
8
9

lock.acquire([waitflag]) #获取锁
无参数时, 无条件获取锁, 无法获取时, 会被阻塞, 知道可以锁被释放
有参数时, waitflag = 0 时,表示只有在不需要等待的情况下才获取锁, 非零情况与上面相同
返回值 :　获得锁成功返回True, 获得锁失败返回False
lock.release() #释放锁
lock.locked() #获取当前锁的状态
返回值 : 如果锁已经被某个线程获取,返回True, 否则为False

Sublime Text号称最性感的编辑器, 并且越来越多人使用, 美观, 高效

关于如何使用Sublime text可以参考我的另一篇文章, 相信你会喜欢上的..
Sublime Text 2使用心得

现在介绍一下Snippet, Snippets are smart templates that will insert text for you and adapt it to their context. Snippet 是插入到文本中的智能模板并使这段文本适当当前代码环境. 程序员总是会不断的重写一些简单的代码片段, 这种工作乏味/无聊, 而Snippet的出现会让Code更加高效.