Python站
  • 说明
  • 源码分析
  • 100 系列
  • python
    • 开发基础
      • 数据类型
      • 字符编码
      • 文本操作
      • 玩转Python100解
    • 函数编程
      • 装饰器
      • 内置函数
        • vars
      • 内置模块
        • enum
        • os
        • argparse
        • importlib
        • shelve
        • collections
        • re
      • 神奇三方
        • setuptools
        • celery
    • 面向对象
      • 面向对象100解(草稿)
    • 网络编程
      • 网络理论知识
      • 网络编程socket
      • socketserver源码泛读
    • 并发编程
      • 并发编程之多进程
        • 子进程基本使用
        • 进程的属性或方法
        • 守护进程
        • 互斥锁
        • 队列
        • 生产者消费者模型
      • 并发编程之多线程
        • 子线程基本使用
        • GIL全局解释器锁
        • 死锁现象与递归锁
        • 信号量事件定时器
        • 线程队列queue
      • 并发编程之进程线程池
      • 并发编程之协程
      • 并发编程之IO模型
        • 阻塞IO
        • 非阻塞IO
        • 多路复用IO
        • 异步IO
        • IO模型比较分析
    • 数据库说
      • mongoengine源码精读
    • 前端开发
    • 后端开发
      • flask源码精读
      • django源码精读
        • 01 软件打包与部署
        • 02 python调试工具 pdb
        • 03 创建一个django项目
    • 爬虫相关
      • Jupyter Notebook
      • urllib
      • urllib3源码泛读
      • 数据解析
      • requests源码精读
        • 初始化说 __init__.py
        • 版本信息 __version__.py
        • 版本兼容 compat.py
        • 经典视图 api.py
        • 逻辑实现 sessions.py
        • 数据存储 models.py
        • 网络传输 adapters.py
        • 异常结构 exceptions.py
        • 交互协定 status_code.py
        • 钩子编程 hooks.py
        • 数据结构 structures.py
        • 辅助输出 utils.py
        • 安全认证 auth&certs.py
    • 编程思想
      • 算法
      • 数据结构
      • 设计模式
        • 简单工厂模式
        • 工厂方法模式
        • 抽象工厂模式
        • 建造者模式
        • 单例模式
        • 适配器模式
        • 桥模式
        • 组合模式
        • 外观模式
        • 代理模式
        • 责任链模式
        • 观察者模式
        • 策略模式
        • 模板方法模式
      • Python技巧100解
      • Effective Python
    • 企业应用
      • DevOps
      • Web服务-Nginx
      • 网站发布
      • 源码管理
        • Git
        • GitHub
        • GitLab
      • Golang
      • Docker
      • Ubuntu
    • 项目实战
    • 就业相关
    • 其他爱好
      • 科技单词100解答
Powered by GitBook
On this page
  • 基本使用
  • 源码分析
  1. python
  2. 爬虫相关

urllib3源码泛读

PreviousurllibNext数据解析

Last updated 5 years ago

urllib3是一个功能强大,方便使用,Python实现的HTTP客户端

  • 英文官方:

  • 官方中文:

  • 源码链接:

基本使用

import urllib3
import json

http = urllib3.PoolManager()
r = http.request('GET', 'http://httpbin.org/get', fields={'key': 'value'})
print(r.status)
print(json.loads(r.data.decode('utf-8')))
print(r.headers)

源码分析

分析__init__.py就可以得出对外提供的功能

__all__ = (
    'HTTPConnectionPool',   # http模式连接池
    'HTTPSConnectionPool',  # https模式连接池
    'PoolManager',          # 池管理类,self.poos映射类型,保存连接信息
    'ProxyManager',         # 行为同PoolManager
    'HTTPResponse',         # 返回对象
    'Retry',                # 精细化控制重试和重定向 retries=Retry(3, redirect=2)
    'Timeout',              # 精细化控制超时 timeout=Timeout(connect=1.0, read=2.0)
    'add_stderr_logger',    # 修改默认日志的级别
    'connection_from_url',  # 返回HTTPConnectionPool或HTTPSConnectionPool实例
    'disable_warnings',     # 禁用warnings
    'encode_multipart_formdata',    # dict 转换成 form-data
    'get_host',             # Deprecated. Use :func:`parse_url` instead
    'make_headers',         # 生成request headers 快捷函数
    'proxy_from_url',       # 返回ProxyManager对象
)
  • Retry,Timeout 整数封装成附加其他功效的简单功能类

  • HTTPResponse 对返回数据的Model封装

PoolManager与RequestMethods

主干类的层次结构

https://urllib3.readthedocs.io/en/latest/index.html
https://s0urllib30readthedocs0io.icopy.site/en/latest/index.html
https://github.com/urllib3/urllib3