#!/usr/bin env python
import socket
host="www.baidu.com"
se=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
se.connect((host,80))
se.send("GET / HTTP/1.1
")
se.send("Accept:text/html,application/xhtml+xml,*/*;q=0.8
")
#se.send("Accept-Encoding:gzip,deflate,sdch
")
se.send("Accept-Language:zh-CN,zh;q=0.8,en;q=0.6
")
se.send("Cache-Control:max-age=0
")
se.send("Connection:keep-alive
")
se.send("Host:"+host+"
")
se.send("Referer:http://www.baidu.com/
")
se.send("user-agent: Googlebot
")
print se.recv(1024)
代码运行正常，但是发现一个比较重要的问题,运行结果只返回了HTTP的头部信息，网页的内容则没有被返回。网上查找了很多资料，一无所获,经过一夜的思考，突然想到了一个问题，有可能我请求的资源非常大，一个网络的IP包的大小，它是受很多因素制约的，最典型的便是MTU（最大传输单元），那么会不会我请求的数据被分割了，HTTP的头部信息只是一部分，其它数据还在传输或者缓冲区呢？于是做了这样一个遍历:
while True: buf = se.recv(1024) if not len(buf): break print buf
这样发现所有请求的数据均被返回了，看来要想做好网络编程，深入理解TCP/IP协议是非常必要的。
下载本文