Python 3中的Websocket实现

7
尝试为Python3支持的应用程序创建Web前端。该应用程序将需要双向流传输,这听起来是了解WebSocket的好机会。
我的第一反应是使用已有的内容,来自mod-pywebsocket的示例应用程序非常有价值。不幸的是,它们的API似乎不容易扩展,并且它只支持Python2。
在博客圈中寻找时,许多人为之前版本的WebSocket协议编写了自己的WebSocket服务器,但大多数都没有实现安全密钥哈希,因此无法使用。
阅读RFC 6455之后,我决定亲自尝试并得出了以下结果:
#!/usr/bin/env python3

"""
A partial implementation of RFC 6455
http://tools.ietf.org/pdf/rfc6455.pdf
Brian Thorne 2012
"""
  
import socket
import threading
import time
import base64
import hashlib

def calculate_websocket_hash(key):
    magic_websocket_string = b"258EAFA5-E914-47DA-95CA-C5AB0DC85B11"
    result_string = key + magic_websocket_string
    sha1_digest = hashlib.sha1(result_string).digest()
    response_data = base64.encodestring(sha1_digest)
    response_string = response_data.decode('utf8')
    return response_string

def is_bit_set(int_type, offset):
    mask = 1 << offset
    return not 0 == (int_type & mask)

def set_bit(int_type, offset):
    return int_type | (1 << offset)

def bytes_to_int(data):
    # note big-endian is the standard network byte order
    return int.from_bytes(data, byteorder='big')


def pack(data):
    """pack bytes for sending to client"""
    frame_head = bytearray(2)
    
    # set final fragment
    frame_head[0] = set_bit(frame_head[0], 7)
    
    # set opcode 1 = text
    frame_head[0] = set_bit(frame_head[0], 0)
    
    # payload length
    assert len(data) < 126, "haven't implemented that yet"
    frame_head[1] = len(data)
    
    # add data
    frame = frame_head + data.encode('utf-8')
    print(list(hex(b) for b in frame))
    return frame

def receive(s):
    """receive data from client"""
    
    # read the first two bytes
    frame_head = s.recv(2)
    
    # very first bit indicates if this is the final fragment
    print("final fragment: ", is_bit_set(frame_head[0], 7))
    
    # bits 4-7 are the opcode (0x01 -> text)
    print("opcode: ", frame_head[0] & 0x0f)
    
    # mask bit, from client will ALWAYS be 1
    assert is_bit_set(frame_head[1], 7)
    
    # length of payload
    # 7 bits, or 7 bits + 16 bits, or 7 bits + 64 bits
    payload_length = frame_head[1] & 0x7F
    if payload_length == 126:
        raw = s.recv(2)
        payload_length = bytes_to_int(raw)
    elif payload_length == 127:
        raw = s.recv(8)
        payload_length = bytes_to_int(raw)
    print('Payload is {} bytes'.format(payload_length))
    
    """masking key
    All frames sent from the client to the server are masked by a
    32-bit nounce value that is contained within the frame
    """
    masking_key = s.recv(4)
    print("mask: ", masking_key, bytes_to_int(masking_key))
    
    # finally get the payload data:
    masked_data_in = s.recv(payload_length)
    data = bytearray(payload_length)
    
    # The ith byte is the XOR of byte i of the data with
    # masking_key[i % 4]
    for i, b in enumerate(masked_data_in):
        data[i] = b ^ masking_key[i%4]

    return data

def handle(s):
    client_request = s.recv(4096)
    
    # get to the key
    for line in client_request.splitlines():
        if b'Sec-WebSocket-Key:' in line:
            key = line.split(b': ')[1]
            break
    response_string = calculate_websocket_hash(key)
    
    header = '''HTTP/1.1 101 Switching Protocols\r
Upgrade: websocket\r
Connection: Upgrade\r
Sec-WebSocket-Accept: {}\r
\r
'''.format(response_string)
    s.send(header.encode())
    
    # this works
    print(receive(s))
    
    # this doesn't
    s.send(pack('Hello'))
    
    s.close()

s = socket.socket( socket.AF_INET, socket.SOCK_STREAM)
s.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
s.bind(('', 9876))
s.listen(1)

while True:
    t,_ = s.accept()
    threading.Thread(target=handle, args = (t,)).start()

使用这个基本的测试页面(适用于mod-pywebsocket):
<!DOCTYPE html>
<html xmlns="http://www.w3.org/1999/xhtml">
<head>
    <title>Web Socket Example</title>
    <meta charset="UTF-8">
</head>
<body>
    <div id="serveroutput"></div>
    <form id="form">
        <input type="text" value="Hello World!" id="msg" />
        <input type="submit" value="Send" onclick="sendMsg()" />
    </form>
<script>
    var form = document.getElementById('form');
    var msg = document.getElementById('msg');
    var output = document.getElementById('serveroutput');
    var s = new WebSocket("ws://"+window.location.hostname+":9876");
    s.onopen = function(e) {
        console.log("opened");
        out('Connected.');
    }
    s.onclose = function(e) {
        console.log("closed");
        out('Connection closed.');
    }
    s.onmessage = function(e) {
        console.log("got: " + e.data);
        out(e.data);
    }
    form.onsubmit = function(e) {
        e.preventDefault();
        msg.value = '';
        window.scrollTop = window.scrollHeight;
    }
    function sendMsg() {
        s.send(msg.value);
    }
    function out(text) {
        var el = document.createElement('p');
        el.innerHTML = text;
        output.appendChild(el);
    }
    msg.focus();
</script>
</body>
</html>

这段代码接收数据并正确解码,但我无法让发送路径工作。
为了向套接字写入“Hello”进行测试,上述程序计算要写入套接字的字节数为:
['0x81', '0x5', '0x48', '0x65', '0x6c', '0x6c', '0x6f']

这些值与RFC的5.7章节中给出的十六进制值匹配。不幸的是,在Chrome的开发者工具中,该框架从未显示出来。

你有什么想法我缺少了什么?或者有一个目前可用的Python3 WebSocket示例吗?


Tornado支持Websockets和Python 3。http://www.tornadoweb.org/documentation/websocket.html - Thomas K
谢谢,Thomas。不过我想先实现一个独立的版本——这对我来说既是了解协议,也是解决问题。看了一下tornado源代码,我发现服务器向客户端发送了一个头部Sec-WebSocket-Protocol,但是规范说这是可选的。 - Hardbyte
如果客户端请求子协议,服务器应该回显它(始终假设它支持子协议)。未能这样做将导致握手错误,因此这可能与您的消息发送问题无关。 - simonc
我在你的代码中没有发现任何问题。使用Wireshark确认写出的数据与内部记录的数据是否相同,以及在握手和消息开始之间是否有其他内容被写入,这样做是否值得? - simonc
是的,客户端没有请求子协议。但正如@Phillip指出的那样,我在握手回复后发送了额外的空格。 - Hardbyte
如果有其他人感兴趣,我最终进行了相当多的微小更改 - 代码在bitbucket上被跟踪:https://bitbucket.org/hardbyte/python-socket-examples/src/tip/websocket.py - Hardbyte
1个回答

7

当我试图从Safari 6.0.1在Lion上与您的Python代码交流时,我得到了以下错误:

Unexpected LF in Value at ...

在Javascript控制台中,我还从Python代码中获得了一个IndexError异常。当我在Lion上使用Chrome版本24.0.1290.1 dev与您的Python代码交互时,我没有收到任何Javascript错误。在您的Javascript中,onopen()和onclose()方法被调用,但不会调用onmessage()。Python代码没有抛出任何异常,并且似乎已经接收到消息并发送了响应,即您所看到的行为完全相同。由于Safari不喜欢标题中的尾随LF,因此我尝试将其删除。
header = '''HTTP/1.1 101 Switching Protocols\r
Upgrade: websocket\r
Connection: Upgrade\r
Sec-WebSocket-Accept: {}\r
'''.format(response_string)

当我进行这个更改时,Chrome能够看到您的响应消息,即
got: Hello

在javascript控制台中显示出来。

Safari仍然不起作用。现在当我尝试发送消息时,它会引发不同的问题。

websocket.html:36 INVALID_STATE_ERR: DOM Exception 11: An attempt was made to use an object that is not, or is no longer, usable.

没有任何javascript websocket事件处理程序触发,我仍然看到来自Python的IndexError异常。
总之,由于您的头响应中有额外的LF,您的Python代码无法在Chrome中工作。因为与Chrome一起工作的代码在Safari中不起作用,所以仍然有其他问题存在。
更新
我已经解决了潜在的问题,现在示例可以在Safari和Chrome中正常工作。
base64.encodestring()总是向其返回添加一个尾随的\n。这就是Safari抱怨的LF的来源。
在calculate_websocket_hash的返回值上调用.strip()并使用您的原始标题模板,在Safari和Chrome上正确工作。

太棒了,在去除了那个多余的CRLF之后,现在可以在Firefox和Chrome中正常工作了。 - Hardbyte

网页内容由stack overflow 提供, 点击上面的
可以查看英文原文,
原文链接