TCP客户端/服务器相互通信,服务器向客户端发送文件时客户端挂起,使用Python的socket。

17

我想使用Python套接字编写一个简单的TCP服务器。该服务器应将图像发送给连接的客户端,客户端应接收该图像。但是,目前客户端仅接收到部分图像,并且我甚至无法打开它。

服务器是基于`select`实现多客户端的,但这里不是问题所在。我认为问题出在发送图像上。

我希望"协议"在这里非常简单。

SERVER                   CLIENT
               GET
       <----------------
              IMAGE
       ----------------->
      END OF COMMUNICATION

因此客户端只能向服务器发送“GET”消息,服务器收到“GET”字符串后,应立即将整个图像发送给客户端。这就是通信的全部内容。

server.py

#!/usr/bin/env python

import random
import socket, select
from time import gmtime, strftime

image = 'image.png'

HOST = '127.0.0.1'
PORT = 6666

connected_clients_sockets = []

server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)

server_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
server_socket.bind((HOST, PORT))
server_socket.listen(10)

connected_clients_sockets.append(server_socket)

while True:

    read_sockets, write_sockets, error_sockets = select.select(connected_clients_sockets, [], [])

    for sock in read_sockets:

        if sock == server_socket:

            sockfd, client_address = server_socket.accept()
            connected_clients_sockets.append(sockfd)

        else:
            try:
                data = sock.recv(4096)
                bytes = open(image).read()

                if data:
                    sock.send(bytes)

            except:
                sock.close()
                connected_clients_sockets.remove(sock)
                continue

server_socket.close()

客户端.py

#!/usr/bin/env python

import socket
import sys

HOST = '127.0.0.1'
PORT = 6666

sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
server_address = (HOST, PORT)
sock.connect(server_address)

try:

    sock.sendall("GET")

    while True:

        myfile = open('imagefromserv.png', 'w')

        while True:
            data = sock.recv(4096)
            if not data:
                break
            myfile.write(data)
        myfile.close()

finally:
    sock.close()

我正在最新的Ubuntu上使用Python 2.7。

------------------------------------------------------------------------------------------------------------------------------------ 编辑 ------------------------------------------------------------------------------------------------------------------------------------

在评论中得到一个用户的建议后,我尝试实现了一个简单的协议:

CLIENT                                      SERVER
                      GET\r\n   
       ----------------------------------->
                      OK\r\n
       <----------------------------------- 
                   GET_SIZE\r\n
       ----------------------------------->
                    SIZE 1024\r\n
       <-----------------------------------
                   GET_IMG\r\n
       ----------------------------------->
                  IMG_DATA\r\r
       <-----------------------------------

一切似乎都能正常工作,但在图像传输后,我的CPU占用率达到了100%,如top所示。而且...

服务器的输出:

--GET--
--GET_SIZE--
--24518--
--GET_IMG--

客户端输出:

--OK--
--SIZE 24518--
--24518--
4096
8192
12288
16384
20480
24523
Image received successfully

表明客户端成功接收到图像。现在可以吗?我的意思是,我从服务器获取了图像,但我不知道是否正确实现了协议。也许这里有什么可以改进的地方吗?

client.py:

#!/usr/bin/env python

import socket
import sys

HOST = '127.0.0.1'
PORT = 6666

sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
server_address = (HOST, PORT)
sock.connect(server_address)
fname = 'fromserver.png'

try:

    sock.sendall("GET\r\n")
    data = sock.recv(4096)

    if data:
        txt = data.strip()
        print '--%s--' % txt

        if txt == 'OK':

            sock.sendall("GET_SIZE\r\n")
            data = sock.recv(4096)

            if data:
                txt = data.strip()
                print '--%s--' % txt

                if txt.startswith('SIZE'):

                    tmp = txt.split()
                    size = int(tmp[1])

                    print '--%s--' % size

                    sock.sendall("GET_IMG\r\n")

                    myfile = open(fname, 'wb')

                    amount_received = 0
                    while amount_received < size:
                        data = sock.recv(4096)
                        if not data :
                            break
                        amount_received += len(data)
                        print amount_received

                        txt = data.strip('\r\n')

                        if 'EOF' in str(txt) :
                            print 'Image received successfully'
                            myfile.write(data)
                            myfile.close()
                        else :
                            myfile.write(data)
finally:
    sock.close()

server.py:

    #!/usr/bin/env python

import random
import socket, select
from time import gmtime, strftime

image = 'tux.png'

HOST = '127.0.0.1'
PORT = 6666

connected_clients_sockets = []

server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)

server_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
server_socket.bind((HOST, PORT))
server_socket.listen(10)

connected_clients_sockets.append(server_socket)

while True:

    read_sockets, write_sockets, error_sockets = select.select(connected_clients_sockets, [], [])

    for sock in read_sockets:

        if sock == server_socket:

            sockfd, client_address = server_socket.accept()
            connected_clients_sockets.append(sockfd)

        else:
            try:
                data = sock.recv(4096)

                if data :

                    txt = data.strip()
                    print '--%s--'%txt

                    if txt == 'GET' :
                        sock.sendall('OK\r\n')

                    elif txt == 'GET_SIZE' :

                        with open ('tux.png','rb') as f1:
                            file_size = len(f1.read())
                            f1.seek(0)

                        print '--%s--'%file_size

                        file_size = '%s' % file_size
                        sock.sendall('SIZE %s\r\n' % file_size)

                    elif txt == 'GET_IMG' :
                        with open(image, 'rb') as fp:
                            image_data = fp.read()

                        msg = '%sEOF\r\r' % image_data
                        sock.sendall(msg)
                        print msg

            except:
                sock.close()
                connected_clients_sockets.remove(sock)
                continue

server_socket.close()

或者我应该这样做:

sock.sendall(image_data)
sock.sendall('EOF\r\n')

取而代之:

msg = '%sEOF\r\n' % image_data
sock.sendall(msg)

在客户端?


@DavidSchwartz:我只想使用TCP套接字发送和接收图像 - 就这样,不需要额外的协议。 - yak
那么你的客户端存在一个严重的错误,它发送了字符串“GET”,这不是任何图像的一部分。(老实说,我可以告诉你这个问题是基于多年的经验 -- 你真的需要精确地记录你的协议。请求如何分隔?服务器如何标记数据的结尾?客户端如何识别它?) - David Schwartz
在服务器代码中,使用 sock.sendall(bytes) 而不是 sock.send(bytes) - 这样可以递归地发送整个图像文件。 - VenkatC
@MarkTolonen:按照您的建议修改了代码,但仍无法打开图像。 - yak
@daphtdazz:是的,我可以打开这个文件。有趣的是,问题出在图片上,我检查了另外两张图片,现在一切都正常了。很奇怪。无论如何,谢谢你。 - yak
显示剩余7条评论
5个回答

12

你不小心忘记只使用HTTP和Twisted。

服务器:

from twisted.web.static import File
from twisted.web.resource import Resource
def resource():
    resource = Resource()
    resource.putChild(b"", File(u"xkcd/sandwich.png"))
    return resource

客户:

from filepath import FilePath
from twisted.internet.task import react
from treq import get, content

def main(reactor):
    d = get(b"http://localhost:8080/")
    d.addCallback(content)
    d.addCallback(FilePath(u"image.png").setContent)
    return d

react(main, [])

服务器演示:

(everything) exarkun@baryon:/tmp/demo$ twist web --class server.resource
2017-02-23T21:32:14-0500 [-] Site starting on 8080
2017-02-23T21:32:14-0500 [twisted.web.server.Site#info] Starting factory <twisted.web.server.Site instance at 0x7fd1ef81a8c0>
2017-02-23T21:32:14-0500 [twisted.application.runner._runner.Runner#info] Starting reactor...
2017-02-23T21:33:01-0500 [twisted.python.log#info] "127.0.0.1" - - [24/Feb/2017:02:33:01 +0000] "GET / HTTP/1.1" 200 21489 "-" "-"
^C
2017-02-23T21:33:05-0500 [-] Received SIGINT, shutting down.
2017-02-23T21:33:05-0500 [-] (TCP Port 8080 Closed)
2017-02-23T21:33:05-0500 [twisted.web.server.Site#info] Stopping factory <twisted.web.server.Site instance at 0x7fd1ef81a8c0>
2017-02-23T21:33:05-0500 [-] Main loop terminated.
(everything) exarkun@baryon:/tmp/demo$ 

客户端演示:

(everything) exarkun@baryon:/tmp/demo$ ls -l image.png
ls: cannot access 'image.png': No such file or directory
(everything) exarkun@baryon:/tmp/demo$ python client.py 
(everything) exarkun@baryon:/tmp/demo$ ls -l image.png 
-rwxr-xr-x 1 exarkun exarkun 21489 Feb 23 21:33 image.png
(everything) exarkun@baryon:/tmp/demo$
如果您想了解更多关于如何实现选择循环驱动的网络,请查看Twisted实现

抱歉,这并没有回答我的问题,因为我只想使用套接字。 - yak
好消息 - HTTP是由套接字构成的。 - Jean-Paul Calderone
是的,我知道这些。我知道如何在Python中使用为此任务设计的库。我的问题只涉及套接字。 - yak
1
你的 sockets 模块代码存在太多问题,任何回答都不如“学习如何使用 sockets 后放弃所有代码并重写”来得准确。我并不是要刻意挑毛病,而是想提供帮助。你的问题前提存在太多错误,无法建议简单的增量修复。 - Jean-Paul Calderone
1
当然,发送数据有很多方法。其中一些比其他方法更容易。但是如果没有充分的理由,您可能不应该发明一种全新的发送文件方式。这样做并不是非常简单的事情,在这个问题中我没有看到任何迹象表明需要一种新的方式(例如,没有讨论HTTP为什么不合适)。 - Jean-Paul Calderone

5
您的客户端发送字符串“GET”。您只想发送和接收图像数据,“GET”不是图像数据。
您可能会有其他错误,如果不了解您的协议,很难确定。例如,一方如何知道自己已获取所有图像数据?

我本以为客户端只需发送GET请求即可,这样当服务器收到请求时,就会简单地发送整张图片。就这样,我希望以此实现。然而,似乎并非如此,因为我无法打开图片。 - yak
当服务器接收到"it"时?所以唯一合法发送的内容就是确切的字符串"GET"?文件的结尾如何标记?请务必记录您的协议。如果不指定正确操作是什么,就无法确定服务器是否在执行正确的操作! - David Schwartz

3

3
编辑部分下面的代码看起来对我来说很好。
我完全同意 @David Schwartz 的观点。 如果您想实现协议,必须考虑协议设计方面的许多事情。例如:
  • 如果发送命令,则服务器如何响应
  • 允许哪些命令
  • 为服务器响应实现错误代码等

为此,您可以阅读《TCP/IP和Linux协议实现》,这是一本关于这方面的好书。

另一方面,您可以坚持基础知识并继续使用TCP套接字,我谦虚的建议是您实现一些机制让客户端知道是否具有完整信息,例如:

  • 发送数据的哈希值,然后在客户端中检查哈希值
  • 将信息分成块并发送块数量,然后在客户端中检查接收到了多少块,并在失败的情况下重新请求图像
  • 或者上述所有操作

-3

这真的很奇怪。我尝试了两张不同的图片,代码可行。问题出在图片上。


你完全错了!你的代码只能靠运气工作,有时候它会……直到它不行为止。 - David Schwartz
@DavidSchwartz:但为什么?我不明白,请解释。 - yak
阅读我的评论。你从未设计过协议,因此无法知道协议是否可靠。你会审查什么?如果没有协议,你如何确定代码是否正确实现了协议? - David Schwartz
@DavidSchwartz:我尝试过了,但是发送图像部分仍然有问题(请查看我的编辑)。你能帮忙吗? - yak
@DavidSchwartz:还有一个问题。如果我使用UDP而不是TCP,我就不需要设计协议了吗?我理解得对吗? - yak
显示剩余6条评论

网页内容由stack overflow 提供, 点击上面的
可以查看英文原文,
原文链接