霍夫曼编码:如何在Python中编写二进制数据

3

我尝试过使用struct模块的方法,代码中被注释掉的行就是,但它没有成功。基本上,我有两个选择:我可以逐个编写二进制数据代码(我的代码是长度从3到13位的位序列),或将整个n个字符的字符串(在这种情况下,n = 25000+)转换为二进制数据。但我不知道如何实现这两种方法。 代码:

import heapq
import binascii
import struct

def createFrequencyTupleList(inputFile):
    frequencyDic = {}

    intputFile = open(inputFile, 'r')
    for line in intputFile:
        for char in line:
            if char in frequencyDic.keys():
                frequencyDic[char] += 1
            else:
                frequencyDic[char] = 1

    intputFile.close()
    tupleList = []
    for myKey in frequencyDic:
        tupleList.append((frequencyDic[myKey],myKey))
    return tupleList

def createHuffmanTree(frequencyList):
    heapq.heapify(frequencyList)
    n = len(frequencyList)
    for i in range(1,n):
        left = heapq.heappop(frequencyList)
        right = heapq.heappop(frequencyList)
        newNode = (left[0] + right[0], left, right)
        heapq.heappush(frequencyList, newNode)
    return frequencyList[0]

def printHuffmanTree(myTree, someCode,prefix=''):
    if len(myTree) == 2:
        someCode.append((myTree[1] + "@" + prefix))
    else:
        printHuffmanTree(myTree[1], someCode,prefix + '0')
        printHuffmanTree(myTree[2], someCode,prefix + '1')

def parseCode(char, myCode):
    for k in myCode:
        if char == k[0]:
            return k[2:]


if __name__ == '__main__':
    myList = createFrequencyTupleList('input')
    myHTree = createHuffmanTree(myList)
    myCode = []
    printHuffmanTree(myHTree, myCode)
    inputFile = open('input', 'r')
    outputFile = open('encoded_file2', "w+b")
    asciiString = ''
    n=0
    for line in inputFile:
        for char in line:
            #outputFile.write(parseCode(char, myCode))
            asciiString += parseCode(char, myCode)
            n += len(parseCode(char, myCode))
    #values = asciiString
    #print n
    #s = struct.Struct('25216s')
    #packed_data = s.pack(values)
    #print packed_data
    inputFile.close()
    #outputFile.write(packed_data)
    outputFile.close()
1个回答

4
您正在寻找这个内容:
packed_data = ''.join(chr(int(asciiString[i:i+8], 2)) 
                         for i in range(0, len(asciiString), 8))

每次会从asciiString中取出8个比特位,将其解释为一个整数,并输出相应的字节。但是要注意,该方法要求asciiString的长度为8的倍数才能正确工作,否则你需要在最后几个真实的比特位之前插入零比特位。
因此,你需要在某处存储最后一个字节中的比特数,这样当你获取它们返回时,就知道要忽略这些比特位,而不是将它们解释为零。你可以尝试:
packed_data = chr(len(asciiString) % 8) + packed_data

然后当您阅读它时:
packed_input = coded_file.read()
last_byte_length, packed_input, last_byte = (packed_input[0], 
                                             packed_input[1:-1], 
                                             packed_input[-1])
if not last_byte_length: last_byte_length = 8
ascii_input = ''.join(chain((bin(ord(byte))[2:].zfill(8) for byte in packed_input),
                      tuple(bin(ord(last_byte))[2:].zfill(last_byte_length),)))
# OR
# ascii_input = ''.join(chain(('{0:0=8b}'.format(byte) for byte in packed_input),
#                       tuple(('{0:0=' + str(last_byte_length) + '8b}').format(last_byte),)))

编辑:您需要从bin()返回的字符串中去掉“0b”,或者在2.6或更新版本上,最好使用我添加的新的备用版本,它们使用字符串格式化而不是bin()、切片和zfill()
编辑:感谢eryksun,使用链可以避免复制ASCII字符串。此外,在bin()版本中需要调用ord(byte)

我认为这是一种改进。在Python 3中,您不使用b''类型来存储文本,而是用于存储二进制数据,因此这是完全合理的。为什么要在二进制数据上调用ord?您不会这样做,而是在字符上调用它。单个字节的二进制数据最容易表示为整数,这就是Python 3所做的。 - agf
所有支持'{0}'.format()的Python版本都支持嵌套版本吗?我知道不是所有接受'{0}'.format()的版本都支持'{}'.format() - agf
非常感谢,翻译很准确,但对我来说也很难理解。我不明白为什么编写二进制数据如此复杂... - ratsimihah

网页内容由stack overflow 提供, 点击上面的
可以查看英文原文,
原文链接