2.5.1 动态数组

NumPy的数组对象不能像列表一样动态地改变其大小，在做数据采集的时候，需要频繁地往数组中添加数据时很不方便。而Python标准库中的array数组提供了动态分配内存的功能，而且它和NumPy数组一样直接将数值的二进制数据保存在一块内存中，因此我们可以先用array数组收集数据，然后通过np.frombuffer( )将array数组的数据内存直接转换为NumPy数组。下面是一个例子：

    import numpy as np
    from array import array
    a = array("d", [1,2,3,4])   # 创建一个array数组
    # 通过np.frombuffer( )创建一个和a共享内存的NumPy数组
    na = np.frombuffer(a, dtype=np.float) 
    print a
    print na
    na[1] = 20  # 修改NumPy数组中下标为1的元素
    print a
    array('d', [1.0, 2.0, 3.0, 4.0])
    [ 1.  2.  3.  4.]
    array('d', [1.0, 20.0, 3.0, 4.0])

array数组只支持一维，如果我们需要采集多个通道的数据，可以将这些数据依次添加进array数组，然后通过reshape( )方法将np.frombuffer( )所创建的NumPy数组改为二维数组。在下面的例子中，我们通过array数组buf采集两个通道的数据，数据采集完毕之后，通过np.frombuffer( )将其转换为NumPy数组，并通过reshape( )将其形状改为二维数组：

    import math
    buf = array("d")
    for i in range(5):
        buf.append(math.sin(i*
0.1)) 
        buf.append(math.cos(i*
0.1))
    
    data = np.frombuffer(buf, dtype=np.float).reshape(-1, 2)
    print data
    [[ 0.          1.        ]
     [ 0.09983342  0.99500417]
     [ 0.19866933  0.98006658]
     [ 0.29552021  0.95533649]
     [ 0.38941834  0.92106099]]

下面是Python中实现array对象动态添加元素的算法：

●array对象拥有一块用于保存数据的内存，其长度通常比数组中的所有数据的字节数要长。

●当往array中添加数据时，如果数据内存中还有空余位置，则直接写入空余位置。

●当数据内存中无空余位置时，则重新分配一块更大的数据内存，并将当前的数据都复制到这块新的数据内存中，而旧的数据内存则被释放掉。

根据上述算法可知，只要往array中添加元素，其数据内存的地址就可能发生改变。在此之前通过np.frombuffer( )创建的数组仍然引用旧的数据内存，从而成为“野指针”。下面的代码演示了这个过程。其中array.buffer_info( )获得数据内存的地址以及其中有效数据的个数。

    a = array("d")
    for i in range(10):
        a.append(i)
        if i == 2:
            na = np.frombuffer(a, dtype=float)
        print a.buffer_info( ),
        if i == 4:
            print
    (83088512, 1) (83088512, 2) (83088512, 3) (83088512, 4) (31531848, 5)
    (31531848, 6) (31531848, 7) (31531848, 8) (34405776, 9) (34405776, 10)

由上面的结果可知，当数组a的长度为5和9时，数据内存被重新分配了。而na数组是在a的长度为3时通过np.frombuffer( )得到的，因此它的数据指针已经成为野指针。ndarray.ctypes.data可以获得数组的数据内存的地址，可以看出na的数据内存地址仍然是a在重新分配之前的地址，而na中的数据也变成了随机的无效数据。

    print na.ctypes.data
    print na
    83088512
    [  2.11777767e+161   6.24020631e-085   8.82069697e+199]

由上面的分析可知，每次动态数组的长度改变时，我们都需要重新调用np.frombuffer( )以创建一个新的ndarray数组对象来访问其中的数据。

当每个通道的数据类型不同时，就不能采用array.array对象了。这时可以使用bytearray收集数据。bytearray是字节数组，因此首先需要通过struct模块将Python的数值转换成其字节表示形式。如果数据来自二进制文件或硬件，那么很可能得到的已经是字节数据了，这个步骤可以省略。下面是使用bytearray进行数据采集的例子：

bytearray对象的+=运算与其extend( )方法的功能相同，但+=的运行速度要比extend( )快许多，读者可以使用%timeit自行验证。

    import struct
    buf = bytearray( )
    for i in range(5):
        buf += struct.pack("=hdd", i, math.sin(i*
0.1), math.cos(i*
0.1)) ❶
    
    dtype = np.dtype({"names":["id","sin","cos"], "formats":["h", "d", "d"]}) ❷
    data = np.frombuffer(buf, dtype=dtype) ❸
    print data
    [(0, 0.0, 1.0) (1, 0.09983341664682815, 0.9950041652780258)
     (2, 0.19866933079506122, 0.9800665778412416)
     (3, 0.2955202066613396, 0.955336489125606)
     (4, 0.3894183423086505, 0.9210609940028851)]

❶采集三个通道的数据，其中通道1是短整型数，其类型符号为“h”，通道2和3为双精度浮点数，其类型符号为“d”。类型格式字符串中的“=”表示输出的字节数据不进行内存对齐。即一条数据的字节数为2+8+8=18，如果没有“=”，那么一条数据的字节数为8+8+8=24。

❷定义一个dtype对象来表示一条数据的结构，dtype对象默认不进行内存对齐。如果采集数据用的bytearray中的数据是内存对齐的话，只需要设置dtype( )的align参数为True即可。

❸最后通过np.frombuffer( )将bytearray转换为NumPy的结构数组。然后就可以通过data["id"]、data["sin"]和data["cos"]访问这三个通道的数据了。

上一章目录下一章