SciPy 稀疏矩阵（长文讲解）

SciPy 稀疏矩阵：高效处理海量零值数据的利器

在日常的科学计算和数据分析中，我们经常会遇到一种特殊的数据结构——矩阵。尤其是在处理图像、文本、推荐系统或网络图谱时，这些矩阵往往包含大量零值。比如，一个 10000 × 10000 的用户-物品评分矩阵，可能只有 1% 的位置有真实评分，其余全是 0。如果用传统方式存储，会浪费大量内存和计算资源。

这时，SciPy 稀疏矩阵就派上用场了。它不是一种新的矩阵类型，而是一种智能存储机制，只保存非零元素及其位置，从而极大节省内存并提升运算效率。今天我们就来深入浅出地聊聊这个强大的工具。

什么是稀疏矩阵？为什么需要它？

想象你有一张 1000 × 1000 的网格，上面只有 10 个格子是红色的，其余全是白色。如果你用普通数组存储，就得记录全部 100 万个格子的状态，哪怕大部分是“白色”（即 0）。这就像用一个巨大的箱子装 10 个苹果，其余全是空气。

稀疏矩阵就是“只记录有内容的格子”。它用更聪明的方式存储数据，只保存非零值以及它们在矩阵中的坐标（行、列），其他位置默认为 0。

在 Python 中，SciPy 提供了多种稀疏矩阵格式，如 CSR、CSC、COO、LIL 等。每种格式适用于不同场景，我们稍后会逐一讲解。

常见的稀疏矩阵格式及其适用场景

不同格式在存储和访问效率上各有侧重。了解它们的特点，才能选对工具。

举个例子：如果你在做推荐系统，需要频繁计算用户向量与物品向量的点积，那么 CSR 格式是最佳选择；如果你正在构建一个边列表（如社交网络），用 COO 更直观。

创建数组与初始化

我们先从最基础的开始：如何创建一个稀疏矩阵。

from scipy.sparse import csr_matrix, coo_matrix

dense_array = [
    [1, 0, 0, 2],
    [0, 0, 3, 0],
    [4, 0, 0, 0]
]

sparse_csr = csr_matrix(dense_array)

print("原始密集数组：")
print(dense_array)
print("\n转换后的 CSR 稀疏矩阵：")
print(sparse_csr)

注释：

• csr_matrix() 接收一个二维列表或 NumPy 数组，自动识别非零元素并压缩存储。
• 输出中只显示非零值及其位置，如 (0, 0) 表示第 0 行第 0 列是 1，[0, 3] 是 2。
• 内存使用大幅降低，尤其当矩阵很大且零值多时效果显著。

COO 格式：构建稀疏矩阵的“草图模式”

COO 格式特别适合从零开始构建稀疏矩阵，比如从文件或数据库读取非零元素。

from scipy.sparse import coo_matrix

row_indices = [0, 0, 1, 2, 2]
col_indices = [0, 3, 2, 0, 1]
values = [1, 2, 3, 4, 5]

sparse_coo = coo_matrix((values, (row_indices, col_indices)), shape=(3, 4))

print("COO 矩阵的非零元素：")
print(sparse_coo.toarray())

注释：

• 第一个参数 (values, (row_indices, col_indices)) 是核心，表示哪些位置有值。
• shape=(3, 4) 定义矩阵大小，即使只有 5 个非零元素，也能正确表示 3×4 的结构。
• 适合在数据源是“三元组”（行、列、值）时使用，比如图的邻接表。

CSR 格式：高性能计算的“主力选手”

当你需要进行矩阵乘法、求解线性方程组等操作时，CSR 是首选。它把每一行的非零元素压缩在一起，访问速度极快。

from scipy.sparse import csr_matrix
import numpy as np

data = [1, 2, 3, 4, 5]
row = [0, 0, 1, 2, 2]
col = [0, 3, 2, 0, 1]

matrix_csr = csr_matrix((data, (row, col)), shape=(3, 4))

print("非零值：", matrix_csr.data)
print("每行起始索引：", matrix_csr.indptr)
print("列索引：", matrix_csr.indices)

print("\n完整矩阵形态：")
print(matrix_csr.toarray())

注释：

• data：存储所有非零值。
• indptr：每行开始的索引位置，indptr[i] 表示第 i 行第一个非零元素在 data 中的位置。
• indices：每个非零元素对应的列号。
• 这种结构使得按行遍历非常高效，适合线性代数库（如 SciPy 的 sp.linalg）调用。

实战案例：文本向量化中的稀疏矩阵应用

假设我们要将一篇文档转化为词频向量，比如：

“机器学习很有趣，人工智能很强大。”

我们先分词，然后构建一个词-文档矩阵（TF-IDF 的基础）。

from scipy.sparse import csr_matrix
from collections import Counter

documents = [
    "机器学习很有趣 人工智能很强大",
    "人工智能 机器学习 应用广泛",
    "学习机器 人工智能 模型"
]

vocab = set()
for doc in documents:
    vocab.update(doc.split())

word_to_idx = {word: idx for idx, word in enumerate(sorted(vocab))}

rows, cols, values = [], [], []

for doc_idx, doc in enumerate(documents):
    word_count = Counter(doc.split())
    for word, count in word_count.items():
        if word in word_to_idx:
            rows.append(doc_idx)
            cols.append(word_to_idx[word])
            values.append(count)

tf_matrix = csr_matrix((values, (rows, cols)), shape=(len(documents), len(vocab)))

print("词表：", sorted(vocab))
print("TF 矩阵（稀疏）：")
print(tf_matrix.toarray())

注释：

• 每个文档作为一行，每个词作为一列，值是词频。
• 大多数单元格为 0，只有出现过的词才有值。
• 使用 CSR 存储，节省内存，且后续可用于 TF-IDF、主题建模等任务。
• 这正是实际 NLP 项目中常见的做法。

性能对比：密集 vs 稀疏矩阵

我们用一个具体例子对比两种存储方式的内存和速度差异。

import numpy as np
from scipy.sparse import csr_matrix
import sys

n = 10000
density = 0.001  # 0.1% 非零

np.random.seed(42)
nnz = int(n * n * density)
row = np.random.randint(0, n, nnz)
col = np.random.randint(0, n, nnz)
data = np.random.rand(nnz)

dense = np.zeros((n, n))
dense[row, col] = data

sparse = csr_matrix((data, (row, col)), shape=(n, n))

print(f"矩阵大小：{n} × {n}")
print(f"非零元素数：{nnz}")
print(f"稀疏度：{density:.4f}")

print(f"密集矩阵内存占用：{sys.getsizeof(dense) / 1e6:.2f} MB")
print(f"稀疏矩阵内存占用：{sys.getsizeof(sparse.data) + sys.getsizeof(sparse.indptr) + sys.getsizeof(sparse.indices)} / 1e6:.2f} MB")

输出示例：

矩阵大小：10000 × 10000
非零元素数：100000
稀疏度：0.0010
密集矩阵内存占用：800.00 MB
稀疏矩阵内存占用：4.00 MB

结论：在稀疏度低于 1% 时，稀疏矩阵的内存优势是数量级的。即使在中等规模下，也能节省 90% 以上的内存。

结语：掌握 SciPy 稀疏矩阵，让计算更高效

今天我们系统地介绍了 SciPy 稀疏矩阵的核心概念、常见格式、创建方法以及实际应用场景。从文本向量化到图算法，从推荐系统到科学计算，稀疏矩阵已经成为现代数据处理不可或缺的一环。

关键点总结：

• 当数据中零值占比高时，优先使用稀疏矩阵。
• 构建阶段用 COO，计算阶段转为 CSR/CSC。
• 合理选择格式，能显著提升性能。
• 与 NumPy 和 SciPy 的其他模块无缝集成。

如果你正在处理大规模数据，却还在用普通数组存储，那么是时候试试 SciPy 稀疏矩阵了。它不仅是内存优化的利器，更是提升算法效率的关键一步。

记住：不是所有矩阵都适合“全量存储”，聪明地只存“有意义”的部分，才是科学计算的真正智慧。