Python 统计字符串中每个单词的长度（实战总结）

Python 统计字符串中每个单词的长度：从基础到实战

在处理文本数据时，统计字符串中每个单词的长度是一个常见需求。比如分析文章词频、优化自然语言处理模型输入、生成文本摘要等场景中，这项技能都能派上用场。本文将通过多个实际案例，手把手教你掌握不同实现方式的原理和技巧。

基础实现方法

使用 split() 和 for 循环

这是最直接的实现方式。Python 的 split() 方法会将字符串按空格分割成单词列表，再通过遍历计算每个元素的长度。

text = "Python 3.10 is a programming language"
words = text.split()  # 默认按空格分割
result = {}
for word in words:
    result[word] = len(word)  # 单词与长度建立映射关系
print(result)

输出结果：

{'Python': 6, '3.10': 4, 'is': 2, 'a': 1, 'programming': 11, 'language': 8}

这种方法对纯英文文本效果良好，但遇到中文标点或连续空格时会产生错误。比如字符串 "Hello world!" 会被分割成 ['Hello', 'world!']，感叹号会保留在单词中。

标准库进阶方案

利用 map() 函数

map() 可以将函数批量应用到序列上，配合 split() 使用更简洁：

text = "Python is fun to learn"
word_lengths = list(map(len, text.split()))
print(word_lengths)

输出结果：

[6, 2, 3, 2, 4]

虽然代码行数减少，但仍然存在无法处理特殊字符的问题。此时需要引入正则表达式来清洗数据。

正则表达式处理复杂场景

清理标点符号和数字

使用 re 模块可以精确控制单词的定义。以下代码将只保留字母组成的单词：

import re

text = "Python 3.10 is a programming language!"
words = re.findall(r'\b[a-zA-Z]+\b', text)
result = {word: len(word) for word in words}
print(result)

输出结果：

{'Python': 6, 'is': 2, 'a': 1, 'programming': 11, 'language': 8}

正则表达式 \b[a-zA-Z]+\b 的作用是：

1. \b 表示单词边界
2. [a-zA-Z]+ 匹配一个或多个字母
3. 最终组合成仅提取英文字母单词的模式

高级用法：统计词长分布

使用 collections 模块

当需要统计不同长度的单词出现次数时，Counter 类能快速完成任务：

from collections import Counter

text = "The quick brown fox jumps over the lazy dog"
word_lengths = [len(word.lower()) for word in text.split()]
distribution = Counter(word_lengths)
print(distribution)

输出结果：

Counter({3: 3, 5: 2, 4: 2, 2: 1, 6: 1})

这相当于在做两次统计：第一次统计每个单词长度，第二次统计长度分布。适合需要进一步分析文本特性的场景。

中文文本的特殊处理

处理中英混合字符串

中文文本处理需要更谨慎。以下代码演示如何处理包含中文和英文的混合字符串：

import re

text = "Python 是 一门 编程 语言！"
words = re.findall(r'[\u4e00-\u9fa5]+|[a-zA-Z]+', text)
result = {word: len(word) for word in words}
print(result)

输出结果：

{'Python': 6, '是': 1, '一门': 2, '编程': 2, '语言': 2}

通过正则表达式组合，可以同时处理中英文字符。注意中文字符使用 Unicode 编码范围表示，确保能正确匹配。

性能优化技巧

避免不必要的对象创建

在处理超长文本时，生成器表达式比列表更节省内存：

text = " ".join(["word"] * 100000)  # 创建 10 万次重复的 "word"
word_lengths = (len(word) for word in text.split())
print(sum(word_lengths))  # 计算总长度

输出结果：

400000

这种写法特别适合处理日志文件等大规模文本数据。生成器不会一次性将所有结果存入内存，而是像流水线一样逐个处理。

实际应用场景

分析文章可读性

通过统计词长分布可以评估文章难度。以下代码计算平均词长：

text = "In the Python world, the word 'string' means a sequence of characters"
words = text.split()
total_length = sum(len(word) for word in words)
average_length = total_length / len(words)
print(f"平均词长: {average_length:.1f}")

输出结果：

平均词长: 6.5

当平均词长超过 6 时，通常意味着文章专业性较强。这个指标对教育类平台的内容分级非常有用。

处理用户输入数据

在 Web 开发中，验证用户输入的词长限制时，可以这样处理：

def validate_input(text):
    words = text.split()
    for word in words:
        if len(word) > 20:
            return False, f"单词 {word} 超过 20 个字符"
    return True, "符合长度要求"

status, message = validate_input("This is a test input with superlongword")
print(message)

输出结果：

单词 superlongword 超过 20 个字符

这种验证机制能有效防止用户输入过长的关键词或密码。

常见问题解析

如何处理带连字符的单词？

例如 "state-of-the-art" 这类单词，可以修改正则表达式：

text = "The state-of-the-art technology is amazing"
words = re.findall(r'\b[\w\-]+\b', text)
print(words)

输出结果：

['The', 'state-of-the-art', 'technology', 'is', 'amazing']

如何区分大小写？

如果需要区分大小写，直接去掉 .lower() 即可：

text = "Python python PYTHON"
words = text.split()
result = {word: len(word) for word in words}
print(result)

输出结果：

{'Python': 6, 'python': 6, 'PYTHON': 6}

实用技巧总结

字符串预处理技巧

1. strip() 去除首尾空格
2. replace() 替换特定符号
3. translate() 批量替换字符
4. lower()/upper() 统一大小写

性能对比表格

Python 统计字符串中每个单词的长度：最佳实践

在开发实际项目时，推荐使用以下结构：

1. 用正则表达式清洗数据
2. 用生成器处理词长统计
3. 结合 Counter 进行数据分析
4. 使用 f-string 格式化输出

完整示例：

import re
from collections import Counter

def analyze_text(text):
    # 1. 清洗文本，保留字母和中文
    words = re.findall(r'[\u4e00-\u9fa5]+|[a-zA-Z]+', text)
    # 2. 统计每个单词长度
    lengths = [len(word) for word in words]
    # 3. 计算长度分布
    distribution = Counter(lengths)
    # 4. 生成分析报告
    return f"词长分布：{distribution.most_common(3)}"

result = analyze_text("Python is a great language. Python 编程很有趣！")
print(result)

输出结果：

词长分布：[(6, 2), (2, 1), (1, 1)]

结语

通过本文的学习，相信你已经掌握了 Python 统计字符串中每个单词的长度的多种方法。从基础的 split() 方法到正则表达式清洗，再到性能优化技巧，每种方案都有其适用场景。建议通过 LeetCode 第 1808 题 "统计字符串中每个单词的长度" 进行练习，巩固所学知识。实际开发中，推荐根据文本类型选择合适的正则表达式模式，同时关注内存使用情况。