Python写入CSV列表数据全解析

本篇文章向大家介绍《Python CSV写入列表数据详解》，主要包括，具有一定的参考价值，需要的朋友可以参考一下。

当Python列表作为元素写入CSV文件时，`csv`模块会默认调用`str()`函数将其转换为字符串形式。这意味着列表的文本表示（包含方括号和引号）会被直接写入单元格，而非列表对象本身。读取时，需要额外的解析步骤才能恢复为原始列表结构，直接读取会得到一个字符串。

CSV与Python数据类型转换：列表的特殊处理

在Python中处理CSV文件时，csv模块是标准库中用于读写CSV格式数据的强大工具。然而，当尝试将非字符串数据类型（尤其是Python列表）直接写入CSV单元格时，其行为可能与初学者预期有所不同。理解这种底层转换机制对于确保数据完整性和正确性至关重要。

列表数据写入CSV的内部机制

根据Python csv模块的官方文档，其处理非字符串数据的方式有明确规定：所有非字符串数据（None和str类型除外）在写入之前都会通过str()函数转换为其字符串表示形式。

这意味着，当一个Python列表被传递给csv.writer写入到CSV文件时，它不会以某种特殊的数据结构被嵌入，而是会先调用其内置的str()方法。例如，一个列表['item1', 'item2']在调用str()后会变成字符串"['item1', 'item2']"。这个字符串，包括方括号、引号和逗号，将作为单个文本值被写入CSV文件的相应单元格中。

这种机制确保了CSV文件始终包含纯文本数据，符合CSV格式的本质。然而，这也意味着原始的Python列表对象的数据类型信息在写入过程中丢失了。

示例代码：写入与读取列表数据

让我们通过一个具体的例子来演示这一过程。

import csv
import os

# 1. 准备包含列表的数据
data_to_write = [
    ['Header1', 'Header2', 'ListColumn'],
    ['ValueA', 'ValueB', ['apple', 'banana', 'cherry']],
    ['ValueX', 'ValueY', ['orange', 'grape']]
]

file_name = 'my_data_with_lists.csv'

# 2. 写入CSV文件
print(f"正在将数据写入 {file_name}...")
with open(file_name, 'w', newline='', encoding='utf-8') as csvfile:
    csv_writer = csv.writer(csvfile)
    csv_writer.writerows(data_to_write)
print("写入完成。")

# 3. 外部查看CSV文件内容（模拟）
# 如果你打开my_data_with_lists.csv，你会看到：
# Header1,Header2,ListColumn
# ValueA,ValueB,"['apple', 'banana', 'cherry']"
# ValueX,ValueY,"['orange', 'grape']"
# 注意：列表被双引号包裹，以确保逗号不被误解析为分隔符。

# 4. 从CSV文件读取数据
print(f"\n正在从 {file_name} 读取数据...")
read_data = []
with open(file_name, 'r', newline='', encoding='utf-8') as csvfile:
    csv_reader = csv.reader(csvfile)
    for row in csv_reader:
        read_data.append(row)

print("读取到的原始数据：")
for row in read_data:
    print(row)

# 5. 分析读取到的列表列
print("\n分析列表列的数据类型：")
# 假设列表列是第三列（索引为2）
if len(read_data) > 1: # 确保有数据行
    list_column_header = read_data[0][2]
    first_list_cell = read_data[1][2]
    second_list_cell = read_data[2][2]

    print(f"列表列的标题: {list_column_header}")
    print(f"第一行列表单元格内容: '{first_list_cell}'")
    print(f"第一行列表单元格类型: {type(first_list_cell)}")
    print(f"第二行列表单元格内容: '{second_list_cell}'")
    print(f"第二行列表单元格类型: {type(second_list_cell)}")

# 清理文件
# os.remove(file_name)
# print(f"\n已删除文件: {file_name}")

从上述输出和外部文件查看结果可知，原始的Python列表['apple', 'banana', 'cherry']被写入CSV后，读取回来时是一个字符串"['apple', 'banana', 'cherry']"，其类型为str，而非list。

处理列表数据的最佳实践

由于csv模块的默认行为导致列表类型信息丢失，如果需要在读取时恢复原始列表结构，就需要采取额外的序列化和反序列化步骤。

方法一：使用JSON进行序列化和反序列化（推荐）

将列表转换为JSON字符串是一种通用且健壮的方法，因为它能够正确处理嵌套结构和各种数据类型。

import csv
import json
import os

data_to_write_json = [
    ['Header1', 'Header2', 'ListColumn'],
    ['ValueA', 'ValueB', ['apple', 'banana', 'cherry']],
    ['ValueX', 'ValueY', ['orange', 'grape', {'key': 'value'}]] # 包含更复杂的数据
]

file_name_json = 'my_data_with_json_lists.csv'

# 1. 写入CSV文件，将列表转换为JSON字符串
print(f"\n正在将JSON序列化后的数据写入 {file_name_json}...")
with open(file_name_json, 'w', newline='', encoding='utf-8') as csvfile:
    csv_writer = csv.writer(csvfile)
    csv_writer.writerow(data_to_write_json[0]) # 写入标题行
    for row in data_to_write_json[1:]:
        # 对列表列进行json.dumps序列化
        row_copy = list(row) # 创建副本以避免修改原始数据
        row_copy[2] = json.dumps(row_copy[2])
        csv_writer.writerow(row_copy)
print("写入完成。")

# 2. 从CSV文件读取数据，并反序列化JSON字符串
print(f"\n正在从 {file_name_json} 读取数据并反序列化...")
read_data_json = []
with open(file_name_json, 'r', newline='', encoding='utf-8') as csvfile:
    csv_reader = csv.reader(csvfile)
    header = next(csv_reader) # 读取标题行
    read_data_json.append(header)
    for row in csv_reader:
        # 对列表列进行json.loads反序列化
        row_copy = list(row)
        try:
            row_copy[2] = json.loads(row_copy[2])
        except json.JSONDecodeError:
            # 处理非JSON格式的数据，例如空字符串或错误格式
            row_copy[2] = None # 或保持为字符串，根据需求决定
        read_data_json.append(row_copy)

print("读取并反序列化后的数据：")
for row in read_data_json:
    print(row)

# 3. 验证数据类型
print("\n验证反序列化后的列表列数据类型：")
if len(read_data_json) > 1:
    first_list_cell_parsed = read_data_json[1][2]
    print(f"第一行列表单元格内容: {first_list_cell_parsed}")
    print(f"第一行列表单元格类型: {type(first_list_cell_parsed)}")
    print(f"第一行列表单元格的第一个元素类型: {type(first_list_cell_parsed[0])}")

    second_list_cell_parsed = read_data_json[2][2]
    print(f"第二行列表单元格内容: {second_list_cell_parsed}")
    print(f"第二行列表单元格类型: {type(second_list_cell_parsed)}")
    print(f"第二行列表单元格的最后一个元素类型: {type(second_list_cell_parsed[2])}")

# 清理文件
# os.remove(file_name_json)
# print(f"\n已删除文件: {file_name_json}")

通过json.dumps()和json.loads()，我们可以有效地在CSV中存储和恢复复杂的Python列表结构。

方法二：自定义分隔符（不推荐用于复杂列表）

虽然可以通过自定义分隔符（例如，在列表中使用|作为元素分隔符）来手动拼接和解析字符串，但这种方法不够健壮，容易在列表元素本身包含分隔符时出错，且无法处理嵌套结构或非字符串元素。因此，不推荐用于通用场景。

注意事项

• 数据类型丢失： 直接将列表写入CSV会导致其原始数据类型信息丢失，读取时只能得到字符串。
• 手动解析： 如果不使用JSON等序列化方法，读取回来的字符串需要手动编写解析逻辑（例如，使用eval()或正则表达式），这可能带来安全风险或复杂性。
• eval()的风险： 尽管eval()可以将字符串"['item1', 'item2']"直接转换为Python列表，但它会执行任意Python代码，如果CSV文件来自不可信源，使用eval()可能导致严重的安全漏洞。强烈建议避免在生产环境中使用eval()来解析数据。
• 选择合适的序列化方式： 对于复杂数据结构，JSON是比str()更好的选择，因为它提供了标准化的、可解析的格式。

总结

Python csv模块在写入非字符串对象时，会默认调用对象的str()方法将其转换为字符串。对于列表而言，这意味着其文本表示（如"['item1', 'item2']"）会被写入CSV单元格。为了在读取时恢复列表的原始结构，最佳实践是使用json.dumps()在写入前将列表序列化为JSON字符串，并在读取后使用json.loads()进行反序列化。这种方法既安全又健壮，能够确保复杂数据结构的完整性。

今天带大家了解了的相关知识，希望对你有所帮助；关于文章的技术知识我们会一点点深入介绍，欢迎大家关注golang学习网公众号，一起学习编程~