Как удалить строку в csv файле python

CSV файлы часто содержат тысячи или десятки тысяч строк данных, включая ненужные или некорректные записи. Эффективное удаление таких строк критично для корректного анализа и обработки информации, особенно при работе с финансовыми, медицинскими или логистическими данными.

Python предоставляет несколько инструментов для работы с CSV, включая встроенный модуль csv и стороннюю библиотеку pandas. Для удаления строк по конкретным условиям лучше использовать pandas, так как она позволяет фильтровать данные по значениям столбцов, индексам или сложным логическим условиям без ручного обхода каждой строки.

Практическая рекомендация: перед удалением строк создавайте резервную копию файла или используйте метод DataFrame.copy(), чтобы избежать потери данных. Для больших файлов стоит обрабатывать CSV пакетами с помощью параметра chunksize в pandas.read_csv(), что снижает нагрузку на память и ускоряет выполнение скрипта.

Удаление строк по критериям, например, пустые значения, дубликаты или значения за пределами допустимого диапазона, позволяет подготовить данные к дальнейшему анализу, построению моделей или визуализации без ошибок и пропусков. Такой подход делает обработку данных более структурированной и воспроизводимой.

Удаление строк по индексу с использованием модуля csv

Для удаления строк по индексу с помощью модуля csv необходимо сначала прочитать весь файл в память, исключая строки с указанными индексами, а затем перезаписать файл. Модуль csv не поддерживает удаление данных напрямую, поэтому обработка происходит через создание временной структуры.

Пример: удалить строки с индексами 1 и 3 из файла data.csv:

Код:

import csv

indexes_to_remove = {1, 3}

with open(‘data.csv’, ‘r’, newline=», encoding=’utf-8′) as infile:

reader = list(csv.reader(infile))

filtered_rows = [row for i, row in enumerate(reader) if i not in indexes_to_remove]

with open(‘data.csv’, ‘w’, newline=», encoding=’utf-8′) as outfile:

writer = csv.writer(outfile)

writer.writerows(filtered_rows)

Обратите внимание на использование set для индексов – проверка происходит быстрее при больших файлах. Список filtered_rows сохраняет порядок строк, что важно для сохранения структуры данных.

Для больших CSV-файлов рекомендуется использовать генератор вместо полной загрузки в память:

Код с генератором:

with open(‘data.csv’, ‘r’, newline=», encoding=’utf-8′) as infile, open(‘temp.csv’, ‘w’, newline=», encoding=’utf-8′) as outfile:

reader = csv.reader(infile)

writer = csv.writer(outfile)

for i, row in enumerate(reader):

if i not in indexes_to_remove:

writer.writerow(row)

После выполнения генераторного метода файл temp.csv можно переименовать в исходное имя, чтобы заменить оригинальный CSV. Этот способ минимизирует использование памяти и позволяет обрабатывать файлы с миллионами строк.

Фильтрация строк по значению конкретного столбца

Для точечной фильтрации строк CSV-файла используется библиотека pandas. Основная идея – выбрать только те строки, где значение определённого столбца совпадает с заданным условием.

Пример: у нас есть CSV-файл data.csv с колонками id, имя, возраст и город. Нужно оставить строки, где город равен «Москва».

Код на Python:

import pandas as pd
df = pd.read_csv('data.csv')
filtered_df = df[df['город'] == 'Москва']
filtered_df.to_csv('filtered_data.csv', index=False)

В результате формируется CSV, содержащий только строки с городом Москва.

Для сложных условий можно использовать логические операторы:

filtered_df = df[(df['город'] == 'Москва') & (df['возраст'] > 25)]

Таблица до фильтрации:

Таблица после фильтрации по город == 'Москва':

Рекомендации:

• Использовать метод query() для более читаемых условий: df.query("город == 'Москва' and возраст > 25").
• Проверять уникальные значения столбца через df['город'].unique(), чтобы избежать опечаток в фильтре.
• Сохранять результат в новый файл, чтобы не потерять исходные данные.

Пропуск пустых или некорректных строк при чтении CSV

При работе с CSV-файлами пустые строки могут вызвать ошибки при обработке данных. Для их пропуска в Python используется модуль csv с проверкой каждой строки на содержание значений. Например, конструкция if any(row): пропускает полностью пустые строки.

Некорректные строки могут содержать меньше или больше столбцов, чем задано в заголовке. Для их фильтрации применяют проверку длины строки: if len(row) == expected_columns:. Такой подход предотвращает индексные ошибки при доступе к элементам.

При чтении через pandas можно использовать параметр skip_blank_lines=True, который автоматически игнорирует пустые строки. Для строк с несоответствием формата целесообразно применять try-except внутри iterrows() или использовать error_bad_lines=False в старых версиях pandas.

Если необходимо одновременно пропускать пустые строки и строки с неверным количеством колонок, оптимально сочетать проверку any(row) с фильтром по длине:
rows = [row for row in reader if any(row) and len(row) == expected_columns]. Это обеспечивает чистоту данных без потери корректных записей.

При больших файлах рекомендуется читать CSV построчно через DictReader с проверкой ключей, что минимизирует потребление памяти и автоматически пропускает строки с отсутствующими обязательными полями.

Удаление дубликатов строк с помощью pandas

Для работы с CSV-файлами в Python удобно использовать библиотеку pandas. Чтобы удалить полностью идентичные строки, применяется метод drop_duplicates(). Например, после загрузки файла:
import pandas as pd
df = pd.read_csv('data.csv')

дубликаты удаляются командой:

df = df.drop_duplicates(). Это оставляет только уникальные строки, сохраняя первый вариант каждой повторяющейся записи.

Если требуется удалить дубликаты по конкретным столбцам, метод принимает аргумент subset. Например, чтобы проверить дубликаты только по колонкам «Name» и «Email»:
df = df.drop_duplicates(subset=['Name', 'Email']). В этом случае строки с одинаковыми значениями в указанных колонках будут сокращены до одной.

Для управления тем, какая строка сохраняется, используется параметр keep. Значения могут быть: 'first' – оставить первую запись, 'last' – последнюю, False – удалить все дубликаты. Например:
df = df.drop_duplicates(subset=['Name'], keep='last') оставит последнюю запись для каждого имени.

После удаления дубликатов важно сохранить изменения обратно в CSV, чтобы обновленные данные не терялись:

df.to_csv('data_clean.csv', index=False). Такой подход гарантирует, что исходный файл будет очищен без дублирующихся строк, а структура данных останется корректной.

Для больших файлов рекомендуется использовать chunksize при чтении, чтобы обрабатывать данные порциями и экономить оперативную память, особенно если количество дубликатов велико.

Удаление строк, соответствующих нескольким условиям

Для удаления строк из CSV на основе нескольких условий удобно использовать библиотеку pandas. Например, если требуется удалить записи, где столбец «Возраст» меньше 18 и «Город» равен «Москва», применяется фильтр с логическим оператором &:

import pandas as pd
df = pd.read_csv('data.csv')
df_filtered = df[~((df['Возраст'] < 18) & (df['Город'] == 'Москва'))]
df_filtered.to_csv('data_filtered.csv', index=False)

Важно использовать тильду (~) для инвертирования условия, чтобы удалить строки, соответствующие критериям. Логические операторы & и | позволяют комбинировать несколько условий. Скобки обязательны для корректного приоритета операций.

Для строковых условий рекомендуется применять str.contains() с параметром case=False, если требуется игнорировать регистр:

df_filtered = df[~((df['Возраст'] < 18) & (df['Город'].str.contains('Москва', case=False))) ]

При большом объеме данных лучше использовать query(), что ускоряет фильтрацию и упрощает синтаксис:

df_filtered = df.query("not (Возраст < 18 and Город == 'Москва')")

Совет: всегда сохраняйте исходный CSV отдельно, чтобы изменения были обратимыми, особенно при сложных комбинированных фильтрах.

Сохранение изменённого CSV с сохранением кодировки

Пример записи с кодировкой UTF-8:

import csv
with open('output.csv', 'w', newline='', encoding='utf-8') as file:
writer = csv.writer(file)
writer.writerow(['Имя', 'Возраст', 'Город'])
writer.writerows([
['Алексей', 25, 'Москва'],
['Ольга', 30, 'Казань']
])

Рекомендации:

• Использовать newline='' для корректного разделения строк в Windows и Linux.
• Указывать encoding='utf-8' для совместимости с большинством редакторов и Python 3.
• Если исходный CSV в другой кодировке, прочитать его с правильной кодировкой и сохранить в нужной.
• Для удобства работы с заголовками применять csv.DictWriter вместо обычного writer.
• При больших файлах обрабатывать строки по одной, чтобы не перегружать память.

Пример с DictWriter и кодировкой Windows-1251:

import csv
with open('output_cp1251.csv', 'w', newline='', encoding='cp1251') as file:
fieldnames = ['Имя', 'Возраст', 'Город']
writer = csv.DictWriter(file, fieldnames=fieldnames)
writer.writeheader()
writer.writerow({'Имя': 'Иван', 'Возраст': 40, 'Город': 'Санкт-Петербург'})

Соблюдение этих правил предотвращает искажение символов, сохраняет структуру CSV и гарантирует корректное открытие файла в Excel и других редакторах.

Автоматизация удаления строк при обработке больших файлов

При работе с CSV файлами размером свыше 1 ГБ традиционные методы загрузки всего файла в память становятся неэффективными. Для таких случаев используют поэтапную обработку данных и генераторные функции Python.

Рекомендации по автоматизации:

• Использовать модуль csv с функцией DictReader для построчного чтения.
• Применять генераторы и выражения-генераторы для фильтрации строк на лету, не загружая весь файл в память.
• Создавать промежуточный файл и записывать только строки, соответствующие условиям фильтрации.
• Для регулярного удаления строк по определённым условиям (например, пустые поля или дубликаты) использовать встроенные функции filter() и lambda.
• При больших объемах данных (10–50 млн строк) рекомендуется использовать модуль pandas с параметром chunksize для чтения файла частями.

Пример алгоритма обработки больших CSV файлов:

1. Открыть исходный файл в режиме чтения.
2. Открыть новый CSV файл в режиме записи.
3. Считать данные порциями по 100000–500000 строк с использованием chunksize или генератора.
4. Фильтровать строки по заданным критериям.
5. Записать отфильтрованные строки в новый файл.
6. Повторять до конца исходного файла.
7. Заменить исходный файл новым после завершения обработки.

Дополнительно:

• Для ускорения работы с очень большими файлами можно использовать библиотеку dask, которая поддерживает параллельную обработку CSV.
• Рекомендуется вести лог удаления строк с указанием причины фильтрации для аудита и последующей проверки данных.
• При работе на сервере с ограниченной памятью оптимизировать размер порции чтения для предотвращения ошибок MemoryError.

Эта схема позволяет автоматически и безопасно удалять строки из CSV без перегрузки памяти, обеспечивая масштабируемость обработки до десятков миллионов строк.

Вопрос-ответ:

Какие библиотеки Python можно использовать для удаления строк из CSV файла?

Наиболее часто применяются встроенная библиотека csv и библиотека pandas. С помощью csv можно открыть файл, прочитать его содержимое, отфильтровать строки и записать результат обратно. Pandas позволяет загрузить CSV в DataFrame, применить условия фильтрации и сохранить обновлённый файл с минимальным количеством кода.

Как удалить строки по значению конкретного столбца?

С pandas это делается через логическую фильтрацию: создаётся условие, которое возвращает только те строки, где значение столбца не соответствует заданному. Например, df = df[df[‘column_name’] != ‘значение’] оставит все строки, кроме тех, где столбец column_name равен ‘значение’. После фильтрации результат можно записать обратно в CSV с помощью метода to_csv.

Можно ли удалять строки из CSV, не загружая весь файл в память?

Да, с использованием модуля csv можно обрабатывать файл построчно. Для этого открывают исходный CSV для чтения и новый файл для записи, затем читают строки по одной, проверяют условие удаления и записывают только подходящие строки. Такой подход позволяет работать с большими файлами без перегрузки памяти.

Как сохранить изменения в том же файле после удаления строк?

При использовании pandas можно записать DataFrame в тот же файл, указав его имя в методе to_csv, например: df.to_csv(‘имя_файла.csv’, index=False). В случае csv-модуля создают временный файл с отфильтрованными данными, а затем заменяют исходный файл новым. Важно учитывать, что исходный файл будет перезаписан, поэтому при необходимости стоит сделать резервную копию.