Сохранить данные парса в CSV файл
Товарищи, доброго времени суток. Помогите, пожалуйста, сохранить результат парса в файл csv. Имеется функция:
def parse_page(self, text): soup = bs4.BeautifulSoup(text, "lxml") container_port = soup.find("table", class_="port") tr_list = container_port.find_all("tr") for tr in tr_list: td_list = tr.find_all("td") for td in td_list: line = (str(td.text)).strip() print(line, end=";") print("\n") Результат принта:
0;tcp;trojan;REx;Trojans; 0;tcp,udp;;Reserved;IANA; 1;udp;tcpmux;TCP Port Service Multiplexer (IANA registered) Нужно всё это сохранить в CSV с разделителем ; Я в этом деле новичок, прошу помощи, большое спасибо.
Отслеживать
задан 22 июн 2021 в 22:20
Alex Rebell Alex Rebell
242 1 1 серебряный знак 15 15 бронзовых знаков
2 ответа 2
Сортировка: Сброс на вариант по умолчанию
Входного xml/html, к сожалению, не представили. Делал на глаз.
Особо ничего не меняем. В цикле по tr_list все ячейки td из строки tr объединяем в одну строку с разделителем ‘;’ через join(). После, если нужно, печатаем, а после выводим в файл.
def parse_page(self, text, filename='out.csv', delimiter=';'): soup = bs4.BeautifulSoup(text, "lxml") container_port = soup.find("table", class_="port") with open(filename, 'w') as file: tr_list = container_port.find_all("tr") for tr in tr_list: line = delimiter.join([(str(td.text)).strip() for td in tr.find_all("td")]) if line: # Проверка пустой строки print(line) file.write('<>\n'.format(line)) Создайте файл CSV в Python
Высокоскоростная библиотека Python для создания файла CSV. Это профессиональное программное решение для импорта и экспорта XLSX, PDF и многих других форматов с использованием Python.
Aspose.Cells for Python
Overview
Download from NuGet
Open NuGet package manager, search for and install.
You may also use the following command from the Package Manager Console.
Visit our documentation for more details.
Создайте файл CSV, используя Python
Как создать файл CSV? С библиотекой Aspose.Cells for Python via Java вы можете легко создать файл CSV программно с помощью нескольких строк кода. Aspose.Cells for Python способен создавать кроссплатформенные приложения с возможностью создания, изменения, преобразования, рендеринга и печати всех файлов Excel. Python Excel API не только конвертирует форматы электронных таблиц, но также может отображать файлы Excel в виде изображений, PDF, HTML, ODS, CSV, SVG, JSON, WORD, PPT и т. д., что делает его идеальным выбором для обмена документы в отраслевом стандарте форматы.
Как создать CSV в Python
Разработчикам легко создавать, загружать, изменять и преобразовывать файлы CSV в рамках запуска различных приложений отчетности для обработки данных всего за несколько строк кода.
- Импортируйте asposecells в файл кода.
- Создайте экземпляр класса Workbook.
- Доступ к первому рабочему листу рабочей книги.
- Получите нужную ячейку (ячейки) рабочего листа и введите значение в ячейку (ячейки).
- Используйте метод Сохранить, чтобы сохранить книгу как файл CSV.
Пример кода показывает, как создать файл CSV в Python.
import jpype import asposecells jpype.startJVM() from asposecells.api import Workbook, FileFormatType # Create Workbook object. workbook = Workbook(FileFormatType.CSV) # Access the first worksheet of the workbook. worksheet = workbook.getWorksheets().get(0) # Get the desired cell(s) of the worksheet and input the value into the cell(s). worksheet.getCells().get("A1").putValue("ColumnA") worksheet.getCells().get("B1").putValue("ColumnB") worksheet.getCells().get("A2").putValue("ValueA") worksheet.getCells().get("B2").putValue("ValueB") # Save the workbook as CSV file. workbook.save("output.csv") jpype.shutdownJVM()
библиотека Python для создания файла CSV
Существует три варианта установки «Aspose.Cells for Python via Java» в вашу систему. Пожалуйста, выберите тот, который соответствует вашим потребностям, и следуйте пошаговым инструкциям:
- Установите Aspose.Cells for Python via Java в Windows. См. Документация
- Установите Aspose.Cells for Python via Java в Linux. Видеть Документация
- Установите Aspose.Cells for Python via Java в macOS. Видеть Документация
Системные Требования
Aspose.Cells for Python via Java не зависит от платформы API и может использоваться на любой платформе (Windows, Linux и MacOS), просто убедитесь, что в системе установлена Java 1.8 или выше, Python 3,5 или выше.
- Установите Java и добавьте его в переменную окружения PATH, например: PATH=C:\Program Files\Java\jdk1.8.0_131; .
- Установите Aspose.Cells for Python via Java изpypi , используйте команду как: $ pip install aspose-cells .
CSV Формат файла CSV
Файлы с расширением .csv (значения, разделенные запятыми) представляют собой простые текстовые файлы, содержащие записи данных со значениями, разделенными запятыми. Каждая строка в файле CSV — это новая запись из набора записей, содержащихся в файле. Такие файлы формируются, когда предполагается перенос данных из одной системы хранения в другую. Поскольку все приложения умеют распознавать записи через запятую, импорт таких файлов данных в базу данных осуществляется очень удобно. Почти все приложения для работы с электронными таблицами, такие как Microsoft Excel или OpenOffice Calc, могут импортировать CSV без особых усилий. Данные, импортированные из таких файлов, располагаются в ячейках электронной таблицы для представления пользователю.
Другое поддерживаемое создание электронных таблиц
Вы также можете создавать другие форматы Excel Microsoft, в том числе некоторые из перечисленных ниже.
Сохранить заголовки в CSV файл
Как сохранить данные в CSV файл
Всем привет! Есть вот такой простенький парсер для авито. Как можно данные, которые распечатываются.
Pandas — сохранить формат данных при записи в файл csv
При сохранении фрейма и последующей загрузке преобразовывается формат данных. Подскажите как этого.
Сохранить файл в формате CSV
Нужно сохранить информацию в файл CSV. Вопрос: это означает просто записать данные в текстовый файл.
Сохранить таблицу в csv файл
Как можно сохранить таблицу в csv файл? И оператор импорта тоже напишите. Добавлено через 37.
Как читать и писать CSV-файлы в Python
Формат CSV является наиболее часто используемым форматом импорта и экспорта для баз данных и электронных таблиц. В этом руководстве будет подробно рассказано о CSV, а также о модулях и классах, доступных для чтения и записи данных в файлы CSV. Также будет рассмотрен рабочий пример, показывающий, как читать и записывать данные в файл CSV на Python.
Что такое файл CSV?
Файл CSV (значения, разделенные запятыми) позволяет сохранять данные в табличной структуре с расширением .csv. CSV-файлы широко используются в приложениях электронной коммерции, поскольку их очень легко обрабатывать. Некоторые из областей, где они были использованы, включают в себя:
- импорт и экспорт данных клиентов
- импорт и экспорт продукции
- экспорт заказов
- экспорт аналитических отчетов по электронной коммерции
Модули для чтения и записи
Модуль CSV имеет несколько функций и классов, доступных для чтения и записи CSV, и они включают в себя:
- функция csv.reader
- функция csv.writer
- класс csv.Dictwriter
- класс csv.DictReader
csv.reader
Модуль csv.reader принимает следующие параметры:
- csvfile : обычно это объект, который поддерживает протокол итератора и обычно возвращает строку каждый раз, когда вызывается его метод __next__() .
- dialect=’excel’: необязательный параметр, используемый для определения набора параметров, специфичных для определенного диалекта CSV.
- fmtparams : необязательный параметр, который можно использовать для переопределения существующих параметров форматирования.
Вот пример того, как использовать модуль csv.reader.
import csv
with open('example.csv', newline='') as File:
reader = csv.reader(File)
for row in reader:
print(row)
модуль csv.writer
Этот модуль похож на модуль csv.reader и используется для записи данных в CSV. Требуется три параметра:
- csvfile : это может быть любой объект с методом write() .
- dialect = ‘excel’ : необязательный параметр, используемый для определения набора параметров, специфичных для конкретного CSV.
- fmtparam : необязательный параметр, который можно использовать для переопределения существующих параметров форматирования.
Классы DictReader и DictWriter
DictReader и DictWriter — это классы, доступные в Python для чтения и записи в CSV. Хотя они и похожи на функции чтения и записи, эти классы используют объекты словаря для чтения и записи в CSV-файлы.
DictReader
Он создает объект, который отображает прочитанную информацию в словарь, ключи которого задаются параметром fieldnames . Этот параметр является необязательным, но если он не указан в файле, данные первой строки становятся ключами словаря.
import csv
with open('name.csv') as csvfile:
reader = csv.DictReader(csvfile)
for row in reader:
print(row['first_name'], row['last_name'])
DictWriter
Этот класс аналогичен классу DictWriter и выполняет противоположную функцию: запись данных в файл CSV. Класс определяется как csv.DictWriter(csvfile, fieldnames,restval=», extrasaction=’raise’,dialect=’excel’, *args, **kwds)
Параметр fieldnames определяет последовательность ключей, которые определяют порядок, в котором значения в словаре записываются в файл CSV. В отличие от DictReader, этот ключ не является обязательным и должен быть определен во избежание ошибок при записи в CSV.
Диалекты и форматирование
Диалект — это вспомогательный класс, используемый для определения параметров для конкретного экземпляра reader или writer . Диалекты и параметры форматирования должны быть объявлены при выполнении функции чтения или записи.
Есть несколько атрибутов, которые поддерживаются диалектом:
- delimiter: строка, используемая для разделения полей. По умолчанию это ‘,’ .
- double quote: Управляет тем, как должны появляться в кавычках случаи, когда кавычки появляются внутри поля. Может быть True или False.
- escapechar: строка, используемая автором для экранирования разделителя, если в кавычках задано значение QUOTE_NONE .
- lineterminator: строка, используемая для завершения строк, созданных writer . По умолчанию используется значение ‘\r\n’ .
- quotechar: строка, используемая для цитирования полей, содержащих специальные символы. По умолчанию это ‘»‘ .
- skipinitialspace: Если установлено значение True , любые пробелы, следующие сразу за разделителем, игнорируются.
- strict: если установлено значение True , возникает Error при неправильном вводе CSV.
- quoting: определяет, когда следует создавать кавычки при чтении или записи в CSV.
Чтение файла CSV
Давайте посмотрим, как читать CSV-файл, используя вспомогательные модули, которые мы обсуждали выше.
Создайте свой CSV-файл и сохраните его как example.csv. Убедитесь, что он имеет расширение .csv и заполните некоторые данные. Здесь у нас есть CSV-файл, который содержит имена учеников и их оценки.
Ниже приведен код для чтения данных в нашем CSV с использованием функции csv.reader и класса csv.DictReader .
Чтение CSV-файла с помощью csv.reader
import csv