Pandas: поиск списка листов в файле Excel

Вы должны явно указать второй параметр (имя листа) как None. нравится:

 df = pandas.read_excel("/yourPath/FileName.xlsx", None);

«df» - это все листы как словарь DataFrames, вы можете проверить это, выполнив это:

df.keys()

результат такой:

[u'201610', u'201601', u'201701', u'201702', u'201703', u'201704', u'201705', u'201706', u'201612', u'fund', u'201603', u'201602', u'201605', u'201607', u'201606', u'201608', u'201512', u'201611', u'201604']

см. pandas doc для получения дополнительных сведений: https://pandas.pydata.org/pandas-docs/stable/generated/pandas.read_excel.html

Это самый быстрый способ, который я нашел, вдохновленный ответом @divingTobi. Все ответы, основанные на xlrd, openpyxl или pandas, для меня медленны, поскольку все они сначала загружают весь файл.

from zipfile import ZipFile
from bs4 import BeautifulSoup  # you also need to install "lxml" for the XML parser

with ZipFile(file) as zipped_file:
    summary = zipped_file.open(r'xl/workbook.xml').read()
soup = BeautifulSoup(summary, "xml")
sheets = [sheet.get("name") for sheet in soup.find_all("sheet")]

Основываясь на ответе @dhwanil_shah, вам не нужно извлекать весь файл. С zf.open можно читать напрямую из заархивированного файла.

import xml.etree.ElementTree as ET
import zipfile

def xlsxSheets(f):
    zf = zipfile.ZipFile(f)

    f = zf.open(r'xl/workbook.xml')

    l = f.readline()
    l = f.readline()
    root = ET.fromstring(l)
    sheets=[]
    for c in root.findall('{http://schemas.openxmlformats.org/spreadsheetml/2006/main}sheets/*'):
        sheets.append(c.attrib['name'])
    return sheets

Два последовательных readline уродливы, но их содержимое находится только во второй строке текста. Не нужно разбирать весь файл.

Это решение кажется намного быстрее, чем версия read_excel, и, скорее всего, также быстрее, чем версия с полным извлечением.

Я пробовал xlrd, pandas, openpyxl и другие подобные библиотеки, и все они, похоже, занимают экспоненциальное время по мере увеличения размера файла при чтении всего файла. Другие решения, упомянутые выше, где они использовали on_demand, у меня не работали. Если вы просто хотите сначала получить имена листов, следующая функция работает для файлов xlsx.

def get_sheet_details(file_path):
    sheets = []
    file_name = os.path.splitext(os.path.split(file_path)[-1])[0]
    # Make a temporary directory with the file name
    directory_to_extract_to = os.path.join(settings.MEDIA_ROOT, file_name)
    os.mkdir(directory_to_extract_to)

    # Extract the xlsx file as it is just a zip file
    zip_ref = zipfile.ZipFile(file_path, 'r')
    zip_ref.extractall(directory_to_extract_to)
    zip_ref.close()

    # Open the workbook.xml which is very light and only has meta data, get sheets from it
    path_to_workbook = os.path.join(directory_to_extract_to, 'xl', 'workbook.xml')
    with open(path_to_workbook, 'r') as f:
        xml = f.read()
        dictionary = xmltodict.parse(xml)
        for sheet in dictionary['workbook']['sheets']['sheet']:
            sheet_details = {
                'id': sheet['@sheetId'],
                'name': sheet['@name']
            }
            sheets.append(sheet_details)

    # Delete the extracted files directory
    shutil.rmtree(directory_to_extract_to)
    return sheets

Поскольку все xlsx в основном представляют собой заархивированные файлы, мы извлекаем базовые данные xml и считываем имена листов непосредственно из книги, что занимает долю секунды по сравнению с функциями библиотеки.

Тестирование: (в файле xlsx размером 6 МБ с 4 листами)
Pandas, xlrd: 12 секунд
openpyxl: 24 секунды
Предлагаемый метод: 0,4 ​​секунды

Поскольку моим требованием было просто читать имена листов, ненужные накладные расходы на чтение всего времени меня беспокоили, поэтому я выбрал этот путь.

from openpyxl import load_workbook

sheets = load_workbook(excel_file, read_only=True).sheetnames

Для файла Excel размером 5 МБ, с которым я работаю, load_workbook без флага read_only потребовалось 8,24 с. С флагом read_only это заняло всего 39,6 мс. Если вы по-прежнему хотите использовать библиотеку Excel и не переходить к решению xml, это намного быстрее, чем методы, анализирующие весь файл.

Если ты:

• заботиться о производительности
• не нужны данные в файле во время выполнения.
• хотите использовать обычные библиотеки вместо собственного решения

Ниже был протестирован файл размером ~ 10 МБ xlsx, xlsb.

xlsx, xls

from openpyxl import load_workbook

def get_sheetnames_xlsx(filepath):
    wb = load_workbook(filepath, read_only=True, keep_links=False)
    return wb.sheetnames

Тесты: ~ 14-кратное увеличение скорости

# get_sheetnames_xlsx vs pd.read_excel
225 ms ± 6.21 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)
3.25 s ± 140 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

xlsb

from pyxlsb import open_workbook

def get_sheetnames_xlsb(filepath):
  with open_workbook(filepath) as wb:
     return wb.sheets

Тесты: ~ увеличение скорости в 56 раз

# get_sheetnames_xlsb vs pd.read_excel
96.4 ms ± 1.61 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)
5.36 s ± 162 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

Примечания:

• Это хороший ресурс - http://www.python-excel.org/
• xlrd больше не поддерживается с 2020 г.

1. С параметром load_workbook только для чтения то, что раньше рассматривалось как выполнение, видимое с явным ожиданием в течение многих секунд, произошло за миллисекунды. Однако решение еще можно улучшить.

    import pandas as pd
    from openpyxl import load_workbook
    class ExcelFile:
   
        def __init__(self, **kwargs):
            ........
            .....
            self._SheetNames = list(load_workbook(self._name,read_only=True,keep_links=False).sheetnames)
   

2. Excelfile.parse занимает то же время, что и чтение полного xls с точностью до 10 секунд. Этот результат был получен с операционной системой Windows 10 с указанными ниже версиями пакетов.

    C:\>python -V
    Python 3.9.1
   
    C:\>pip list
    Package         Version
    --------------- -------
    et-xmlfile      1.0.1
    numpy           1.20.2
    openpyxl        3.0.7
    pandas          1.2.3
    pip             21.0.1
    python-dateutil 2.8.1
    pytz            2021.1
    pyxlsb          1.0.8
    setuptools      49.2.1
    six             1.15.0
    xlrd            2.0.1