首页>>后端>>Python->python导出excel最多多少条

python导出excel最多多少条

时间:2023-12-11 本站 点击:0

导读:很多朋友问到关于python导出excel最多多少条的相关问题,本文首席CTO笔记就来为大家做个详细解答,供大家参考,希望对大家有所帮助!一起来看看吧!

Python数据统计导出excel

一、数据查询方法(此项可根据实际业务需求更改)

二、数据生成excel

三、发送邮件方法介绍

导出excel如遇到下图报错:

1.排查编码 #coding:utf-8 sys.setdefaultencoding('utf8') 等

2.写入第一行数据的中文字符,或者字符串需要有引号,忽略会报错。

python openpyxl写xlsx最多写多少行

不超过100行

最近要帮做RA的老姐写个合并excel工作表的脚本……源数据是4000+个excel 工作表,分布在9个xlsm文件里,文件内容是中英文混杂的一些数据,需要从每张表中提取需要的部分,分门别类合并到多个大的表里。

寻觅工具

确定任务之后第一步就是找个趁手的库来干活。 Python Excel上列出了xlrd、xlwt、xlutils这几个包,但是

它们都比较老,xlwt甚至不支持07版以后的excel

它们的文档不太友好,都可能需要去读源代码,而老姐的任务比较紧,加上我当时在期末,没有这个时间细读源代码

再一番搜索后我找到了openpyxl,支持07+的excel,一直有人在维护,文档清晰易读,参照Tutorial和API文档很快就能上手,就是它了~

安装

这个很容易,直接pip install openpyxl,呵呵呵~

因为我不需要处理图片,就没有装pillow。

一些考虑

源文件大约一个在1~2MB左右,比较小,所以可以直接读入内存处理。

既然是处理excel,何况他们整个组显然都是win下干活(数据都用excel存了= =,商科的人啊……),这个脚本还是在win下做吧

这个任务完全不需要我对现有的文件做修改!囧……我只要读入、处理、再写出另一个文件就行了

学习使用

嗯,就是打开cmd,然后用python的shell各种玩这个模块来上手……(win下没有装ipython,囧)

做这个小脚本基本上我只需要import两个东西

from openpyxl import Workbookfrom openpyxl import load_workbook

load_workbook顾名思义是把文件导入到内存,Workbook是最基本的一个类,用来在内存里创建文件最后写进磁盘的。

干活

首先我需要导入这个文件

inwb = load_workbook(filename)

得到的就是一个workbook对象

然后我需要创建一个新的文件

outwb = Workbook()

接着在这个新文件里,用create_sheet新建几个工作表,比如

careerSheet = outwb.create_sheet(0, 'career')

就会从头部插入一个叫career的工作表(也就是说用法类似python list的insert)

接下来我需要遍历输入文件的每个工作表,并且按照表名做一些工作(e.g.如果表名不是数字,我不需要处理),openpyxl支持用字典一样的方式通过表名获取工作表,获取一个工作簿的表名的方法是get_sheet_names

for sheetName in inwb.get_sheet_names():    if not sheetName.isdigit():        continue

   sheet = inwb[sheetName]

得到工作表之后,就是按列和行处理了。openpyxl会根据工作表里实际有数据的区域来确定行数和列数,获取行和列的方法是sheet.rows和sheet.columns,它们都可以像list一样用。比如,如果我想跳过数据少于2列的表,可以写

if len(sheet.columns) 2:    continue

如果我想获取这个工作表的前两列,可以写

colA, colB = sheet.columns[:2]

除了用columns和rows来得到这个工作表的行列之外,还可以用excel的单元格编码来获取一个区域,比如

cells = sheet['A1':'B20']

有点像excel自己的函数,可以拉出一块二维的区域~

为了方便处理,遇到一个没有C列的工作表,我要创建一个和A列等长的空的C列出来,那么我可以用sheet.cell这个方法,通过传入单元格编号和添加空值来创建新列。

alen = len(colA)for i in range(1, alen + 1):

   sheet.cell('C%s' % (i)).value = None

注意:excel的单元格命名是从1开始的~

上面的代码也显示出来了,获取单元格的值是用cell.value(可以是左值也可以是右值),它的类型可以是字符串、浮点数、整数、或者时间(datetime.datetime),excel文件里也会生成对应类型的数据。

得到每个单元格的值之后,就可以进行操作了~openpyxl会自 动将字符串用unicode编码,所以字符串都是unicode类型的。

除了逐个逐个单元格用cell.value修改值以外,还可以一行行append到工作表里

sheet.append(strA, dateB, numC)

最后,等新的文件写好,直接用workbook.save保存就行

outwb.save("test.xlsx")

这个会覆盖当前已有的文件,甚至你之前读取到内存的那个文件。

一些要注意的地方

如果要在遍历一列的每个单元格的时候获取当前单元格的在这个column对象里的下标

for idx, cell in enumerate(colA):    # do something...

为了防止获取的数据两端有看不见的空格(excel文件里很常见的坑),记得strip()

如果工作表里的单元格没有数据,openpyxl会让它的值为None,所以如果要基于单元格的值做处理,不能预先假定它的类型,最好用

if not cell.value    continue

之类的语句来先行判断

如果要处理的excel文件里有很多noise,比如当你预期一个单元格是时间的时候,有些表的数据可能是字符串,这时候可以用

if isinstance(cell.value, unicode):    break

之类的语句处理。

win下的cmd似乎不太好设定用utf-8的code page,如果是简体中文的话可以用936(GBK),print的时候会自动从unicode转换到GBK输出到终端。

一些帮忙处理中文问题的小函数

我处理的表有一些超出GBK范围的字符,当我需要把一些信息print出来监控处理进度的时候非常麻烦,好在它们都是可以无视的,我直接用空格替换再print也行,所以加上一些我本来就要替换掉的分隔符,我可以:

# annoying seperatorsdot = u'\u00b7'dash = u'\u2014'emph = u'\u2022'dot2 = u'\u2027'seps = (u'.', dot, dash, emph, dot2)def get_clean_ch_string(chstring):    """Remove annoying seperators from the Chinese string.

   Usage:

       cleanstring = get_clean_ch_string(chstring)    """

   cleanstring = chstring    for sep in seps:

       cleanstring = cleanstring.replace(sep, u' ')    return cleanstring

此外我还有一个需求,是把英文名[空格]中文名分成英文姓、英文名、中文姓、中文名。

首先我需要能把英文和中文分割开,我的办法是用正则匹配,按照常见中英文字符在unicode的范围来套。匹配英文和中文的正则pattern如下:

# regex pattern matching all ascii charactersasciiPattern = ur'[%s]+' % ''.join(chr(i) for i in range(32, 127))# regex pattern matching all common Chinese characters and seporatorschinesePattern = ur'[\u4e00-\u9fff. %s]+' % (''.join(seps))

英文就用ASCII可打印字符的范围替代,常见中文字符的范围是\u4e00-\u9fff,那个seps是前面提到过的超出GBK范围的一些字符。 除了简单的分割,我还需要处理只有中文名没有英文名、只有英文名没有中文名等情况,判断逻辑如下:

def split_name(name):    """Split [English name, Chinese name].

       If one of them is missing, None will be returned instead.

   Usage:

       engName, chName = split_name(name)    """

   matches = re.match('(%s) (%s)' % (asciiPattern, chinesePattern), name)    if matches:  # English name + Chinese name

       return matches.group(1).strip(), matches.group(2).strip()    else:

       matches = re.findall('(%s)' % (chinesePattern), name)

       matches = ''.join(matches).strip()        if matches:  # Chinese name only

           return None, matches        else:  # English name only

           matches = re.findall('(%s)' % (asciiPattern), name)            return ''.join(matches).strip(), None

得到了中文名之后,我需要分割成姓和名,因为任务要求不需要把姓名分割得很明确,我就按照常见的中文名姓名分割方式来分——两个字or三个字的第一个字是姓,四个字的前两个字是姓,名字带分隔符的(少数民族名字)分隔符前是姓(这里用到了前面的get_clean_ch_string函数来移除分隔符),名字再长一些又不带分割符的,假设整个字符串都是名字。(注意英语的first name 指的是名,last name指的是姓,2333)

def split_ch_name(chName):    """Split the Chinese name into first name and last name.

       * If the name is XY or XYZ, X will be returned as the last name.

       * If the name is WXYZ, WX will be returned as the last name.

       * If the name is ...WXYZ, the whole name will be returned

         as the last name.

       * If the name is ..ABC * XYZ..., the part before the seperator

         will be returned as the last name.

   Usage:

       chFirstName, chLastName = split_ch_name(chName)    """

   if len(chName) 4:  # XY or XYZ

       chLastName = chName[0]

       chFirstName = chName[1:]    elif len(chName) == 4:  # WXYZ

       chLastName = chName[:2]

       chFirstName = chName[2:]    else:  # longer

       cleanName = get_clean_ch_string(chName)

       nameParts = cleanName.split()        print u' '.join(nameParts)        if len(nameParts) 2:  # ...WXYZ

           return None, nameParts[0]

       chLastName, chFirstName = nameParts[:2]  # ..ABC * XYZ...

   return chFirstName, chLastName

分割英文名就很简单了,空格分开,第一部分是名,第二部分是姓,其他情况暂时不管就行。

如何使用python将大量数据导出到Excel中的小技巧

何使用python将大量数据导出到Excel中的小技巧

(1) 问题描述:为了更好地展示数据,Excel格式的数据文件往往比文本文件更具有优势,但是具体到python中,该如何导出数据到Excel呢?如果碰到需要导出大量数据又该如何操作呢?本文主要解决以上两个问题。

(2)具体步骤如下:

1.第一步,安装openpyxl,

使用pip install openpyxl即可,但是在windows下安装的是2.2.6版本,但是centos自动安装的是4.1版本,(多谢海哥的提醒)。

写的代码在windows下运行没问题,但centos上却报错了,说是ew=ExcelWriter(workbook=wb)少提供一个参数,于是果断在 237服务器上我已安装2.2.6版本的,问题解决。

pip install openpyxl==2.2.6

2.第二步,哈哈,没有啦,废话不说了,直接上代码,ps,代码中包含xlwt和openpyxl的两个实现版本。

(3)扩展阅读:通过查阅资料,发现网上众说纷纭,总结起来有如下几点:

python Excel相关的操作的module lib有两组,一组是xlrd、xlwt、xlutils,另一组是openpyxl,

但是前一组(xlrd,xlwt)比较老,只能处理由Excel 97-2003 或者Excel 97 以前版本生成的xls格式的excel文件,xlwt甚至不支持07版以后的excel ,这个格式excel文件一般来说,最大只能支持256列或者65536行的excel文件。

因此面对需要导出大量数据到excel的情况,你将有如下三种选择,(1)换一种存储格式,如保存为CSV文件  (2)使用openpyxl—,因为它支持对Excel 2007+ xlsx/xlsm format的处理 (3) win32 COM (Windows only)

当然,我们要直面困难了,为了更好地展示数据给产品和用户,我们依然选择的第二种。

ps,非常lucky,一番搜索后我找到了openpyxl,支持07+的excel,一直有人在维护,文档清晰易读,参照Tutorial和API文档很快就能上手,就是它了~

(4)闲话少说,直接上代码,敬请参考

# coding:utf-8

'''

# 希望对大家有帮助哈,请多提问题

create by yaoyz

date: 2017/01/24

'''

import xlrd

import xlwt

# workbook相关

from openpyxl.workbook import Workbook

# ExcelWriter,封装了很强大的excel写的功能

from openpyxl.writer.excel import ExcelWriter

# 一个eggache的数字转为列字母的方法

from openpyxl.utils import get_column_letter

from openpyxl.reader.excel import load_workbook

class HandleExcel():

'''Excel相关操作类'''

def __init__(self):

self. head_row_labels = [u'学生ID',u'学生姓名',u'联系方式',u'知识点ID',u'知识点名称']

"""

function:

读出txt文件中的每一条记录,把它保存在list中

Param:

filename:  要读出的文件名

Return:

res_list: 返回的记录的list

"""

def read_from_file(self,filename):

res_list=[]

file_obj=open(filename,"r")

for line in file_obj.readlines():

res_list.append(line)

file_obj.close()

return res_list

"""

function:

读出*.xlsx中的每一条记录,把它保存在data_dic中返回

Param:

excel_name:  要读出的文件名

Return:

data_dic: 返回的记录的dict

"""

def read_excel_with_openpyxl(self, excel_name="testexcel2007.xlsx"):

# 读取excel2007文件

wb = load_workbook(filename=excel_name)

# 显示有多少张表

print   "Worksheet range(s):" , wb.get_named_ranges()

print   "Worksheet name(s):" , wb.get_sheet_names()

# 取第一张表

sheetnames = wb.get_sheet_names()

ws = wb.get_sheet_by_name(sheetnames[0])

# 显示表名,表行数,表列数

print   "Work Sheet Titile:" ,ws.title

print   "Work Sheet Rows:" ,ws.get_highest_row()

print   "Work Sheet Cols:" ,ws.get_highest_column()

# 获取读入的excel表格的有多少行,有多少列

row_num=ws.get_highest_row()

col_num=ws.get_highest_column()

print "row_num: ",row_num," col_num: ",col_num

# 建立存储数据的字典

data_dic = {}

sign=1

# 把数据存到字典中

for row in ws.rows:

temp_list=[]

# print "row",row

for cell in row:

print cell.value,

temp_list.append(cell.value)

print ""

data_dic[sign]=temp_list

sign+=1

print data_dic

return data_dic

"""

function:

读出*.xlsx中的每一条记录,把它保存在data_dic中返回

Param:

records: 要保存的,一个包含每一条记录的list

save_excel_name:  保存为的文件名

head_row_stu_arrive_star:

Return:

data_dic: 返回的记录的dict

"""

def write_to_excel_with_openpyxl(self,records,head_row,save_excel_name="save.xlsx"):

# 新建一个workbook

wb = Workbook()

# 新建一个excelWriter

ew = ExcelWriter(workbook=wb)

# 设置文件输出路径与名称

dest_filename = save_excel_name.decode('utf-8')

# 第一个sheet是ws

ws = wb.worksheets[0]

# 设置ws的名称

ws.title = "range names"

# 写第一行,标题行

for h_x in range(1,len(head_row)+1):

h_col=get_column_letter(h_x)

#print h_col

ws.cell('%s%s' % (h_col, 1)).value = '%s' % (head_row[h_x-1])

# 写第二行及其以后的那些行

i = 2

for record in records:

record_list=str(record).strip().split("\t")

for x in range(1,len(record_list)+1):

col = get_column_letter(x)

ws.cell('%s%s' % (col, i)).value = '%s' % (record_list[x-1].decode('utf-8'))

i += 1

# 写文件

ew.save(filename=dest_filename)

"""

function:

测试输出Excel内容

读出Excel文件

Param:

excel_name:  要读出的Excel文件名

Return:

"""

def read_excel(self,excel_name):

workbook=xlrd.open_workbook(excel_name)

print workbook.sheet_names()

# 获取所有sheet

print workbook.sheet_names() # [u'sheet1', u'sheet2']

sheet2_name = workbook.sheet_names()[1]

# 根据sheet索引或者名称获取sheet内容

sheet2 = workbook.sheet_by_index(1) # sheet索引从0开始

sheet2 = workbook.sheet_by_name('Sheet1')

# sheet的名称,行数,列数

print sheet2.name,sheet2.nrows,sheet2.ncols

# 获取整行和整列的值(数组)

rows = sheet2.row_values(3) # 获取第四行内容

cols = sheet2.col_values(2) # 获取第三列内容

print rows

print cols

# 获取单元格内容

print sheet2.cell(1,0).value

print sheet2.cell_value(1,0)

print sheet2.row(1)[0].value

# 获取单元格内容的数据类型

print sheet2.cell(1,0).ctype

# 通过名称获取

return workbook.sheet_by_name(u'Sheet1')

"""

function:

设置单元格样式

Param:

name:  字体名字

height:  字体高度

bold:  是否大写

Return:

style: 返回设置好的格式对象

"""

def set_style(self,name,height,bold=False):

style = xlwt.XFStyle() # 初始化样式

font = xlwt.Font() # 为样式创建字体

font.name = name  # 'Times New Roman'

font.bold = bold

font.color_index = 4

font.height = height

borders= xlwt.Borders()

borders.left= 6

borders.right= 6

borders.top= 6

borders.bottom= 6

style.font = font

style.borders = borders

return style

"""

function:

按照 设置单元格样式  把计算结果由txt转变为Excel存储

Param:

dataset:要保存的结果数据,list存储

Return:

将结果保存为 excel对象中

"""

def write_to_excel(self, dataset,save_excel_name,head_row):

f = xlwt.Workbook()  # 创建工作簿

# 创建第一个sheet:

# sheet1

count=1

sheet1 = f.add_sheet(u'sheet1', cell_overwrite_ok=True)  # 创建sheet

# 首行标题:

for p in  range(len(head_row)):

sheet1.write(0,p,head_row[p],self.set_style('Times New Roman',250,True))

default=self.set_style('Times New Roman',200,False)   # define style out the loop will work

for line in dataset:

row_list=str(line).strip("\n").split("\t")

for pp in  range(len(str(line).strip("\n").split("\t"))):

sheet1.write(count,pp,row_list[pp].decode('utf-8'),default)

count+=1

f.save(save_excel_name)  # 保存文件

def run_main_save_to_excel_with_openpyxl(self):

print "测试读写2007及以后的excel文件xlsx,以方便写入文件更多数据"

print "1. 把txt文件读入到内存中,以list对象存储"

dataset_list=self.read_from_file("test_excel.txt")

'''test use openpyxl to handle EXCEL 2007'''

print "2. 把文件写入到Excel表格中"

head_row_label=self.head_row_labels

save_name="test_openpyxl.xlsx"

self.write_to_excel_with_openpyxl(dataset_list,head_row_label,save_name)

print "3.  执行完毕,由txt格式文件保存为Excel文件的任务"

def run_main_save_to_excel_with_xlwt(self):

print " 4. 把txt文件读入到内存中,以list对象存储"

dataset_list=self.read_from_file("test_excel.txt")

'''test use xlwt to handle EXCEL 97-2003'''

print " 5. 把文件写入到Excel表格中"

head_row_label=self.head_row_labels

save_name="test_xlwt.xls"

self.write_to_excel_with_openpyxl(dataset_list,head_row_label,save_name)

print "6.  执行完毕,由txt格式文件保存为Excel文件的任务"

if __name__ == '__main__':

print "create handle Excel Object"

obj_handle_excel=HandleExcel()

# 分别使用openpyxl和xlwt将数据写入文件

obj_handle_excel.run_main_save_to_excel_with_openpyxl()

obj_handle_excel.run_main_save_to_excel_with_xlwt()

'''测试读出文件,注意openpyxl不可以读取xls的文件,xlrd不可以读取xlsx格式的文件'''

#obj_handle_excel.read_excel_with_openpyxl("testexcel2003.xls")  # 错误写法

#obj_handle_excel.read_excel_with_openpyxl("testexcel2003.xls") # 错误写法

obj_handle_excel.read_excel("testexcel2003.xls")

obj_handle_excel.read_excel_with_openpyxl("testexcel2007.xlsx")

python3 导出DataFrame到本地excel(数据条数大于65535)

其中,DFname 为DataFrame文件名,excel_contents为excel储存路径,如:’d:test.xlsx。

excel最多只能导出5000行

【答案】不是的

最大行就到1048576。

新建一个文件就有1048576行了。

如果新建的文件没有到达这个限制,但是放不下可以按照如下方法操作:

1、点击左上角的Office图标,在弹出来的菜单中点“Excel选项”按钮

2、在弹出来的“Excel选项”对话框左边点“保存”选项卡

3、再在右边“保存工作簿”下面的“将文件保存为此格式”后面改成“Excel工作簿(*.xlsx)”。

4、再重新启动一下Excel,新建一个文件就有1048576行了。

结语:以上就是首席CTO笔记为大家整理的关于python导出excel最多多少条的全部内容了,感谢您花时间阅读本站内容,希望对您有所帮助,更多关于python导出excel最多多少条的相关内容别忘了在本站进行查找喔。


本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:/Python/25227.html