震惊!当Python遇到Excel后,将开启你的认知虫洞
本文主要内容:
- Excel,你为什么如此强大
- 软件开发也需要团队作战
- Excel的集成方案演化
- macOS特有的集成方案:applescript
- Python与Excel集成,有哪些好处
- 了解多个技术领域,可以间接提高自己的IQ
- 提高开发效率的利器:生态渗透
- 上代码:Python到底如何与Excel交互
- 用Python替代VBA
本文主要讲Python与Excel的关系以及集成方案,Office家族的其他成员,如Word、PowerPoint与Excel拥有类似的功能,Python同样可以与Word、PowerPoint等Office成员结合,这些内容我以后会写文章讲解。
我相信看这篇文章的大多数人都是程序员。在广大程序员的眼里,Excel以及Office家族的其他成员完全不能与Python、Java、Sprint Boot这些技术相比。Office被贴上的标签就是:非专业人员的工具。是由那些*内的人、会计、业务人员使用的工具,其实这是对Excel的最大误解。
1. Excel,你为什么如此强大
Excel从一问世开始,定位就是横跨办公和开发两界。在上个世界末推出的Excel5.0(那时还没有office这个产品套件)就已经支持VBA了,那可是在Win32下(一种基于dos的shell,并不属于真正的操作系统)。尽管有些原始(以现在的眼光看),但在当时却显得极为先进。因为Excel(以及同期的Word)是人类史上第一个内置领域特定语言(DSL)的民用系统(可以被各个领域的人使用的系统)。正是因为有了VBA,Excel才显得非常强大。
可能有的程序员会问,即使Excel支持VBA,可以进行编程,也只不过是完成一些自动化操作而已。VBA的功能完全不能与Python、Java、C#、C++这些被广大程序员熟知的编程语言相比,更别说成为编程领域的主流了。没错,如果单凭VBA本身的确无法与这些流行的编程语言相比,但要知道,VBA和Excel本身可以与其他开发工具融合,也就是说,可以让VBA和Excel成为自己系统的一部分,这就显得非常牛逼了。
2. 软件开发也需要团队作战
那么为什么要将Excel与其他系统结合呢?其实在我们创业时、在公司完成一个项目时,甚至在参加篮球比赛时,都会高频率提到一个词:团队。 现在也流行着一句话:没有完美的个人,只有完美的团队。也就是说,没有人可以什么都会,什么都擅长,就算是天才达芬奇也是如此。但团队就不一样了,即使某项工作团队里没人能做,也可以扩充团队成员,吸引能做这项工作的人加入团队。
其实在开发软件的过程中也同样是讲究团队作战的。不管我们使用的开发工具有多强大,用户社区由多庞大,都无法规避一个事实:任何技术都不可能适合完成所有的工作。 当然,还有另外一种说法就是尽管某种技术可以完成某项工作,但并不是最好的选择。
现在回到Excel上来。首先要知道Excel擅长什么,对,没错,Excel擅长表格和图表的制作。尽管有非常多的开发工具也可以制作表格和图表,但很显然,Excel是其中最好的(主要用门槛、易用性、功能和用户基数的综合指标来衡量)。所以,如果某一个系统要求将数据转换为表格和图表,那么这项任务交给Excel来完成是再合适不过了。
- Excel的集成方案演化
在不同的时期,Excel的集成方案也不尽相同。在Excel的大眼夹时代(那时还是Office97和Office2000的时代),微软与开源世界还水火不容,我也还处于学生时代。在那个时代,Excel只能与Windows下的开发工具融合,其中主要的开发工具包括微软的VC、VB、以及Borland(现在已经消失)的Delphi、C++ Builder等。
最初的集成方案有如下3种:
可视方式:通过OLE组件将Excel直接嵌入窗口中,其实就相当于拥有了一个高级版的表格编辑器
VBA方式:通过ActiveX技术创建Excel.Applicaiton对象(一般是CreateObject函数),然后就可以任意调用VBA的API了,我比较喜欢这种方式。通过这种方式,可以将系统中的数据按着一定的格式直接传输到Excel中,给用户提交的是包含表格数据的Excel文档。
反客为主方式:这种方式将Excel作为主体。也就是说,主要的操作界面是Excel,在Excel中调用或访问其他系统。例如,很多年前我做过一个基于Excel的报表系统。该系统分别使用Delphi和Excel实现。Delphi做的管理系统,将数据发送给Excel。但需要用户自己调整报表格式。我采用的方案是通过Excel的VBA实现表格的格式设置。其中有部分功能需要访问SQL Server数据库,以及完成与Delphi实现的系统类似的功能,这部分功能使用了Delphi封装的Dll(COM组件),然后通过Excel反过来调用这些DLL。最终用户使用的方式是用主系统完成大部分工作。如果想调整Excel的报表样式,可以直接用Excel来完成(会在Excel上提供一些自定义的菜单和按钮,现在通过加载项【Add-ins】实现)
不过随着时间的推移,现在的微软已经拥抱开源和其他系统。所以Excel也不仅限于Windows。在macOS上也可以完成在Windows上的大多数工作,甚至Visual Studio也推出了macOS版本。而且.net core也可以同时跨Windows、macOS和Linux三个平台,SQL Server也开始支持Linux。以后我们会在更多的场景看到微软的身影。
既然Excel已经支持了macOS平台,就需要采用跨平台的方式与Excel集成。当然,前面介绍的几种方案现在仍然可用,但仅限于Windows平台。不过我们无法预测用户到底使用哪一个平台,所以应该尽量使用跨平台方案。
目前主要的跨平台方案有如下3种:
直接修改xlsx文件
通过VBA间接调用其他编程语言
使用office.js
第1中方式有很多编程语言都支持,例如,Python、Java、Julia、Go、JavaScript。几乎你能想到的编程语言,都有支持xlsx格式的库。这里只讨论Python。如果想了解更多关于集成Excel的技术,可以关注我的公众号:极客起源。
在Python语言中,支持Excel文件格式的库非常多,如非常著名的openpyxl、xlsxwriter等。通过这些库,可以在不依赖Excel环境的情况下,生成xlsx格式的文件。不过这些库基本是只是生成Excel文件,并不能更好地利用VBA以及更高级的功能。由于Excel文件格式非常复杂,完全支持比较困难,所以这些库只是支持一部分Excel的功能,但这些功能对于绝大多数需求已经足够了。
第2种其实是一种取巧的方式,通过VBA做桥,调用其他编程语言,相当于用其他编程语言代替了VBA。这其中典型的就是xlwings。尽管这种方式从表面上看可以直接在Excel中像使用VBA一样使用这些编程语言,但从本质上看仍然是直接写xlsx文件。功能其实与第1种方式相同,因为这并不是官方支持的功能。
第3种是office.js,这是微软官方提供的一个基于JavaScript的程序库。基于Node.js,可以用JavaScript完全取代VBA实现Excel以及Office其他成员的加载项。office.js可以在Electron、Web应用以及大多数基于JavaScript的场景中使用。关于office.js的内容我以后会写文章详细描述,对office.js感兴趣的同学也可以关注“极客起源”公众号,会不定期更新这方面的内容。
- macOS特有的集成方案:applescript
除了跨平台解决方案外,在macOS上,还支持使用applescript与Office(Excel、World、PowerPoint等)交互,这些内容我以后再撰写文章详细讲解。如果要了解excel applescript api,可以参考Excel Reference。从效果来看,applescript操作Office与在Windows下通过COM组件操作Office类似,可以完全控制Office,只是applescript的语法更接近自然语言。
下面的applescript代码会创建一个新的Excel文档,并将其保存为first.xlsx文件。
运行后,会看到一个打开的Excel文档,并且已经保存为firstx.xlsx文件。
5. Python与Excel集成,有哪些好处
Excel对于Python来说,可以将Excel看做是一个可编程的大组件。这个组件的主要功能就是可以制作任意复杂的报表和图表。尽管Python有很多模块可以制作报表和图表。但这些模块的功能和效果完全没办法与Excel相比。所以将Python与Excel结合的最大好处是可以快速完成制作报表的任务,而且效果杠杠滴。
将Python与Excel相结合,其实还会引出另外一个思考,就是成为专家还是通才的问题。我听到有很多程序员说,要将某种语言搞通,如PHP、Python、Java等,然后就可以很轻松解决所有的问题。结果真是这样吗?
很久以前,我听过一个关于微软的故事(相信很多人也听过),在微软有一个几十人的团队,花了好几个月还没完成一个项目,听说是遇到了某些难题。这时有一个老程序员(据说至少50岁以上)将自己关在办公室里一个星期,搞定! 我们先不管这个故事是真是假,那么从理论上来说,是否有这个可能呢?其实如果光看编程速度,再牛叉的程序员,也不可能比普通程序员快几十倍,更何况数百倍了。但还有另外一种可能,就是这名老程序员使用了完全不同的方法,绕过了大多数影响效率的因素,例如,使用了不同的工具,采用了不同的转换方式,甚至使用了不同的设计理念等等。这就不是能力问题了,而是认知的问题。我将其称为“认知虫洞”。
所谓“认知虫洞”,是指通过某种方式很难完成某项工作,但通过另外完全不同,甚至是颠覆三观的方式,可以用极短的时间达到目的,而且效果极好。就像找到了可以穿越浩瀚星空的虫洞。这也有点像数学中的“等价替换”。
可能这个微软的例子离我们太远,下面举一个我自己的关于Excel例子,很多年前,我还在国内某大型软件公司作高级程序员。团队需要制作大量的报表,使用的主要开发工具是Delphi、后端是SQL Server数据库。Delphi本身有自己的报表系统,叫QuickReport。功能是很强大的,但问题是,做起来太费劲。例如,要画表格线时,如果一不小心将某根线拖到了别的地方,而且被其他东西覆盖,那你就找把,还必须要找到,否则打印出来的表格上就会莫名其妙多了根线。结果团队好几个人弄了好几天还没弄完(也包括我)。后来我实在不想这么弄了(因为买了几张影碟,着急回家看电影,不想加班),于是想到了利用Excel或Word来完成这个报表系统。通过Delphi传输数据。
说干就干,花了不到2个小时,所有的报表全部搞定(只有我一个人哦),几个人几天都没搞定的东西,我自己不到2个小时搞定,这当然不是我编程速度快了几十倍,而是处在了不同的维度,使用了完全不同的技术来实现,用QuickReport需要一根线一根线的画,而使用Excel,我不需要画线,只需要用SQL语句查询出数据,然后将这些数据发送给Excel即可。单单用了一个Excel,速度就提高了这么多,如果系统中很多部分都使用了类似的技术,那么编程效率提高数百倍,甚至上千倍,也不是没有可能的。
- 了解多个技术领域,可以间接提高自己的IQ
可能有的同学会问,既然可以将多种技术结合起来大幅度提高开发效率,那么为什么不通过团队合作的方式来完成了,通常一个人无法学会那么多技术。其实这就是一个认知的问题,团队合作只有在项目所采用的技术被确定后,例如,如何集成多种技术,才可以发挥作用。问题是,如果多种知识分散在不同人的大脑中,很可能没有人意识到应该去这样融合多种技术,就更谈不上团队合作了,就像你要探索宇宙,首先你要知道存在宇宙这种东西,否则怎么去探索呢? 我将这种现象称为“认知孤岛”(相对于“认知虫洞”而言),就是说并不是没有能力去做,而是压根就没有意识到应该这样做(由于知识的缺乏、同时导致想象力的受限)。
为什么达芬奇那么牛逼,除了聪明之外,达芬奇还横跨多个完全不同的领域,正是因为对生物学和解刨学的了解,蒙娜丽莎的画像才会那么自然,栩栩如生,因为达芬奇对骨骼、肌肉的构造非常了解,这是其他任何画家都无法比肩的。如果你在某一个领域排名前20%,而在另外一个领域排名也是前20%,那么如果需要两个领域的知识来解决问题时,你就会排名前4%(20% * 20%),如果是3个领域就是百里挑一。如果是6个领域,那就是万里挑一,据说达芬奇涉足十多个领域。由于自己和自己沟通的成本为0,所以只有拥有足够多的知识,并且有融合他们的能力,那么你就是下一个达芬奇!
我们可以举个数学与Python的例子:
如果我们的程序需要计算某个表达式的定积分(例如y = 2 * x从0到1的定积分)。
假设我们使用的是Python语言,并且不太清楚有什么库可以自动计算定积分,那么采用的方式就是利用数值计算的方式写程序去完成,计算定积分的数值计算公式比较复杂,可能不是在短时间内能完成的。不过要是了解sympy这个库,那就是几行代码的事:
import sympy
x = sympy.Symbol('x')
f = 2 * x
开始计算定积分
print(sympy.integrate(f,(x,0,1)))
是不是很简单呢? 只需要了解一个API的用法就搞定了。
假设现在我们还有一个需求,要计算某个函数在某一点的导数(导数在深度学习中经常使用),而手头又没有必要的库(也有可能是不知道),那么只要了解导数的原理,就很容易通过几行代码搞定,这就属于高等数学的范畴了。
导数原理,右侧是导数的计算公式,
计算导数的函数
def derivative(f,x):
h = 0.0001 # x轴的增量,需要是一个很小的值,但要在浮点数精度范围内,通常不能超过小数点后6位
return (f(x + h) - f(x - h)) / (2 * h)
待计算的函数1(y = 2 * x)
def f1(x):
return 2 * x
import math
待计算的函数2( y = sin(x) * cos(x) / (sin(x) + cos(x)) )
def f2(x):
return math.sin(x) * math.cos(x) / (math.sin(x) + math.cos(x))
print(derivative(f1,10)) # 1.9999999999953388
print(derivative(f2,123)) # -0.331842825692652
PS:对这些代码和高等数学不熟悉也没关系,这里我只是举个例子,后期我会写一些关于数学和编程方面的文章,详细解释这些好玩的东西,可以关注我的公众号:极客起源 ,会不断更新各种技术和数学文章,以及视频课程。
从这两个案例可以看出,在某一个领域需要非常费劲才能搞出来的东西,在另一个领域其实就是hello world。如果了解足够多的领域,那么完成很多工作,就会表现出天才的特征(这也是成为天才的途径之一,另一个途径是投胎)。
PS:Excel的功能不仅仅是制作报表,Excel还拥有强大的数据分析能力。所以如果将Python与Excel集成,就意味着Python将拥有了Excel的全部能力,相当于Python拥有了Excel的整个生态。我将其称为“生态渗透”。也就是通过集成或其他方式,一种技术可以直接或间接使用另外一种技术的全部或大部分资源。
- 提高开发效率的利器:生态渗透
在未来,支持生态渗透的开发方式会非常普遍,如果只是用了一些现成的库或开源软件,并不能大幅度提高开发效率,但如果可以利用某些强大系统的生态,就不一样了。在未来,还会有很多支持“生态渗透”的开发工具。例如,我们团队研发的UnityMarvel,就是一款超平台开发系统。这里之所以称为“超平台”,而不是“跨平台”,是因为UnityMarvel不仅仅可以跨操作系统平台,还可以跨数据库平台,云平台、API平台、开源硬件、物联网等,以及支持虚拟SQL、客户端服务端一体化、柔性热更新、Office加载项、浏览器插件等新特性。因此称为“超平台”开发系统。并且自己研发了Ori编程语言(语法融合了Python、Java、Go等语言的优秀特性,但功能得到了前所未有的增强)。通过这些特性,可以用前所未有的规模利用其他系统的生态,要远比Python使用Excel的生态更完美。其他功能先不解释(等发布后我再写文章详谈),先说说UnityMarvel是如何跨数据库的。
所谓跨数据库(目前指关系型数据, 以后会支持文档、键值等NoSQL数据库),是指用UnityMarvel开发基于数据库的应用并不需要事先确定到底用什么数据库(如MySQL、SQL Server、Oracle等),UnityMarvel内置了一种虚拟数据库,可以直接用虚拟数据库开发,在发布时,会要求选择使用的数据库,例如,选择MySQL或SQL Server。UnityMarvel会通过rosetta引擎将Ori语言的代码转换为支持MySQL的代码。关于数据库的部分,主要是用过内置的一种虚拟SQL完成的,而且这种SQL语言是与Ori语言是融为一体的。例如,如果要从persons表中查询出id大于30的所有记录,可以直接这样写:
var result = SELECT * FROM persons
WHERE id > 30;
result的类型是SQLSelect,将result赋给Grid组件,就会直接显示查询结果。当发布时,会将上面的代码转换为使用相应数据库(如MySQL、SQL Server)的特定编程语言(如JavaScript、Java等)的代码。这么做的好处如下:
- 不需要进行数据库选型,数据库是在发布时后期绑定的;
- 如果想切换数据库(例如,从MySQL换成Oracle),只需要重新发布,选择相应的数据库就可以了,不需要修改一行代码;
- 统一数据库接口,开发人员并不需要了解各种数据库的细节,开发门槛低;
- UI与数据库交互非常容易,不必考虑各种数据库引擎和库,只需要直接将SQL语句赋给与其交互的UI组件即可;
- 自动检测和去除大多数SQL中的潜在风险,如SQL注入等;
- 脱离数据库环境开发。例如,想使用MySQL数据库开发,但当前机器上并没有MySQL开发环境,又不想安装MySQL。这时仍然可以用UnityMarvel内置的虚拟数据库进行开发,然后发布即可,部署在有MySQL环境的机器上就可以成功运行了;
- 上代码:Python到底如何与Excel交互
在这一节玩点真格的,看一看Python到底如何与Excel交互。我们使用目前最常用的openpyxl来完成操作。先看一个未处理的Excel表格。
上面这个表格是关于营业计划的数据,看起来很别扭,因为不同层次的数据之间没有缩进,也没有背景颜色,甚至没有表格线。如果要将这个表格交给领导,估计领导会拿起块砖头砸过来!
领导最希望见到下面的表格:
这个表格看起来是不是很舒服呢!其实这个表格用Excel做起来也并不费劲。不过仍然需要N步,这里就不详细解释如何用Excel来做这个表格了,现在来看如何利用Python闪电般进行格式转换。
from openpyxl.styles import Alignment,Font,Border,Side,Color,PatternFill
import openpyxl
打开待转换的文件
workbook = openpyxl.load_workbook('原始表格.xlsx')
ws = workbook.active
table = ws['A1':'D11']
设置字体
ft = Font(name="黑体")
for rows in table:
for cell in rows:
cell.font = ft
调整行高(所有的行的高度统一设置为18)
for i in range(1,ws.max_row + 1):
ws.row_dimensions[i].height = 18.0
插入列
ws.insert_cols(1,1)
调整新插入列的宽度
ws.column_dimensions['A'].width = 5
插入行
ws.insert_rows(1,1)
调整新插入行的高度
ws.row_dimensions[1].height = 10
文字左对齐,数字右对齐
leftAlign = Alignment(horizontal='left',vertical='center')
rightAlign = Alignment(horizontal='right',vertical='center')
for row in ws.rows:
for cell in row:
# 数字,右对齐
if type(cell.value) == int:
cell.alignment = rightAlign
else:
cell.alignment = leftAlign
调整列宽
ws.column_dimensions['B'].width =20
ws.column_dimensions['C'].width =9
ws.column_dimensions['D'].width =9
ws.column_dimensions['E'].width =9
ws.column_dimensions['F'].width =4 # 让表格线出来一点
为表格添加边框
topBorder = Border(top=Side(border_style='thick',color='000000'))
#bottom=Side(border_style='thick',color='000000'),
#horizontal = Side(border_style='thin',color='000000'))
添加表格顶边的粗线(包括最后没有数据的列)
for col in range(2, ws.max_column + 2):
ws.cell(2, col).border = topBorder
bottomBorder = Border(bottom=Side(border_style='thick',color='000000'))
添加表格底边的粗线(包括最后没有数据的列),这里需要加1,是因为前面绘制表格顶边的粗线时,最大列的数量已经多了1个
所以只需要加1即可
for col in range(2, ws.max_column + 1):
ws.cell(ws.max_row, col).border = bottomBorder
添加水平细线
horizontalBorder = Border(top=Side(border_style='thin',color='000000'))
for col in range(2, ws.max_column + 1):
for row in range(4,ws.max_row):
ws.cell(row, col).border = horizontalBorder
单元格缩进
ws['B5'].alignment=Alignment(indent=1)
ws['B6'].alignment=Alignment(indent=1)
ws['B8'].alignment=Alignment(indent=1)
ws['B11'].alignment=Alignment(indent=1)
ws['B9'].alignment=Alignment(indent=2)
ws['B10'].alignment=Alignment(indent=2)
设置文字颜色
blueFont = Font(name="Arial",color = '4169E1')
for col in range(3, ws.max_column + 1):
ws.cell(5, col).font= blueFont
ws.cell(6, col).font = blueFont
ws.cell(9, col).font = blueFont
ws.cell(10, col).font = blueFont
设置背景色
fill = PatternFill("solid", fgColor="B0C4DE")
for col in range(2, ws.max_column + 1):
ws.cell(4, col).fill= fill
ws.cell(7, col).fill = fill
ws.cell(12, col).fill = fill
workbook.save('转换后的表格.xlsx')
print('见证奇迹的时刻')
现在运行程序,当输出“见证奇迹的时刻”后,就会在当前目录生成一个“转换后的表格.xlsx”,该文件就是上图的效果,是不是很神奇呢?
从这段程序中可以看出,转换该表格需要多少步,代码并不复杂,大家可以根据openpyxl的文档研究。
- 用Python替代VBA
目前微软官方还没有将Python作为VBA的替代品,倒是将JavaScript作为了另外一个选择(office.js),不过可以利用xlwings做一个折中。xlwings可以单独使用,也可以通过xlwings office加载项提供的RunPython函数运行Python代码。
现在有一个hello.py文件,代码如下:
import xlwings as xw
def hello_xlwings():
wb = xw.Book.caller()
wb.sheets[0].range("A1").value = "Hello xlwings!"
在xlwings的安装目录有一个xlwings.xlam文件,该文件是Excel的加载项文件,也就是Excel VBA的发行包文件。现在随便开启一个空的Excel workbook,然后点击“工具”>“Excel加载项”菜单项,会打开如下图所示的对话框,找到xlwings.xlam文件,并选中该文件。
然后在“开发工具”选项卡中点击“Visual Basic”按钮(如下图所示),进入VBA编辑页面。
最后引用xlwings库即可。
现在可以新建一个VBA模块,然后编写下面的代码:
Sub test()
RunPython ("import hello; myproject.hello_xlwings()")
End Sub
运行脚本,就会看到在“A1”的位置插入了Hello xlwings!
OK,现在大家已经了解了如何使用Python与Excel交互,其他还有很多种方法,而且也不仅仅只有Python能与Excel交互,其实几乎所有的编程语言,甚至是C语言,都有想用的Library可以与Excel交互。那就期待我下面的文章吧!
原文地址https://www.cnblogs.com/nokiaguy/p/13043865.html