我给这个Python库打101分!

    技术2022-07-21  93

    日志在开发过程中是一种被很多程序员不重视,但是却至关重要的一项功能。

    我认为在一个系统的整个生命周期里,日志系统虽然工作量不大,但是论重要性程度能够占10%-15%的比重,或者更高。

    有兴趣的小伙伴们可以免费学习哈 http://www.makeru.com.cn/live/5020_2529.html?s=144282

    优秀的日志管理,至少能够从3个方面提升系统:

    调试速度 执行效率 运维效率 很少有人敢确保一个系统开发完成之后不会出现任何问题,因此,在一个完善的商业化系统设计过程中,日志管理都会被视为一个重要模块。 日志输出、Kafka日志订阅、日志分析,完备的日志管理能够在系统出现问题时,维护人员需要明确4个问题: 问题是什么? 问题出在哪? 什么时间出现的问题? 为什么出现问题? 然后,快速定位、快速恢复系统正常运行。要清楚的是,系统正式上线之后,恢复系统时间每多耗费1分钟,它带来的资损和负面影响都是无法估量的。

    而在Python中,提到日志管理每个大多数Python开发者都会脱口而出logging。 logging是Python内置的标准库,也是使用频率较高的日志管理Python库,但是它有着一些明显的缺点: 功能单一 执行效率低 需要手动配置 Python内置的标准logging库默认配置输出的日志内容非常简单,没有时间、位置这些在日志管理过程中至关重要的信息,每一次使用都需要自己手动配置一下,这样会带来冗余的代码和工作量。 为了解决这些问题,本文就来介绍一款可以很好替代标准logging库的第三方日志管理库–Eliot。 Eliot 前面已经提到,一个优秀的日志管理系统至少要回答4个问题: 问题是什么?

    问题出在哪? 什么时间出现的问题? 为什么出现问题? 但是,大多数日志库都不具备这样的功能。而本文介绍的Eliot恰好都能满足这些需求。 除了能够回答上述问题,告诉你问题是什么、问题出在哪、为什么出现问题,Eliot还具有很多其他特性:

    结构化输出日志信息,能够对输出一目了然 可以用于解析和过滤日志 不仅记录简单信息,还可以追踪程序的执行过程 性能非常好,使用非堵塞IO 可以结合Logstash/Elasticsearch使用 下面就来看一下Eliot的基本使用,更加丰富的功能,各位同学可以阅读一下文档仔细了解一下Eliot的使用。 安装 可以使用pip安装, $pipinstallelioteliot-tree 也可以使用conda安装, $condainstall-cconda-forgeelioteliot-tree 安装的eliot用于日志的生成、输出、分析等功能,eliot-tree可以实现以树结构可视化日志信息。 使用 首先给出一段示例代码, importrequests fromeliotimportstart_action,to_file #1.to_file to_file(open(“linkcheck.log”,“w”)) defcheck_links(urls): withstart_action(action_type=“check_links”,urls=urls): forurlinurls: try: #2.start_action withstart_action(action_type=“download”,url=url): response=requests.get(url) response.raise_for_status()

    exceptExceptionase: raiseValueError(str(e)) try: check_links([“http://eliot.readthedocs.io”,“http://nosuchurl”]) exceptValueError: print(“Notalllinkswerevalid.”) 在这段代码中有2处用到了Eliot: to_file:用于指定输出日志文件; start_action:用于创建动作,如果动作成功则输出succeed ,否则抛出异常; 然后再命令行下执行代码: $pythonlinkcheck.py 这时候会发现生成了一个名为linkcheck.log的日志文件。 但是,当用文本编辑器打开的时候会发现,日志的格式很单一、并没有树结构的信息。 如果想以树结构的方式可视化输出信息,就需要用到eliot-tree这个工具。 $ eliot-tree linkcheck.log b1cb58cf-2c2f-45c0-92b2-838ac00b20cc └── check_links/1 started ├── timestamp: 2017-10-27 20:42:47.206684 ├── urls: │ ├── 0: http://eliot.readthedocs.io │ └── 1: http://nosuchurl ├── download/2/1 started │ ├── timestamp: 2017-10-27 20:42:47.206933 │ ├── url: http://eliot.readthedocs.io │ └── download/2/2 succeeded │ └── timestamp: 2017-10-27 20:42:47.439203 ├── download/3/1 started

    │ ├── timestamp: 2017-10-27 20:42:47.439412 │ ├── url: http://nosuchurl │ └── download/3/2 failed │ ├── errno: None │ ├── exception: requests.exceptions.ConnectionError │ ├── reason: HTTPConnectionPool(host=‘nosuchurl’, port=80): Max retries exceeded with url: / (Caused by NewConnec… │ └── timestamp: 2017-10-27 20:42:47.457133 └── check_links/4 failed ├── exception: builtins.ValueError ├── reason: HTTPConnectionPool(host=‘nosuchurl’, port=80): Max retries exceeded with url: / (Caused by NewConnec… └── timestamp: 2017-10-27 20:42:47.457332 在这个结构化的日志信息中,可以一目了然的看出3个方面的信息: 哪些动作成功了,哪些动作失败了; 失败的动作会记录异常 日志追踪并记录了执行的详细动作 另外,执行每一步的详细时间戳也被记录在日志中。 除了在日志生成和输出增强日志管理之外,Eliot还在日志分析方面也提供了很不错的解决方案。 在以往,系统运行很长时间之后会产生大量的日志,通过肉眼逐行去看、或者手动搜索关键字的方式都不显示,从零开始开发一款日志分析系统耗费成本也较高。 Eliot针对日志分析加入了2项非常实用的功能: 过滤 解析 通过这2项功能,就不需要再去写一个复杂的逻辑去处理日志文件、解析对应的行和关键字。在Eliot中,只需要简短的代码就可以实现日志的定位和解析。除此之外,Eliot转为json输出而设计,可以结合Elasticsearch使用,简历搜索索引,能够通过自建的搜索引擎快速搜索到想要的日志信息。

    此外,推荐一本对Python感兴趣的书籍《Python进阶》,是《Intermediate Python》的中文译本,IntermediatePython这本书具有如下几个优点:简单、易读、易译。这些都不是重点,重点是:它是一本开脑洞的书。无论你是Python初学者,还是Python高手,它显现给你的永远是Python里最美好的事物。

    欢迎进群跟大佬一起交流哈

    Processed: 0.009, SQL: 9