高级概念与包

函数式编程包operator

form operator import mul

可以替代

1
reduce(lambda a,b:a*b, range(1,1+n))

1
reduce(mul, range(1,1+n))

itemgetter(1) 可以替代 lambda fields: fields[1]:创建一个接受集合的函数,返回索引位1上的元素

attrgetter与itemgetter类似,它创建的函数根据名称提取对象的属性。如果把多个属性名传给attrgetter,它也会返回提取的值构成的元组。

methodcaller会自行创建函数,创建的函数会在对象上调用参数指定的方法。

1
2
3
4
5
6
from operator import methodcaller
s = 'The time is come'
upcase = methodcaller('upper')
upcase(s)

Out[11]: 'THE TIME IS COME'

模块查找策略

目标:自动查找其他可用的*_promo函数

方式一:

1
promos = [globals()[name] for name in globals() if name.endswith('_promo') and name != 'best_promo']

方式二:将所有促销放在promotions模块

1
2
import inspect
promos = [func for name,func in inspect.getmembers(promotions, inspect.isfunction)]

inspect.getmembers用于捕获对象(这里是promotions模块)的属性,第二个参数是可选的判断条件(一个布尔值函数),这里只提取模块中的函数

闭包closure和偏函数Partial

内层函数+所引用的外层变量,称为闭包

1
2
3
4
5
6
7
8
9
10
11
12
13
# 闭包就是函数里面嵌套一个函数
# 因为函数的出现,导致变量出现了分化:全局变量、局部变量
# 全局变量:当前模块中任意地方都能访问!
# 局部变量:当前函数中可以操作
# 全局变量-局部变量:变量-在函数外部调用访问:

def outer():
msg = "这是一个局部变量"
print("这是一个函数", msg)
def inner():
print("可以访问外部变量msg", msg)
return msg
return inner
  • 在函数嵌套的前提下
  • 内层函数引用了外层函数的变(包括参数)
  • 外层函数又把内层函数当做返回值进行返回

闭包中,如果要修改引用的外层变量

  • 需要使用 nonlocal 变量声明,表示非局部的
  • 否则会被当做是闭包内,新定义的变量
1
2
3
4
5
6
7
8
9
10
11
12
13
# PYTHON中的偏函数,就是一个语法糖
# 为原来没有默认值的函数,创建带常用值的偏函数
from functools import partial
def show2(name, msg):
print(name, ": " , msg)

s = partial(show2, msg="HI")
s("tom")
show2("jerry", "hello")


tom : HI
jerry : hello

python模块:profile,pstats

怪异问题避坑

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
class Teas:
def __init__(self, lst=[]):
self.lst = lst

def hyc_print(self):
logger.info(self.lst)

def __del__(self):
pass


if __name__ == '__main__':
# multiprocessing_queue_test()
te1 = Teas()
te1.lst.append(1)
te1.hyc_print()

te2 = Teas()
te2.lst.append(2)
te2.hyc_print()

te1.hyc_print()
logger.info(te1.lst is te2.lst)
1
2
3
4
2020-05-29 17:14:40 multiprocessing_queue_iterator INFO:  [1]
2020-05-29 17:14:40 multiprocessing_queue_iterator INFO: [1, 2]
2020-05-29 17:14:40 multiprocessing_queue_iterator INFO: [1, 2]
2020-05-29 17:14:40 multiprocessing_queue_iterator INFO: True
1
2
3
4
5
6
7
8
9
class Teas:
def __init__(self, lst=None):
self.lst = lst if lst is not None else []

def hyc_print(self):
logger.info(self.lst)

def __del__(self):
pass
1
2
3
4
2020-05-29 17:15:43 multiprocessing_queue_iterator INFO:  [1]
2020-05-29 17:15:43 multiprocessing_queue_iterator INFO: [2]
2020-05-29 17:15:43 multiprocessing_queue_iterator INFO: [1]
2020-05-29 17:15:43 multiprocessing_queue_iterator INFO: False

扩展阅读

机器学习8大算法比较

1
https://mp.weixin.qq.com/s/0dT4BN01g0anVwyfjS-RVA

今年GitHub排名前20的Python机器学习开源项目

1
https://mp.weixin.qq.com/s/-WJ_S6CV7Cc14f4YzthPAQ

Python基础网站列表(有空再摘录)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
1. 元组
https://www.jianshu.com/p/b728648501a8
2. 字典
https://www.jianshu.com/p/8b51c9bf6d12
3. 集合
https://www.jianshu.com/p/75eb228b638e
4. 列表
https://www.jianshu.com/p/636314cf0126

6.作用域
https://www.jianshu.com/p/d8271c03a0f3

8. 对象(属性限制-公有私有)
https://www.jianshu.com/p/c7f6ecf07fbc
9. 对象(属性限制-只读)
https://www.jianshu.com/p/dd0e1487a4d6
10. 对象(属性限制-只读优化)
https://www.jianshu.com/p/f54e0a5af635
11. 对象(系统内置方法-遍历操作)
https://www.jianshu.com/p/bd87cca40d8b
12. 内存管理机制-引用计数/垃圾回收/循环引用/弱引用
https://www.jianshu.com/p/ef8a218c6b89
13. 对象思想
https://www.jianshu.com/p/0347ba667667
14. 综合案例:封装/继承/多态
https://www.jianshu.com/p/b35043c76f50
15. 异常处理(错误和异常)
https://www.jianshu.com/p/507d677e74a4
16. 包/模块(概念及导入语法)
https://www.jianshu.com/p/1d9100f8292a
17. 包/模块(导入及其底层逻辑)
https://www.jianshu.com/p/6a99e5e4c1b5
18. 包/模块(三方包安装)
https://www.jianshu.com/p/68477d5625fc
19. 包/模块(创建和发布)
https://www.jianshu.com/p/ee48fde9afd6
20.

其他

​ 比如:

  • 你要去做一个电商后台,存储着每件产品的 ID、名称和价格。现在需要根据商品 ID 找出价格,如何使用最合适的数据结构呢?
  • 在 Python 中字典、集合都是经过高度性能优化的数据结构,如果采用列表来存储数据并进行查找,时间复杂度是多少?
  • 换成字典呢?哪个更高效?事实上,采用不同数据结构存储十万数据,查找速度差异就有可能差出几千倍。

再比如:

  • Python 中的协程和线程有什么区别?
  • 生成器如何进化成协程?
  • 并发编程中的 future 和 asyncio 有什么关系?
  • 如何写出线程安全的高性能代码呢?

Python 基础入门

必学知识:【Python 基础数据结构】【Python 基础语法】【文件操作】【错误与异常处理】【Python 面向对象】【模块化】

第一步,你需要掌握 Python 的核心基础知识。当然,不同于其他基础教材,我不仅仅只讲基础概念、操作,同时也为你整理了很多进阶难度的知识,或是一些重难点、易错点等需要注意的地方。不仅可以让入门级的程序员查漏补缺,打捞基础,也能让有经验的程序员,重新从工程角度认识基础,升华理解。

Python 进阶核心知识

必学知识:【Python 协议】【Python 高级语法】【Python 正则表达式】【Python 并发编程】【垃圾回收机制】【项目实战】

第二步,进阶 Python 核心知识点,比如装饰器、并发编程等等。如果你的工作只是写 100 行以下的脚本程序,可能不怎么会用得到。但如果你做的是大型程序的开发,则非常有必要。

规范:编写高质量的 Python 程序

这部分着重于教你把程序写得更加规范、更加稳定。我在实际工作中见过不少程序员,会写程序,但写得实在有点“惨不忍睹”,导致最后调试起来错误不断,修改非常费劲儿。因此,我觉得用单独一个版块讲解这个问题非常有必要。

当然,我不会用一些似是而非的规范来说教,而是会用具体的编程操作和技巧,教你提高代码质量。比如,如何合理地分解代码、运用 assert,如何写单元测试等等。

Python 实战,串联整个知识体系:带你搭建量化交易系统

必学知识点:【RESTful】【Socket】【Pandas】【Numpy】【Kafka】【RabbitMQ】【MySQL】【Django】