知识卡片

普通读书笔记卡 · 6328.c

微基准结论依赖输入与环境

理解等级:中级

用startswith与切片比较前缀的书中时间,只说明该版本、字符串与机器上的示例表现,不证明一种写法总更快。比较前先确认语义相同,再固定输入与环境,区分墙钟经过时间和CPU耗时,并观察重复运行的波动。一次更短不等于稳定改进,也不代表完整应用瓶颈已消除。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 7 处

    • · 查看原书依据

      能够选出其中以foo开头的字符串”的方法: # 一个非常大的字符串数组 strings = ['foo', 'foobar', 'baz', 'qux', 'python', 'Guido Van Rossum'] * 100000 method1 = [x for x in strings if x.startswith('foo')] method2 =

    • · 查看原书依据

      快了不止一个数量级: In [210]: from random import normalvariate In [211]: N = 1000000 In [212]: %timeit samples = [normalvariate(0, 1) for _ in xrange(N)] 1 loops, best of 3: 1.33 s per loop

    • · 查看原书依据

      periods=10000000, freq='10ms') In [583]: ts = Series(np.random.randn(len(rng)), index=rng) In [584]: ts Out[584]: 2000-01-01 00:00:00 -1.402235 2000-01-01 00:00:00.010000 2.424667

    • · 查看原书依据

      356 us per loop In [79]: %timeit arr.take(inds, axis=0) 10000 loops, best of 3: 34 us per loop 译注4:实在找不到更好的词了,所以这里还是应该解释一下。虽然都是“重复”,但可以这样理解:duplicate是结果,replicate是造成duplicate的过程。

    • · 查看原书依据

      2.12 ms per loop In [141]: %timeit np.add(arr, arr) 100000 loops, best of 3: 11.6 us per loop 为此,Python科学计算社区正在开发一些项目,力求使自定义ufunc的性能接近内置的那些。

    • · 查看原书依据

      达不到所需的性能指标,就可以考虑一下用C、Fortran或Cython(等下会稍微介绍一下)来编写代码。我自己在工作中经常会用到Cython(http://cython.org),因为它不用花费我太多精力就能得到C语言那样的性能。

    • · 查看原书依据

      1.33 ms per loop In [233]: %timeit arr_f.sum(1) 100 loops, best of 3: 8.75 ms per loop 如果想从NumPy中提升性能,这里就应该是下手的地方。如果数组的内存顺序不符合你的要求,使用copy并传入'C'或'F'即可解决该问题: In [234]: arr_f.copy('C'

    参考来源

    - 位置:《利用Python进行数据分析》第3章《测试代码的执行时间:%time和%timeit》(spine266;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0252.html;u065-ch03-027)。 - 结论依据:原文在“能够选出其中以foo开头”附近的定义、例子或代码支撑本卡核心说明:用startswith与切片比较前缀的书中时间,只说明该版本、字符串与机器上的示例表现,不证明一种写法总更快。边界按已读前提解释;示例未执行。 - 原始内容:能够选出其中以foo开头的字符串”的方法: # 一个非常大的字符串数组 strings = ['foo', 'foobar', 'baz', 'qux', 'python', 'Guido Van Rossum'] * 100000 method1 = [x for x in strings if x.startswith('foo')] method2 = - 位置:《利用Python进行数据分析》第4章《随机数生成》(spine277;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0263.html;u100-ch03-027)。 - 结论依据:批量生成与Python列表循环的历史时间只对应给定实现、版本、规模与机器,不是任意抽样任务固定倍数。 - 原始内容:快了不止一个数量级: In [210]: from random import normalvariate In [211]: N = 1000000 In [212]: %timeit samples = [normalvariate(0, 1) for _ in xrange(N)] 1 loops, best of 3: 1.33 s per loop - 位置:《利用Python进行数据分析》第10章《性能和内存使用方面的注意事项》(spine317;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0303.html;u246-ch03-027)。 - 结论依据:原例实际构造一千万项,与正文一亿说法不符;timeit旧硬件与版本的61.1/88.2ms只描述当时样本,不能直接推出现行性能或算法复杂度。 - 原始内容:periods=10000000, freq='10ms') In [583]: ts = Series(np.random.randn(len(rng)), index=rng) In [584]: ts Out[584]: 2000-01-01 00:00:00 -1.402235 2000-01-01 00:00:00.010000 2.424667 - 位置:《利用Python进行数据分析》第12章《花式索引的等价函数:take和put》(spine323;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0309.html;u271-ch03-027)。 - 结论依据:take与花式索引的旧耗时比较依赖1000×50输入、选500行、当时版本环境;不作为当前普遍快十倍的承诺。 - 原始内容:356 us per loop In [79]: %timeit arr.take(inds, axis=0) 10000 loops, best of 3: 34 us per loop 译注4:实在找不到更好的词了,所以这里还是应该解释一下。虽然都是“重复”,但可以这样理解:duplicate是结果,replicate是造成duplicate的过程。 - 位置:《利用Python进行数据分析》第12章《自定义ufunc》(spine325;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0311.html;u277-ch03-027)。 - 结论依据:原例自定义加法与np.add耗时差只展示其输入和环境,不将具体倍数当当前保证。 - 原始内容:2.12 ms per loop In [141]: %timeit np.add(arr, arr) 100000 loops, best of 3: 11.6 us per loop 为此,Python科学计算社区正在开发一些项目,力求使自定义ufunc的性能接近内置的那些。 - 位置:《利用Python进行数据分析》第12章《性能建议》(spine330;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0316.html;u290-ch03-027)。 - 结论依据:只有实际性能目标与测量显示不足,再考虑C/Fortran/Cython实现热点,不凭语言名称预设瓶颈。 - 原始内容:达不到所需的性能指标,就可以考虑一下用C、Fortran或Cython(等下会稍微介绍一下)来编写代码。我自己在工作中经常会用到Cython(http://cython.org),因为它不用花费我太多精力就能得到C语言那样的性能。 - 位置:《利用Python进行数据分析》第12章《连续内存的重要性》(spine330;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0316.html;u291-ch03-027)。 - 结论依据:原例布局求和1.33对8.75ms只描述旧环境,不是当前所有NumPy求和固定快慢;需用实际操作验证。 - 原始内容:1.33 ms per loop In [233]: %timeit arr_f.sum(1) 100 loops, best of 3: 8.75 ms per loop 如果想从NumPy中提升性能,这里就应该是下手的地方。如果数组的内存顺序不符合你的要求,使用copy并传入'C'或'F'即可解决该问题: In [234]: arr_f.copy('C'