gprof2dot_magic公司

gprof2dot的神奇函数，用于在JupyterLab或Jupyter Notebook中将任何Python语句作为DOT图进行评测。

GitHub回购：https://github.com/mattijn/gprof2dot_magic

安装

确保您有Python包gprof2dot_magic。

pip install gprof2dot_magic

它的依赖关系gprof2dot和graphviz也将被安装

用法

要启用magic函数，首先加载gprof2dot_magic模块

%load_ext gprof2dot_magic

然后将任何行语句配置为DOT图，如下所示：

%gprof2dot print('hello world')

Scalene是一个新的python分析器，它涵盖了许多用例，对性能的影响最小：

https://github.com/plasma-umass/scalene

它可以在非常精细的水平上评测CPU、GPU和内存利用率。它还特别支持多线程/并行化的python代码。

cProfile非常适合于分析，而kcachegrind非常适合于可视化结果。中间的pyprov2calltree处理文件转换。

python -m cProfile -o script.profile script.py
pyprof2calltree -i script.profile -o script.calltree
kcachegrind script.calltree

所需的系统包：

kcachegrind（Linux）、qcachegrind（MacOs）

Ubuntu上的设置：

apt-get install kcachegrind 
pip install pyprof2calltree

结果：

最近，我为PyCharm创建了一个插件，使用该插件，您可以在PyCharm编辑器中轻松分析和可视化line_profiler的结果。

linepfiler在其他答案中也提到过，它是一个很好的工具，可以准确分析python解释器在某些行中花费了多少时间。

我创建的PyCharm插件可以在这里找到：https://plugins.jetbrains.com/plugin/16536-line-profiler

它需要一个python环境中的助手包，名为line profiler pycharm，可以使用pip或插件本身安装。

在PyCharm中安装插件后：

用line_profiler_pycharm.profile装饰器装饰您想要评测的任何函数使用“轮廓线”跑步器跑步

结果截图：

我发现，如果您不想使用命令行选项，该功能快速且易于使用。

要使用，只需在要分析的每个函数上方添加@profile。

def profile(fnc):
    """
    Profiles any function in following class just by adding @profile above function
    """
    import cProfile, pstats, io
    def inner (*args, **kwargs):
        pr = cProfile.Profile()
        pr.enable()
        retval = fnc (*args, **kwargs)
        pr.disable()
        s = io.StringIO()
        sortby = 'cumulative'   #Ordered
        ps = pstats.Stats(pr,stream=s).strip_dirs().sort_stats(sortby)
        n=10                    #reduced the list to be monitored
        ps.print_stats(n)
        #ps.dump_stats("profile.prof")
        print(s.getvalue())
        return retval
    return inner 

每个函数的输出如下

   Ordered by: cumulative time
   List reduced from 38 to 10 due to restriction <10>

   ncalls  tottime  percall  cumtime  percall filename:lineno(function)
        1    0.000    0.000    0.002    0.002 3151212474.py:37(get_pdf_page_count)
        1    0.000    0.000    0.002    0.002 fitz.py:3604(__init__)
        1    0.001    0.001    0.001    0.001 {built-in method fitz._fitz.new_Document}
        1    0.000    0.000    0.000    0.000 fitz.py:5207(__del__)
        1    0.000    0.000    0.000    0.000 {built-in method fitz._fitz.delete_Document}
        1    0.000    0.000    0.000    0.000 fitz.py:4816(init_doc)
        1    0.000    0.000    0.000    0.000 fitz.py:5197(_reset_page_refs)
        1    0.000    0.000    0.000    0.000 fitz.py:4821(<listcomp>)
       11    0.000    0.000    0.000    0.000 fitz.py:4054(_getMetadata)
        1    0.000    0.000    0.000    0.000 weakref.py:241(values)

Python包括一个名为cProfile的分析器。它不仅给出了总的运行时间，而且还分别计算了每个函数的时间，并告诉每个函数被调用了多少次，从而很容易确定应该在哪里进行优化。

您可以从代码内部或从解释器调用它，如下所示：

import cProfile
cProfile.run('foo()')

更有用的是，您可以在运行脚本时调用cProfile：

python -m cProfile myscript.py

为了更简单，我制作了一个名为“profile.bat”的小批处理文件：

python -m cProfile %1

所以我要做的就是跑：

profile euler048.py

我得到了这个：

1007 function calls in 0.061 CPU seconds

Ordered by: standard name
ncalls  tottime  percall  cumtime  percall filename:lineno(function)
    1    0.000    0.000    0.061    0.061 <string>:1(<module>)
 1000    0.051    0.000    0.051    0.000 euler048.py:2(<lambda>)
    1    0.005    0.005    0.061    0.061 euler048.py:2(<module>)
    1    0.000    0.000    0.061    0.061 {execfile}
    1    0.002    0.002    0.053    0.053 {map}
    1    0.000    0.000    0.000    0.000 {method 'disable' of '_lsprof.Profiler objects}
    1    0.000    0.000    0.000    0.000 {range}
    1    0.003    0.003    0.003    0.003 {sum}

编辑：更新了2013年PyCon视频资源的链接，标题为Python评测也可以通过YouTube。