gprof2dot_magic公司

gprof2dot的神奇函数，用于在JupyterLab或Jupyter Notebook中将任何Python语句作为DOT图进行评测。

GitHub回购：https://github.com/mattijn/gprof2dot_magic

安装

确保您有Python包gprof2dot_magic。

pip install gprof2dot_magic

它的依赖关系gprof2dot和graphviz也将被安装

用法

要启用magic函数，首先加载gprof2dot_magic模块

%load_ext gprof2dot_magic

然后将任何行语句配置为DOT图，如下所示：

%gprof2dot print('hello world')

我刚刚从pypref_time中开发了自己的分析器：

https://github.com/modaresimr/auto_profiler

更新版本2

安装：

pip install auto_profiler

快速入门：

from auto_profiler import Profiler

with Profiler():
    your_function()

在Jupyter中使用，可以实时查看已用时间

更新版本1

通过添加装饰器，它将显示一个耗时的函数树

@探查器（深度=4）

Install by: pip install auto_profiler

实例

import time # line number 1
import random

from auto_profiler import Profiler, Tree

def f1():
    mysleep(.6+random.random())

def mysleep(t):
    time.sleep(t)

def fact(i):
    f1()
    if(i==1):
        return 1
    return i*fact(i-1)

def main():
    for i in range(5):
        f1()

    fact(3)


with Profiler(depth=4):
    main()

示例输出

Time   [Hits * PerHit] Function name [Called from] [function location]
-----------------------------------------------------------------------
8.974s [1 * 8.974]  main  [auto-profiler/profiler.py:267]  [/test/t2.py:30]
├── 5.954s [5 * 1.191]  f1  [/test/t2.py:34]  [/test/t2.py:14]
│   └── 5.954s [5 * 1.191]  mysleep  [/test/t2.py:15]  [/test/t2.py:17]
│       └── 5.954s [5 * 1.191]  <time.sleep>
|
|
|   # The rest is for the example recursive function call fact
└── 3.020s [1 * 3.020]  fact  [/test/t2.py:36]  [/test/t2.py:20]
    ├── 0.849s [1 * 0.849]  f1  [/test/t2.py:21]  [/test/t2.py:14]
    │   └── 0.849s [1 * 0.849]  mysleep  [/test/t2.py:15]  [/test/t2.py:17]
    │       └── 0.849s [1 * 0.849]  <time.sleep>
    └── 2.171s [1 * 2.171]  fact  [/test/t2.py:24]  [/test/t2.py:20]
        ├── 1.552s [1 * 1.552]  f1  [/test/t2.py:21]  [/test/t2.py:14]
        │   └── 1.552s [1 * 1.552]  mysleep  [/test/t2.py:15]  [/test/t2.py:17]
        └── 0.619s [1 * 0.619]  fact  [/test/t2.py:24]  [/test/t2.py:20]
            └── 0.619s [1 * 0.619]  f1  [/test/t2.py:21]  [/test/t2.py:14]

根据乔·肖（Joe Shaw）关于多线程代码无法按预期工作的回答，我认为cProfile中的runcall方法只是围绕着已配置的函数调用执行self.enable（）和self.disable（）调用，因此您可以简单地自己执行，并在对现有代码的干扰最小的情况下使用任何代码。

如果你想做一个累积分析器，意思是连续运行函数几次并观察结果的总和。

您可以使用此cumulative_profiler装饰器：

它是python>=3.6特定的，但您可以删除非本地的，因为它可以在旧版本上工作。

import cProfile, pstats

class _ProfileFunc:
    def __init__(self, func, sort_stats_by):
        self.func =  func
        self.profile_runs = []
        self.sort_stats_by = sort_stats_by

    def __call__(self, *args, **kwargs):
        pr = cProfile.Profile()
        pr.enable()  # this is the profiling section
        retval = self.func(*args, **kwargs)
        pr.disable()

        self.profile_runs.append(pr)
        ps = pstats.Stats(*self.profile_runs).sort_stats(self.sort_stats_by)
        return retval, ps

def cumulative_profiler(amount_of_times, sort_stats_by='time'):
    def real_decorator(function):
        def wrapper(*args, **kwargs):
            nonlocal function, amount_of_times, sort_stats_by  # for python 2.x remove this row

            profiled_func = _ProfileFunc(function, sort_stats_by)
            for i in range(amount_of_times):
                retval, ps = profiled_func(*args, **kwargs)
            ps.print_stats()
            return retval  # returns the results of the function
        return wrapper

    if callable(amount_of_times):  # incase you don't want to specify the amount of times
        func = amount_of_times  # amount_of_times is the function in here
        amount_of_times = 5  # the default amount
        return real_decorator(func)
    return real_decorator

实例

剖析函数baz

import time

@cumulative_profiler
def baz():
    time.sleep(1)
    time.sleep(2)
    return 1

baz()

baz跑了5次并打印了以下内容：

         20 function calls in 15.003 seconds

   Ordered by: internal time

   ncalls  tottime  percall  cumtime  percall filename:lineno(function)
       10   15.003    1.500   15.003    1.500 {built-in method time.sleep}
        5    0.000    0.000   15.003    3.001 <ipython-input-9-c89afe010372>:3(baz)
        5    0.000    0.000    0.000    0.000 {method 'disable' of '_lsprof.Profiler' objects}

指定次数

@cumulative_profiler(3)
def baz():
    ...

python wiki是一个用于分析资源的绝佳页面：http://wiki.python.org/moin/PythonSpeed/PerformanceTips#Profiling_Code

python文档也是如此：http://docs.python.org/library/profile.html

如Chris Lawlor所示，cProfile是一个很棒的工具，可以很容易地打印到屏幕上：

python -m cProfile -s time mine.py <args>

或存档：

python -m cProfile -o output.file mine.py <args>

PS>如果您使用的是Ubuntu，请确保安装python配置文件

apt-get install python-profiler 

如果输出到文件，可以使用以下工具获得良好的可视化效果

PyCallGraph：创建调用图图像的工具安装：

 pip install pycallgraph

run:

 pycallgraph mine.py args

视图：

 gimp pycallgraph.png

你可以使用任何你喜欢的方式来查看png文件，我使用了gimp不幸的是，我经常

dot:graph对于cairo渲染器位图太大。缩放0.257079以适合

这使我的图像变得难以使用。所以我通常创建svg文件：

pycallgraph -f svg -o pycallgraph.svg mine.py <args>

PS>确保安装graphviz（提供点程序）：

pip install graphviz

使用gprof2dot通过@maxy/@quodlibetor绘制替代图形：

pip install gprof2dot
python -m cProfile -o profile.pstats mine.py
gprof2dot -f pstats profile.pstats | dot -Tsvg -o mine.svg

我最近创建了金枪鱼，用于可视化Python运行时和导入配置文件；这在这里可能会有所帮助。

使用安装

pip install tuna

创建运行时配置文件

python3 -m cProfile -o program.prof yourfile.py

或导入配置文件（需要Python 3.7+）

python3 -X importprofile yourfile.py 2> import.log

那就把金枪鱼放在档案里

tuna program.prof