是否有一种方法可以让Python程序确定它当前使用了多少内存?我看到过关于单个对象的内存使用情况的讨论,但我需要的是进程的总内存使用情况,这样我就可以确定何时需要开始丢弃缓存的数据。


当前回答

对于基于Unix的系统(Linux、Mac OS X、Solaris),可以使用标准库模块资源中的getrusage()函数。结果对象具有ru_maxrss属性,该属性给出了调用进程的内存使用峰值:

>>> resource.getrusage(resource.RUSAGE_SELF).ru_maxrss
2656  # peak memory usage (kilobytes on Linux, bytes on OS X)

Python文档不记录单位。请参考您的特定系统的man getusage。2页检查该单位的值。在Ubuntu 18.04中,单位是千字节。在Mac OS X上,它是字节。

getrusage()函数也可以被赋予资源。获取子进程和(在某些系统上)资源的使用情况。RUSAGE_BOTH用于总(自我和子)进程使用情况。

如果你只关心Linux,你也可以阅读/proc/self/status或/proc/self/statm文件,就像这个问题和这个问题的其他答案中描述的那样。

其他回答

Linux上当前进程的当前内存使用情况,适用于Python 2、Python 3和pypy,没有任何导入:

def getCurrentMemoryUsage():
    ''' Memory usage in kB '''

    with open('/proc/self/status') as f:
        memusage = f.read().split('VmRSS:')[1].split('\n')[0][:-3]

    return int(memusage.strip())

它读取当前进程的状态文件,取VmRSS:之后的所有内容,然后取第一个换行符之前的所有内容(隔离VmRSS的值),最后切掉最后3个字节,即一个空格和单位(kB)。 为了返回,它删除任何空白并将其作为数字返回。

在Linux 4.4和4.9上进行了测试,但即使是早期的Linux版本也应该工作:在man proc中查找/proc/$PID/status文件中的信息,它提到了一些字段的最低版本(如Linux 2.6.10的“VmPTE”),但“VmRSS”字段(我在这里使用)没有这样的提及。因此,我认为它已经在那里的早期版本。

我喜欢,谢谢@拜耳。现在我有了一个特定的进程计数工具。

# Megabyte.
$ ps aux | grep python | awk '{sum=sum+$6}; END {print sum/1024 " MB"}'
87.9492 MB

# Byte.
$ ps aux | grep python | awk '{sum=sum+$6}; END {print sum " KB"}'
90064 KB

附上我的流程清单。

$ ps aux  | grep python
root       943  0.0  0.1  53252  9524 ?        Ss   Aug19  52:01 /usr/bin/python /usr/local/bin/beaver -c /etc/beaver/beaver.conf -l /var/log/beaver.log -P /var/run/beaver.pid
root       950  0.6  0.4 299680 34220 ?        Sl   Aug19 568:52 /usr/bin/python /usr/local/bin/beaver -c /etc/beaver/beaver.conf -l /var/log/beaver.log -P /var/run/beaver.pid
root      3803  0.2  0.4 315692 36576 ?        S    12:43   0:54 /usr/bin/python /usr/local/bin/beaver -c /etc/beaver/beaver.conf -l /var/log/beaver.log -P /var/run/beaver.pid
jonny    23325  0.0  0.1  47460  9076 pts/0    S+   17:40   0:00 python
jonny    24651  0.0  0.0  13076   924 pts/4    S+   18:06   0:00 grep python

参考

内存- Linux:找出什么进程正在使用所有的RAM?—超级用户 Python进程使用的内存总数?-堆叠溢出 linux - ps aux输出含义-超级用户

在unix上,你可以使用ps工具来监视它:

$ ps u -p 1347 | awk '{sum=sum+$6}; END {print sum/1024}'

其中1347是某个进程id。同样,结果的单位是MB。

对于Python 3.6和psutil 5.4.5,使用这里列出的memory_percent()函数更容易。

import os
import psutil
process = psutil.Process(os.getpid())
print(process.memory_percent())

在Windows上,你可以使用WMI(主页,cheeseshop):

def memory():
    import os
    from wmi import WMI
    w = WMI('.')
    result = w.query("SELECT WorkingSet FROM Win32_PerfRawData_PerfProc_Process WHERE IDProcess=%d" % os.getpid())
    return int(result[0].WorkingSet)

在Linux上(来自python烹饪书http://code.activestate.com/recipes/286222/:

import os
_proc_status = '/proc/%d/status' % os.getpid()

_scale = {'kB': 1024.0, 'mB': 1024.0*1024.0, 'KB': 1024.0, 'MB': 1024.0*1024.0}

def _VmB(VmKey):
    '''Private.'''
    global _proc_status, _scale
     # get pseudo file  /proc/<pid>/status
    try:
        t = open(_proc_status)
        v = t.read()
        t.close()
    except:
        return 0.0  # non-Linux?
     # get VmKey line e.g. 'VmRSS:  9999  kB\n ...'
    i = v.index(VmKey)
    v = v[i:].split(None, 3)  # whitespace
    if len(v) < 3:
        return 0.0  # invalid format?
     # convert Vm value to bytes
    return float(v[1]) * _scale[v[2]]

def memory(since=0.0):
    '''Return memory usage in bytes.'''
    return _VmB('VmSize:') - since

def resident(since=0.0):
    '''Return resident memory usage in bytes.'''
    return _VmB('VmRSS:') - since

def stacksize(since=0.0):
    '''Return stack size in bytes.'''
    return _VmB('VmStk:') - since