本文介绍: 这里,self.data_list是dataset类中保存数据字典的列表,index是列表索引。在模型训练的全部过程中,都使用该字典进行数据在不同模型和模块中的传递。由于数据字典始终被dataset所引用,故在全程序运行过程中会始终存在,包括不断加入字典的新数据,因此需要此行代码为。近日,在模型训练过程中,发现过一段时间后进程会被kill,观察发现是由于内存泄漏问题造成的。
近日,在模型训练过程中,发现过一段时间后进程会被kill,观察发现是由于内存泄漏问题造成的。通过逐行代码注释,发现问题在于数据集中的此行代码:
这里,self.data_list是dataset类中保存数据字典的列表,index是列表索引。在模型训练的全部过程中,都使用该字典进行数据在不同模型和模块中的传递。由于数据字典始终被dataset所引用,故在全程序运行过程中会始终存在,包括不断加入字典的新数据,因此需要此行代码为
声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。