欢迎光临
我们一直在努力

字节跳动为什么在具有相同硬件的不同计算机上读取sqlite数据库速度较慢? – python

程序员面试经验

好的,所以我正在观察某些我肯定会称之为“意外”的行为,并且我很好奇是否有人可以提供并了解地球上正在发生的事情。我会尽量保持简洁…

我有一个sqlite数据库,我正在使用Python(150k行,11个表)访问该数据库,以进行神经网络训练。两端无关紧要,但这意味着我的数据点以较大的blob的形式存储在一个表中,并且数据库大约为5GB。因为我只提取某些行(由于交叉验证或其他类型的过滤),所以我发现在某些有意义的列上建立索引可以显着提高速度。当阳光明媚时,我可以在2秒钟左右选择,获取并格式化大约500个数据点。这很棒。

但是,正如熟悉神经网络/反向传播软件/ SGD的任何人都可以证明的那样,根据数据和架构的不同,此过程可能会花费很长时间。为了使事情达到最佳并行化,我已购置了多台机器(Mac Pro,8GB RAM,16个知道速度的内核),以便在不同条件下以不同线程启动训练方案。由于内存的限制,上限大约是6或7个独立的线程,每个线程都访问同一数据库文件。现在,据我所知,这些机器是相同的。

这就是奇怪的地方。最初,我的基准计算机上的性能非常出色,并且并行线程数从未使速度变慢(一个线程与七个线程基本相等)。当我第一次将此数据库文件复制到其他计算机(并重新创建索引)时,一个速度与基准速度相同,但另一个速度则比基准速度快两倍。我当时(当时)认为这是硬件差异,然后继续生活。然后,修改了sqlite数据库并重新复制到所有计算机后,它现在在以前速度较慢的计算机上速度很快,而所有其他计算机的性能(包括基准)则较慢。

我不明白我对所有实例都做了同样的事情。数据库文件在复制时是相同的,然后删除/创建相同的索引,因为我敢肯定sqlite索引是指磁盘上的绝对位置。我在Unix环境中,因此文件碎片不应该成为罪魁祸首(对吗?)。并发在某些配置中似乎不是问题,而其他配置则会导致瓶颈。从那以后我检查了一下,发现机器实际上在纸上是一样的。对我来说,最令人困惑的部分是,在一台机器的配置中性能是不同的。

我真的很茫然。任何方向都将不胜感激。我绝不是精通关系数据库编程,但是在这一点上我没有想法。

更新:我可能已经“解决”了我的问题,但是这个问题绝没有得到解决。我发现,如果我基本上在每个系统上重新启动数据库文件,则最终可以使机器之间的性能相同。该过程类似于…

    while unhappy:  1. Drop all indexes  2. Create new indexes  3. Make a handful of select/fetch calls  4. Commit / quit / restart 

一段时间后,它似乎可以使人满意。不知道为什么。

参考方案

如果未使用auto_vacuum = FULL运行数据库,则可能是数据库文件中的数据结构有些碎片。您是否尝试在数据库上运行VACUUM?

Python sqlite3数据库已锁定 – python

我在Windows上使用Python 3和sqlite3。我正在开发一个使用数据库存储联系人的小型应用程序。我注意到,如果应用程序被强制关闭(通过错误或通过任务管理器结束),则会收到sqlite3错误(sqlite3.OperationalError:数据库已锁定)。我想这是因为在应用程序关闭之前,我没有正确关闭数据库连接。我已经试过了: connectio…

Python GPU资源利用 – python

我有一个Python脚本在某些深度学习模型上运行推理。有什么办法可以找出GPU资源的利用率水平?例如,使用着色器,float16乘法器等。我似乎在网上找不到太多有关这些GPU资源的文档。谢谢! 参考方案 您可以尝试在像Renderdoc这样的GPU分析器中运行pyxthon应用程序。它将分析您的跑步情况。您将能够获得有关已使用资源,已用缓冲区,不同渲染状态上…

Python:图像处理可产生皱纹纸效果 – python

也许很难描述我的问题。我正在寻找Python中的算法,以在带有某些文本的白色图像上创建皱纹纸效果。我的第一个尝试是在带有文字的图像上添加一些真实的皱纹纸图像(具有透明度)。看起来不错,但副作用是文本没有真正起皱。所以我正在寻找更好的解决方案,有什么想法吗?谢谢 参考方案 除了使用透明性之外,假设您有两张相同尺寸的图像,一张在皱纹纸上明亮,一张在白色背景上有深…

Python uuid4,如何限制唯一字符的长度 – python

在Python中,我正在使用uuid4()方法创建唯一的字符集。但是我找不到将其限制为10或8个字符的方法。有什么办法吗?uuid4()ffc69c1b-9d87-4c19-8dac-c09ca857e3fc谢谢。 参考方案 尝试:x = uuid4() str(x)[:8] 输出:"ffc69c1b" Is there a way to…

python:ConfigParser对象,然后再阅读一次 – python

场景:我有一个配置文件,其中包含要执行的自动化测试的列表。这些测试是长期循环执行的。   配置文件的设计方式使ConfigParser可以读取它。由于有两个三个参数,因此我需要通过每个测试。现在,此配置文件由script(s1)调用,并且按照配置文件中的列表执行测试。Script(s1)第一次读取配置,并且在每次测试完成后都会执行。阅读两次的要求:由于可能会…

赞(0)
未经允许不得转载: 京大飞辅助网程序员面试-区块链javago面经 » 字节跳动为什么在具有相同硬件的不同计算机上读取sqlite数据库速度较慢? – python

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址