欢迎光临
我们一直在努力

程序员并行dask for循环比常规循环慢? – python

程序员面试经验

如果我尝试用dask并行化for循环,它的执行速度将比常规版本慢。基本上,我只是按照dask教程中的介绍性示例进行操作,但是由于某种原因,它最终还是失败了。我究竟做错了什么?

In [1]: import numpy as np    ...: from dask import delayed, compute    ...: import dask.multiprocessing  In [2]: a10e4 = np.random.rand(10000, 11).astype(np.float16)    ...: b10e4 = np.random.rand(10000, 11).astype(np.float16)  In [3]: def subtract(a, b):    ...:     return a - b  In [4]: %%timeit    ...: results = [subtract(a10e4, b10e4[index]) for index in range(len(b10e4))] 1 loop, best of 3: 10.6 s per loop  In [5]: %%timeit    ...: values = [delayed(subtract)(a10e4, b10e4[index]) for index in range(len(b10e4)) ]    ...: resultsDask = compute(*values, get=dask.multiprocessing.get) 1 loop, best of 3: 14.4 s per loop 

python大神给出的解决方案

两个问题:

Dask会为每个任务带来大约一毫秒的开销。您将要确保您的计算花费的时间明显更长。
使用多处理调度程序时,数据会在进程之间进行序列化,这可能会非常昂贵。见http://dask.pydata.org/en/latest/setup.html

Python sqlite3数据库已锁定 – python

我在Windows上使用Python 3和sqlite3。我正在开发一个使用数据库存储联系人的小型应用程序。我注意到,如果应用程序被强制关闭(通过错误或通过任务管理器结束),则会收到sqlite3错误(sqlite3.OperationalError:数据库已锁定)。我想这是因为在应用程序关闭之前,我没有正确关闭数据库连接。我已经试过了: connectio…

用大写字母拆分字符串,但忽略AAA Python Regex – python

我的正则表达式:vendor = "MyNameIsJoe. I'mWorkerInAAAinc." ven = re.split(r'(?<=[a-z])[A-Z]|[A-Z](?=[a-z])', vendor) 以大写字母分割字符串,例如:’我的名字是乔。 I’mWorkerInAAAinc”变成…

子条件的python条件覆盖 – python

我试图找到一个python代码覆盖率工具,该工具可以衡量语句中是否包含子表达式:例如,我想看看下面的示例是否涵盖了condition1 / condition2 / condtion3?if condition1 or condition2 or condition3: x = true_value python大神给出的解决方案 对此的唯一合理答案是:当前…

USB设备发行 – python

我目前正在使用PyUSB。由于我不熟悉USB,所以我不知道如何执行以下操作。我已经从Python PyUSB成功连接到我的USB设备硬件。在代码中,我需要重置USB设备硬件。通过向硬件发送命令来完成。现在,在硬件重置后,我想从Python PyUSB释放当前的USB设备。然后,我想在重置后将其重新连接到USB设备硬件。请让我知道,如何释放USB设备连接和接口…

Python-熊猫描述了抛出错误:无法散列的类型“ dict” – python

更新:我正在使用“ Socrata开源API”中的一些示例代码。我在代码中注意到以下注释:# First 2000 results, returned as JSON from API / converted to Python # list of dictionaries by sodapy. 我不熟悉JSON。我已经下载了一个数据集,并创建了一个包含大量…

赞(0)
未经允许不得转载: 京大飞辅助网程序员面试-区块链javago面经 » 程序员并行dask for循环比常规循环慢? – python

相关推荐

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址