cuda112对应的pytorch cuda112对应的显卡驱动

[踩坑]编译CUDA算子时NVCC报错的解决

在使用BasicSR时需要编译CUDFigure1给我们展示了使用 torch.fx.symbolic_trace 捕获程序的例子，输入可以是一个 torch.nn.Module 或者函数，并且捕获之后的结构被存在一个Graph对象里面。该 Graph 对象和 GraphModule 中的模块参数相结合， GraphModule 是 torch.nn.Module 的子类，其 forward 方法运行捕获的 Graph 。我们可以打印此图的 Nodes 以查看捕获的 IR。 placeholder 节点表示输入，单个 output 节点表示 Graph 的结果。 call_function 节点直接引用了它将调用的 Python 函数。 call_mod 节点直接调用其个参数的方法。 Graph 被重组为 Python 代码（ traced.code ）以供调用。A算子，然而出现报错

cuda112对应的pytorch cuda112对应的显卡驱动

他的问题是gcc版本跟torch版本不匹配，但是我看了一下我的gcc版本7.3.1应版本不匹配。指定CUDAToolkit版本根据表一查询到可安装的CUDAToolkit版本，384.81对应的CUDAToolkit版本为9.0。运行condainstallpytorchcudatoolkit=9.0-cpytorch即可。该是匹配的，试了一下安装7.3.0同样报错。

然后寻找其他的issue，直到看到pytorch有一个issue也是 同样的问题 ，楼里有个人说cuda10.1初始版本10.1.105有问题，需要升级，所以升级了一下cuda版本到10.1.243，问题解决

RTX 2060Super可以用作机器学习、神经网络训练么？

torch.fx 变换pipline的阶段是代码生成。 torch.fx 并不是退出 Python 生态系统并进入定制的运行时，而是从变换后的 IR 生成有效的 Python 源代码。然后将此变换后的代码加载到 Python 中，生成一个可调用的 Python 对象，并作为 forward 方法安装在 GraphModule 实例上。使用代码生成允许将 查了很多资料，首先是basicsr的issue上面有人遇到 同样的问题 torch.fx 变换的结果安装在模型中并用于进一步的变换。例如，在图3中，我们拿到trace原始程序的结果并将其安装为新模块中的激活函数。

RTX游戏显卡可以运行机器学习的程序，但是英伟达的游戏卡对双精度及混合精度运算都比较，所以用游戏卡跑只能说能运行，效率肯定是不怎么样的，如果你有这方面的需求建议选择Tesla计算卡或者部分Quadro显卡型号。

pytorchgpu版可以打包exe吗

这一节主要对一些相关工作进行了展开，以此来突出 torch.fx 的核心卖点，就是说我虽然不能像TorchScript这样的IR处理一些比较难的Case（比如动态控制流），但是我在神经网络这个领域里做得够用就可以了。最关键的是我的实现很简单，是纯Python的库，这样用户写变换就会很简单，学习成本会很小并且易用。（简单不代表不强大！

该版本可以打包成exe文件。

PyTorch的GPU版本可以打包成exe文件。但是，在打包过程中需要注意一些问题。例如，打包时需要使用支持GPU加速的编译器，如NVFlashText证明了算法和数据结构设计的重要性，即使对于简单的问题，更好的算法也能够轻松超越在快 CPU上运行的朴素实现。CC编译器。此外，在打包过程中还需要将CUDA库和cuDNN库添加到编译器的链接路径中。

另外，需要注意的是，打包exe文件时需要将所有的依赖项都打包进去，包括PyTorch和其他必要的库。这可以通过使用打包工具（如pyinstaller、cx_Freeze等）来实现。同时，在打包时还需要注意目标系统的架构（32位或64位）和作系统类型（Windows、Linux、MacOS等）。

stable diffusion Dreambooth训练过程提示错误？

torch.fx 的符号跟踪机制使用一个Proxy数据结构来记录给定一个输入之后经过了哪些Op。Proxy是一个duck-typed类型的Python类记录了在它之上的的属性访问和调用方法，是程序中真实Op的上层抽象。duck-typed可以看一下这里的介绍： 。PyTorch的算子以及Python子集的某些函数都会被这个Proxy包装一次，然后在符号跟踪传入的是一个 nn.Module 时，会对这个 nn.Module 中的子 nn.Module 也进行Proxy包装，当然还包含输入数据。这样程序中的输入和其它Op都是duck-typed类型的Proxy对象，我们就可以执行这个程序了，也就是符号跟踪的过程。符号跟踪的过程通过一个 Tracer 类进行配置，它的方法可以被重写以控制哪些值被作为Proxy对象保留，哪些值被unpack。（Proxy记录下来的Op可以进行unpack，unpack之后可以拿到真实的Tensor, Parameter和运算符等等）。通过Proxy和Tracer类的配合， torch.fx 就可以完成PyTorch程序的符号跟踪，需要注意的是这里的符号跟踪的意思就是运行一遍这个被之后的 nn.Module 的forward。

这个错误表明在使用 CUDA 进行计算时遇到了非法内存访问。以下是一些建议和可能的解决方案：

A.pyml(a python module for machine learning，支持svm/knn/k-means==)

更新驱动和 CUDA：确保您的显卡驱动和 CUDA 工具包都是版本。更新它们可能会解决此问题。

设置 CUDA_LAUNCH_BLOCKING：在运行程序之前，设置环境变量 CUDA_LAUNCH_BLOCKING=1，这将使 CUDA 内核同步运行，可能帮助您找到问题所在。在终端或命令提示符中输入以下内容：

export CUDA_LAUNCH_BLOCKING=1

对于 Windows PowerShell，使用：

$env:CUDA_LAUNCH_BLOCKING = 1 检查内存分配：确保您没有分配超过 GPU 上可用内存的张量。您可以使用 和 函数检查已分配和预留的 GPU 内存。

检查代码中的错误：仔细检查您的代码，确保没有错误的内存访问，例如越界访问或未初始化的变量。这可能需要仔细审查与 CUDA 相关的所有作。

降低 GPU 的超频：如果您的 GPU 被超频，可能会导致不稳定的行为。尝试将 GPU 的超频设置恢复到默认值。

使用更低的并行度：尝试降低模型和数据加载器的批次大小和工作线程数。这可能有助于减轻 GPU 内存压力。

如果您使用的是秋叶一键包（一个预先配置好的，您可以尝试在运行训练脚本之前设置环境变量。以下是如何在不同作系统中设置环境变量的方法：

对于 Windows 命令提示符：

打开命令提示符。

在命令提示符中，输入以下命令并按 Enter：

set CUDA_LAUNCH_BLOCKING=1 在同一个命令提示符窗口中，运行秋叶一键包的训练脚本。

对于 Windows PowerShell：

打开 PowerShell。

$env:CUDA_LAUNCH_BLOCKING = 1 在同一个 PowerShell 窗口中，运行秋叶一键包的训练脚本。

对于 Linux 或 macOS 终端：

打开终端。

在终端中，输入以下命令并按 Enter：

export CUDA_LAUNCH_BLOCKING=1 在同一个终端窗口中，运行秋叶一键包的训练脚本。

设置环境变量后，尝试再次运行训练脚本。

这个错误提示是在使用CUDA进行深度学习训练时出现的。它的意思是CUDA内核错误可能会在其他API调用时异步报告，因此下面的堆栈跟踪可能不正确。为了进行调试，可以考虑传递CUDA_LAUNCH_BLOCKING=1。

这个错误提示建议您在进行CUDA深度学习训练时，将CUDA_LAUNCH_BLOCKING设置为1，以便在内核错误发生时立即停止程序并打印错误信息，以便更好地进行调试。可以在训练代码中添加以下代码来设置CUDA_LAUNCH_BLOCKING：

```python

import os

os.environ['CUDA_LAUNCH_BLOCKING'] = "1"

```

这样，在训练过程中如果出现内核错误，程序会立即停止并打印错误信息，方便进行调试。

这个错误提示通常与PyTorch使用CUDA有关。"CUDA kernel errors might be asynchronously reported at some other API call"意味着在PyTorch的某个异步API调用时可能会发生CUDA kernel错误，这可能导致下面的堆栈跟踪不正确。

"consider passing CUDA_LAUNCH_BLOCKING=1"是一个建议，可以通过在训练脚本中设置环境变量来启用CUDA_LAUNCH_BLOCKING。这将使PyTorch在每个CUDA kernel的启动时进行同步，并且可能有助于更准确地确定错误。

export CUDA_LAUNCH_BLOCKING=1

然后再重新运行你的训练脚本即可。

cuda11.8找不到对应的pytorch

Fire是一个开源库，可以为任何Python项目B.milk(python的机器学习工具包，主要是针对监督学习，包括svm/knn/决策树)自动生成一个命令行界面。你几乎不需要编写任何代码或者文档，你只需要调用一个Fire方法并把它传递给你想要的命令行界面：一个函数、一个对象、一个类、一个库，甚至不传递任何参数。

用沐神的方法阅读PyTorch FX论文

在终端或脚本中执行以下命令即可设置环境变量：

作者丨BBuf

在 PowerShell 中，输入以下命令并按 Enter：

编辑丨极市平台

torch.fx 对于PyTorch来说确实是一个比较好的工作，因为它消除了一些动态图和静态图的Gap。比如在图改写方面， torch.fx 让PyTorch想做一些其它静态图框架的算子融合优化非常容易。并且 torch.fx 让后训练量化和感知训练量化以及AMP等的实现难度大大降低，这得益于我们可以直接在Python层作这个IR，所以我认为这是一个不错的工作。尤其是对使用PyTorch开发的算法工程师来说，现在可以基于这个特性大开脑洞了。 torch.fx 的卖点就是，它使用纯Python语言实现了一个可以捕获PyTorch程序的计算图并转化为一个IR的库，并且非常方便的在这个IR上做Pass，同时提供将变换后的IR Codegen合法的Python代码功能。我觉得算是达到了在Eager下写Pass就像做链表插入删除题目一样顺滑。

PyTorch FX论文的链接在： 。

下面我就以沐神的论文阅读顺序来分享一下阅读体验，帮助大家搞清楚PyTorch FX这个特性到底是什么，以及它可以在PyTorch中发挥什么作用。

摘要部分简单指明了像PyTorch这种基于动态图执行模式的深度学习框架虽然提升了用户的易用性。但是在一些真实场景中，用户可能是需要捕获和变换程序结构（也可以直接理解为神经网络的结构）来进行性能优化，可视化，分析和硬件调优等。为了解决这个痛点，PyTorch设计了 torch.fx 这个模块来做PyTorch程序的捕获和变换，这个模块是纯Python开发的。

这一节主要是讲了一下 torch.fx 的卖点，就是说动态图虽然易用性很强，但是图结构不能被提前感知和变换，但通过这篇论文的 torch.fx 模块，这件事就成啦！

早期的图模式或者叫 define-and-run 的静态图框架有Caffe，TensorFlow等，它们设计了一个表示图的IR，用户通过调用这些框架提供的API来构建IR。然后我们可以在这个IR上做程序微分，将IR切分到设备上实现并行，量化，性能优化等等。但这些事情一般都要求开发者在领域特定的语言上去做，比如以OneFlow的静态图模式为例，要做图切分，量化，性能优化等都需要基于C++去开发，并且调试也会相对比较难（要借助pdb，gdb等等专业工具）。

现在的eager模式或者叫 define-by-run 的动态图框架有PyTorch，TensorFlow Eager模式等，它们可以随心所欲的让用户基于脚本语言编程并且可以解决大多数的训练（基于自动微分）和预测任务。但是有一些变换比如 「量化和算子融合」 是不能直接做的，而这一点在静态图模式下则很简单。为了消除这种Gap，动态图框架需要一种从用户的程序捕获图结构的方法来使能这些变换。

在捕获和变换程序时，eager和graph模式的深度学习框架都必须在 「捕获程序结构」 、 「程序特化」 和 「保存程序的IR的设计」 方面做出选择。这些选择的组合决定了可在框架中表示的 「程序空间」 、 「编写变换的难易程度」以及「生成的变换程序的性能」 。 「一般来说，支持程序的高性能运行需要更复杂的捕获框架和IR，从而使转换更难编写」 。每一段相关工作我就不详细过了，只描述每一段工作的核心是在说什么，相关细节大家可以查看原始论文。

这一节提到了PyTorch的 jit.trace ，MxNet Gluon，TensorFlow的 tf.function 等程序捕获方法，并指出这些方法只能处理Python的一些子集。然后，TorchScript通过在AST上分析可以处理控制流和更多的Python语法。然后还提了一下Julia和Swift For TensorFlow中将捕获程序结构的接口集成到了非Python的宿主语言中，要使用的话需要用户放弃Python生态系统。

对于 a+b 这个Python语句来说，这个表达式对 a 和 b 的类型没有限制。但当深度学习框架捕获程序时一般会对这两个变量进行特化，以便它们只对特定类型或者张量有效。在深度学习框架中处理的大多数程序都是特化类型的程序，特化程度越高，能够处理的输入就越少。例如 torch.jit.trace 在执行trace的时候只能处理某些拥有合法输入shape的输入。接下来还讨论了LazyTensor和Jax的 jit 来说明为了更好的处理特化程序中捕获的失败，它们做了哪些努力。

深度学习框架都有自己的IR设计，Caffe和TensorFlow使用Protocol Buffers格式。而PyTorch和MxNet使用C++数据结构来表示IR并额外绑定到Python。这些IR设计在runtime阶段表现都会比较好并且可以统一被序列化。但从另外一个角度来说，这些IR表示相比于纯Python语言的表示都需要更高的学习成本。接下来，这一节讨论了控制流和状态的问题，用来表明要处理这些问题需要设计较为复杂的IR以及要基于这个IR做较为复杂的分析才行。

基于上面几点，论文提出了 torch.fx 的基本设计原则：

以简单为基本原则， torch.fx 通过符号跟踪来捕获程序，并通过一个简单的6个指令的IR来表示它们，并基于这个IR重新生成Python代码来运行它。为了避免JIT特化中的重捕获的复杂性， torch.fx 没有对程序本身进行特化，而是依靠变换来决定在捕获期间需要实现哪些特化。用户也可以配置符号跟踪的过程来实现自定义捕获需求。

Figure2展示了使用 torch.fx 进行变换的示例。变换是找到一个激活的所有实例并将它们替换为另一个。在这里，我们使用它来将 gelu 替换 relu 。

torch.fx 的中间表示（IR）由一个Python数据结构 Graph 来做的。这个 Graph 实际上是一个包含一系列 Node 的线性表。节点有一个字符串作码 opcode ，描述节点代表什么类型的作（作码的语义可以在附录 A.1 中找到）。节点有一个关联的目标，它是调用节点（ call_module 、 call_function 和 call_mod ）的调用目标。，节点有 args 和 kwargs ，在trace期间它们一起表示 Python 调用约定中的目标参数（每个opcode对应的 args 和 kwargs 的语义可以在附录 A.2 中找到）。节点之间的数据依赖关系表示为 args 和 kwargs 中对其他节点的引用。

torch.fx 将程序的状态存储在 GraphModule 类中。 GraphModule 是转换程序的容器，暴露转换后生成的代码，并提供 nn.Module 类似的参数管理APIs。 GraphModule 可以在任何可以使用普通的 nn.Module 的地方使用，以提供转换后的代码和PyTorch 生态系统的其余部分之间的互作性。

到这里PyTorch FX特性就精读完了，但查看FX的论文可以发现还有一节叫作Design Decisions，分别介绍了Symbolic Tracing，Configurable Program Capture，AoT Capture without Specialization，Python-based IR and Transforms等等FX实现中依赖的一些想法和 决策，以及它们的好处等。我理解这一节就是Introduction的加强版，所以就不继续讲解这一小节了，如果你担心会错过什么细节知识可以阅读论文原文。

torch.fx 的一个目标就是简化深度学习模型产生的IR，下面的Figure5以ResNet50为例展示了TorchScript IR和 torch.fx IR的别，相比于TorchScript IR， torch.fx IR确实简单并且可读性更强。

我们知道后量化以及量化感知训练可以提示程序推理时的性能，下面的Figure6就展示了基于 torch.fx 实现的后量化（使用FBGEMM量化算子）应用在DeepRecommender模型之后，在In Xeon Gold 6138 CPU @2.00GHz上的性能表现。基于 torch.fx 实现的后量化模型推理速度相比float类型的模型要高3.3倍。并且基于 torch.fx 实现量化作相比基于TorchScript IR要简单很多。

除此之外 torch.fx 还可以应用在FLOPs计算，内存带宽使用分析，工作负载的数据值大小估计等，用来分析程序运行时的内存和速度。 torch.fx 还可以用在形状推断，以及模型对应的DAG可视化作图等等。

， torch.fx 在runtime阶段还支持通过ASIC加速（即将 torch.fx 中的算子lowering到对应的ASIC上），下面的Figure8展示了基于 torch.fx 推理ResNet50和LearningToPaint并将算子lowering到TensorRT之后的加速情况：

torch.fx 对于PyTorch来说确实是一个比较好的工作，因为它消除了一些动态图和静态图的Gap。比如在图改写方面， torch.fx 让PyTorch想做一些其它静态图框架的算子融合优化非常容易。并且 torch.fx 让后训练量化和感知训练量化以及AMP等的实现难度大大降低，这得益于我们可以直接在Python层作这个IR，所以我认为这是一个不错的工作。尤其是对使用PyTorch开发的算法工程师来说，现在可以基于这个特性大开脑洞了。我之前围绕FX也做了一个QAT的工作，感兴趣可以阅读：基于OneFlow实现量化感知训练：

总结一下， torch.fx 的卖点就是，它使用纯Python语言实现了一个可以捕获PyTorch程序的计算图并转化为一个IR的库，并且非常方便的在这个IR上做Pass，同时提供将变换后的IR Codegen合法的Python代码功能。我觉得算是达到了在Eager下写Pass就像做链表插入删除题目一样顺滑。

沐神的论文阅读方法，感觉确实比较科学，文章末尾再赞一次。

python 机器学习 用什么库

Pendulum的优势之一在于，它是Python标准datetime替代品，因此你可以轻松地将其与现有的代码集成，并且在你需要的时候才使用它的功能。Pendulum的作者特别注意时间分区的处理，默认在每个实例中时间分区是可用的，并且以UTC计时。你也可以获得扩展timedelta来简化datetime的计算。

（1）scikit-learn

Pipenv是Kenn Reitz的业余项目，旨在将其他软件包整合到Python里。它不需要安装virtualenv,virtualenvwrapper，不用管理requirements.txt文件，并且不用确保依赖版本的可复现性。通过Pipenv，你可以在Pipfile中指定依赖项。该工具可生成一个Pipfile.lock文件，使你的构建更具确定性，避免产生难以查找的Bug。

（2）Orange

机器学习是其的功能之一，主要还是侧重数据挖掘，可以用可视化语言或Python进行作，拥有机器学习组件，还具有生物信息学以及文本挖掘的插件。

shogun，非日本的老外弄的一个机器学习库，还专门配了一个我们能看懂的日文名“将军”（是日本幕府时代的将军）。文档齐全，开发活跃，更新快，运算速度也很快。主攻大尺度的核函数，尤其是大尺度核函数下的SVM。具有很多SVM的高级用法，比如多核配用等。支持Python、R、C++、Matlab等语言。

（4）其它

1.Pipenv

2.PyTorch

PyTorch是Facebook深度学习框架，源于Torch框架，同时改善了Torch框架，基于python语言，由于实现了动态计算图范式，PyTorch已经成为众多研究人员的框架之一，可以计算梯度，而且非常快，可扩展性强。

3.Caffe2

Caffe2支持分布式训练、部署，新的CPU和支持CUDA的硬件。PyTorch可能更适合做研究，而Caffe2更加适合大规模部署，就像在Facebook上看到的那样。另外，你可以在PyTorch里构建并训练模型，同时用Caffe2部署。

4.Pendulum

5.Dash

Dash是一个可构建Web应用，尤其是数据可视化Web应用的纯Python开源库。它建立在Flask、Plotly和React之上，并提供这几个框架的函数抽象接口，从而开发者不必学习这些框架，高效开发。这些应用程序可在浏览器和移动设备中使用。

6.PyFlux

PyFlux是专门针对时间序列开发的Python开源库。时间序列研究是统计学和经济学的子领域，其目的是用于描述时间序列的行为，同时也预测时序未来的行为状态。

7.Fire

8.imbalanced-learn

imbalanced-learn是一个Python库，它提供了相关的技术来解决数据不平衡的问题。另外，它和scikit-learn兼容，并且是scikit-learn-contrib项目的一部分，非常有用。

9.FlashText

10.Luminoth

Luminoth是一个用TensorFlow和Sonnet构建的开源的计算机视觉Python工具包。它可直接支持物体检测，背后支持的模型是Faster R-。

torch带不带cu有什么区别

来源丨GiantPandaCV

使用起来不方便。CUDA呢他其实是一个框架，在这个框架上它支持GPU的使用，所以我们后面装的torch库和torchvision库都是ctorch.fx 还可以做Op融合，Figure7展示了基于 torch.fx 做了Conv+BN融合后应用在ResNet50上，在n NVIDIA Tesla V100-SXM2 16GB with CUDA version 11.0 和 In Xeon Gold 6138 CPU @ 2.00GHz的性能表现，可以看到在GPU上减少了约6%的latency，在CPU上减少了约40%的latency（多线程）和约18%的latency（单线程）。u版本的，相当于把这个框架也给装了进去。

在pytorch中运行py代码出现如下错误，求大神帮助 RuntimeError: CUDA error: unknown error

import os import csv TRAIN_IMG_DI（3）shogunR = '/home/yourname/Documents/tensorflow/images/500pics2/train' TRAIN_CSV_DIR = '/hoPython下做机器学习，首推scikit-learn。该项目文档齐全、讲解清晰，功能齐备，使用方便，而且社区活跃。me/yourname/Documents/tensorflow/images/500pics2/train_labels.csv' TEST_IMG_DIR = '/home/yourname/Documents/tensorflow/images/500pics2/test' TEST_CSV_DIR = '/home/yourname/Documents/tensorflow/images/500pics2/test_labels.csv' def mkcsv(img_dir, csv_dir): list = [] list.append(['File Name','Label']) for file_name in os.listdir(img_dir): if file_name[0] == '3': #bus = [file_name, 0] elif file_name[0] == '4': #dinosaur = [file_name, 1] elif file_name[0] == '5': #elephant = [file_name, 2] elif file_name[0] == '6': #flower = [file_name, 3] else: = [file_name, 4] #horse list.append() print(list) f = open(csv_dir, 'w', newline='') writer = csv.writer(f) writer.writerows(list) mkcsv(TRAIN_IMG_DIR, TRAIN_CSV_DIR) mkcsv(TEST_IMG_DIR, TEST_CSV_DIR)