Activity

1. paddle-bot

   assigned

   Wangzheee

   on May 9, 2025
2. luotao1

   assigned

   luotao1

   ,

   DanielSun11

   and

   wanghuancoder

   and unassigned

   Wangzheee

   on May 9, 2025
3. luotao1

   added this to Call for Contributionson May 9, 2025
4. luotao1

   moved this to In Progress in Call for Contributionson May 9, 2025
5. luotao1

   changed the title [-]【开源任务】 对Paddle部分API不支持0-size Tensor问题的修复[/-] [+]【开源任务】 Paddle API 0-size 机制建设[/+] on May 9, 2025
6. DanielSun11 commented on May 14, 2025

   

   DanielSun11

   on May 14, 2025

   Last edited by luotao1

   ContributorAuthor

   More actions

   Develop已经修复的任务（无需认领）：

   • 328 paddle.Tensor.remainder
   • 227 paddle.nn.functional.tanh
   • 135 paddle.minimum

   ---

   表格中的一些名词的解释：

   • 分类标注列：
     shape_diff：API存在与Torch返回的shape的diff问题
     coredump：Paddle崩溃，Segment Fault或者CUDA 9
     paddle_error：Torch能跑，Paddle报Enforce错误
   • CPU/GPU/testcase列：
     CPU：在CPU上跑有问题
     GPU：在GPU上跑有问题
     TestCase：CPU、GPU都没问题了，需要看看XPU是否存在问题并补充单测

   2.2 修复主要流程

   1. Check InferMeta正确性（如有必要同步修改符号推导，少部分API会涉及）
   2. 改前向Kernel、改反向Kernel
   3. 保证所有Kernel都改到（CPU、GPU、XPU、OneDNN、Sparse、SelectedRows）
   4. 加单测，包括反向专门测试单测和op Test
   5. 改组合算子（少部分API会涉及）
   6. PaddleAPITest回测

   2.3 修复1个API的详细示例

   以paddle.maximum为例，参考PR：#71829

   1. 在PaddleAPITest report/0size_tensor中检索paddle.maximum的错误日志，发现大概率是反向Shape推导的问题。但按规矩应该如下全面排查：

   2025-03-10 10:16:20.895948 test begin: paddle.maximum(Tensor([0, 1, 2],"float32"), Tensor([1, 3598, 2],"float32"), )
   
   [accuracy error] backward  paddle.maximum(Tensor([0, 1, 2],"float32"), Tensor([1, 3598, 2],"float32"), ) 
    
   Not equal to tolerance rtol=0.01, atol=0.01
   
   (shapes (0, 2), (0, 1, 2) mismatch)
    x: array([], shape=(0, 2), dtype=float32)
    y: array([], shape=(0, 1, 2), dtype=float32)
   
   

   2. 前向修复：
      a. 在Paddle代码中检索def maximum，发现maximum的核心实现调用的是_C_ops的maximum
      b. 以_C_ops的maximum在paddle/phi/ops/yaml中检索，发现maximum的InferMeta函数使用到两个：ElementwiseInferMeta,ElementwiseRawInferMeta
      c. 在代码中检索ElementwiseInferMeta,ElementwiseRawInferMeta，并检查其dims(shape)的推导是否正确（在maximum中他的推导是正确的因此不用修改）
      d. 如果修改了maximum的InferMeta函数，则必须同时修改maximum的符号推导函数：在paddle/fluid/pir/dialect/operator/interface/infer_symbolic_shape中检索maximum找到对应的函数进行修改（如果有必要修改）。符号推到的知识介绍见：【快乐开源】CINN编译器符号推导扩量 #66444
      e. 在paddle/phi/kernels中检索maximum，找全所有maximum的实现Kernel。一般Kernel肯定会有CPU、GPU、XPU版本，还有些Kernel还有有OneDNN、Sparse、SelectedRows版本。务必找全、改全。
      f. 对于单输出的Kernel修改方式一般为：

   if (out && out->numel() == 0) {
     dev_ctx.template Alloc<T>(out);
     return;
   }

     g. dev_ctx.template Alloc是在给out分配一个显存长度为0的Alloction。因为0-Size Tensor虽然没有显存，但是有place(device)信息。在Paddle中，Allocation用于存储Place和显存块信息。因此需要分配一个空的有Place的Allocation。
     h. 直接return的原因为，如果不return，很多Kernel在拉起CUDA Kernel时，会因为numel为0导致Kernel拉起失败而崩溃。
     i. 注意，有些Kernel有多个output，如果只有其中一个output numel为0，其余output仍然需要运算。需要阅读Kernel后精确修改，确保Kernel能够正确执行。
     j. 对于maximum，修改了paddle/phi/kernels/legacy/cpu/elementwise_kernel.cc和paddle/phi/kernels/legacy/xpu/elementwise_kernel.cc，之所以没有修改GPU Kernel，因为没有找到。这是因为GPU、CPU共用了paddle/phi/kernels/legacy/cpu/elementwise_kernel.cc里的实现。因为maximum和minimum处理逻辑一致，因此同时修改maximum和minimum
     k. maximum和minimum没有找到OneDNN、Sparse、SelectedRows相关的Kernel实现，因此不做处理
   3. 反向修复：
     a. 在paddle/phi/ops/yaml中检索maximum_grad，找到InferMeta函数为GeneralBinaryGradInferMeta
     b. 根据报错日志，分析大概率是反向Shape推导的问题。但实际分析未发现GeneralBinaryGradInferMeta的问题。调试后发现，其实是MaximumGradKernel在处理前向需要Broadcast的场景时，反向需要Reduce。而Reduce没有考虑0-Size的问题，具体逻辑在paddle/phi/kernels/gpu/elementwise_grad.h中ReduceWrapper中
     c. 不需要修改Reduce相关逻辑，只需要对GradKernel做0-Size的特殊处理即可。对于maximum_grad修改方式如下，其它算子可以参考如下代码结合算子反向梯度的数学含义做修改：

   if (dout.numel() == 0) {
       if (dx) {
         if (dx->numel() == 0) {
           dev_ctx.template Alloc<T>(dx);
         } else {
           phi::Full<T, Context>(
               dev_ctx, phi::IntArray(common::vectorize(dx->dims())), 0, dx);
         }
       }
       if (dy) {
         if (dy->numel() == 0) {
           dev_ctx.template Alloc<T>(dy);
         } else {
           phi::Full<T, Context>(
               dev_ctx, phi::IntArray(common::vectorize(dy->dims())), 0, dy);
         }
       }
       return;
     }

     d. 依照以上原则修改CPU、GPU、XPU Kernel，没有找到OneDNN、Sparse、SelectedRows相关的Kernel实现，因此不做处理
   4. 添加单测
     a. test/legacy_test/test_maximum_op.py是为了验证反向maximum_grad的正确性
     b. test/legacy_test/test_elementwise_max_op.py是为了验证前向的正确性，以及在Paddle多种不同机制下是否都支持0-Size，机制如：动态图、静态图、老静态图、CINN、组合算子等
     c. 单测本地验证中，暴露了一些新的问题，因此修改了test/legacy_test/op_test.py、python/paddle/incubate/autograd/composite_rules.py（通常不会遇到这种问题，可以不用太关注）
     d. 单测本地验证中，暴露了，我们还需要修改组合算子的maximum相关逻辑，因此修改了paddle/fluid/prim/api/composite_backward/composite_backward_api.h和paddle/fluid/primitive/decomp_rule/decomp_vjp/details.h
     e. 单测本地验证中，OpTest基类使用到了mean，进而暴露了mean不支持0-Size的问题，因此增加了对mean 0-Size的修改。可以看到：
      i. mean的前向处理更复杂一些，因此不同算子的数学含义导致，处理方式有所不同，需要我们逐一分析
      ii. mean除了GPU、CPU、XPU，还有OneDNN，因此共同修改
   5. 回归测试PaddleAPITest tester/api_config/0sizetensor_accuracy.txt、tester/api_config/0sizetensor_paddleonly.txt、“api_config_merged*” 中所有maximum和minimum测试配置

   2.4 提交PR的模版

   // ------- PR 标题 --------

   [0-size Tensor No.xxx] Add 0-size Tensor support for xxx API.
   

   // ------- PR 内容 --------

   PR Category
   Operator Mechanism 
   
   PR types
   Bug fixes
   
   Description
   xx的修改历程。
   （修改细节、对不同device的检查、测试结果等等）
   
   Pcard-67164

   注：
   为了便于review,请务必在PR中写下如下信息：

   • 修改细节的说明
   • CPU、GPU、XPU以及（OneDNN、Sparse、SelectedRows这三个不是很常见）对应的Kernel是否需要对应的修改
   • 单测以及PaddleAPITest回测的结果.

   非常欢迎在PR中贡献如下信息：

   • 对这个API出现的问题的分析
   • 针对该问题的新发现
   • 其他独特的见解

   例：一个不错的PR：#72263

   2.5 报名方式

   直接在本issue下评论：
   【报名】：xxx、xxx
   xxx是报名任务的编号，请注意格式和标点符号，以免bot无法自动识别

   三、所使用的测试工具与测试结果

   3.1 PaddleAPITest介绍

   PaddleAPITest用于排查问题API、问题case。
   通过如下命令可以执行一个paddle.abs与torch.abs的精度前反向对比测试：python engine.py --accuracy=True --api_config='paddle.abs(Tensor([1, 100],"float64"), )' 。“accuracy”表示执行精度对比测试，“api_config”表示要测试的配置。注意：配置中的双引号需要加斜杠。

   所有测试前，必须创建一个目录：PaddleAPITest/tester/api_config/test_log/，用于存放测试所产生的测试结果和checkpoint。

   PaddleAPITest目前支持paddle_only、accuracy、paddle_cinn三种测试：

   • paddle_only，用于单纯把配置在Paddle动态图跑一遍，验证PaddleAPITest “引擎”是否支持该配置。这将是线条1常用的模型。
   • accuracy，用于将Paddle API的前反向与Torch的前反向做精度对比测试。
   • paddle_cinn，用于Paddle动态图与Paddle静态图编译器做精度对比测试。与本次任务无关。

   此外：

   • api_config，用于测试单独一个配置使用，如：python engine.py --accuracy=True --api_config='paddle.abs(Tensor([1, 100],"float64"), )'
   • api_config_file，用于测试多个配置使用，可以将要测试的所有配置放到一个文件中，如：python engine.py --api_config_file=PaddleAPITest/tester/api_config/api_config.txt --accuracy=True > tester/api_config/test_log/log.log 2>&1
   • 由于测试过程中可能触发一些bug，导致程序Coredump，进而导致测试中断。PaddleAPITest开发了checkpoint机制，记录“已测试”配置。可以通过如下命令启动批量测试：for i in {1..10000}; do python engine.py --api_config_file=PaddleAPITest/tester/api_config/api_config_merge.txt --accuracy=True >> tester/api_config/test_log/log.log 2>&1; done

   3.2 出错的API的配置和测试结果

   • 在CPU执行的测试：
     https://github.com/PFCCLab/PaddleAPITest/tree/main/report/0size_tensor_cpu
   • GPU执行的测试：
     https://github.com/PFCCLab/PaddleAPITest/tree/main/report/0size_tensor_gpu

   四、注意事项

   1. 问题无法复现时的处理流程：
      a. 需要把这个API所有case全跑一遍看看是不是都不能复现
      b. 可能别的同学只修了GPU导致问题不能复现。但我们需要考虑：CPU、XPU、Sparse、SelectedRows是不是也没问题，因此需要肉眼检查一下。
      c. 即便GPU、CPU、XPU等等全都是没有问题的，我们也需要添加一两个单测到单测文件中。用于CI以后拦截0-SIze问题使用
   2. 可能不具备XPU测试的条件，因此针对XPU Kernel的修改可以不用测试，请尽可能保证代码正确性。
   3. 有些API，比如paddle.subtract、paddle.Tensor.__sub__、paddle.Tensor.subtract其实是一个API，尽量同时报名，防止修复重复了
   4. 修复后，应给相应API的单测添加新的测试用例。如：paddle.subtract对应的测试文件为test/legacy_test/test_subtract_op.py
   5. 如果所有配置均无法复现错误，可能是已经被其它人修好了，在任务表格中标记为未复现
   6. PR提交前，应确保tester/api_config/0sizetensor_accuracy.txt、tester/api_config/0sizetensor_paddleonly.txt、“api_config_merged*”中相应的case全能测试通过，以确保没有引入新的问题
   7. 有些API，可能同时存在于accuracy_error、coredump_error、paddle_error中，分析问题时最好一起分析
   8. 参考修复PR见：refine cholesky 0 size #71668 maximum minimum support 0-size #71829 【BIT】isclose Tensor.isclose support 0-size #72263
7. wanghuancoder commented on May 16, 2025

   

   wanghuancoder

   on May 16, 2025

   Last edited by wanghuancoder

   Contributor

   More actions

   【报名】: 19,21,23,24,25,52,126,127,128
8. DanielSun11 commented on May 16, 2025

   

   DanielSun11

   on May 16, 2025

   ContributorAuthor

   More actions

   【报名】：38
9. crashbussy commented on May 19, 2025

   

   crashbussy

   on May 19, 2025

   Contributor

   More actions

   【报名】：318

   👍React with 👍1Reacted by SUN Dong
10. DrRyanHuang commented on May 19, 2025

    

    DrRyanHuang

    on May 19, 2025

    Last edited by DrRyanHuang

    Collaborator

    More actions

    【报名】：9、10、130、6、284

    👍React with 👍1Reacted by SUN Dong
11. DanielSun11 commented on May 19, 2025

    

    DanielSun11

    on May 19, 2025

    ContributorAuthor

    More actions

    【报名】: 110、111、116、134
12. sunzhongkai588

    added a parent issue on May 19, 2025

    • 飞桨开源夏季个人挑战赛 🏖️ #72793
13. 23 remaining items

    Load more

14. ccsuzzh commented on Jun 15, 2025

    

    ccsuzzh

    on Jun 15, 2025

    Contributor

    More actions

    【报名】：355
15. DanielSun11 commented on Jun 17, 2025

    

    DanielSun11

    on Jun 17, 2025

    ContributorAuthor

    More actions

    【报名】：346
16. straigrand commented on Jun 19, 2025

    

    straigrand

    on Jun 19, 2025

    Last edited by luotao1

    Contributor

    More actions

    【报名】：71、244
17. VVX94 commented on Jun 19, 2025

    

    VVX94

    on Jun 19, 2025

    Contributor

    More actions

    【报名】: 43、135、256
18. straigrand commented on Jun 20, 2025

    

    straigrand

    on Jun 20, 2025

    Last edited by luotao1

    Contributor

    More actions

    【报名】：271、353
19. jerric-charon commented on Jun 23, 2025

    

    jerric-charon

    on Jun 23, 2025

    More actions

    【报名】：328
20. zhangdongq commented on Jun 24, 2025

    

    zhangdongq

    on Jun 24, 2025

    More actions

    【报名】：9、10
21. enkilee commented on Jun 24, 2025

    

    enkilee

    on Jun 24, 2025

    Collaborator

    More actions

    【报名】：243、326
22. enkilee commented on Jun 25, 2025

    

    enkilee

    on Jun 25, 2025

    Collaborator

    More actions

    【报名】：31、293
23. HeyDavid633 commented on Jul 3, 2025

    

    HeyDavid633

    on Jul 3, 2025

    Contributor

    More actions

    【报名】82、85
24. DanielSun11 commented on Jul 11, 2025

    

    DanielSun11

    on Jul 11, 2025

    ContributorAuthor

    More actions

    【报名】：18、42、51、83
25. DanielSun11 commented on Aug 1, 2025

    

    DanielSun11

    on Aug 1, 2025

    ContributorAuthor

    More actions

    本期【开源任务】“Paddle API 0-size 机制建设”，顺利结束！
    感谢 @co63oc @enkilee @wanghuancoder @VVX94 @straigrand @crashbussy @luyl975 各位开发者的贡献！
    感谢 @luotao1 @wanghuancoder @zyfncg 对本次任务的大力支持！
    欢迎各位开发者继续关注社区开源活动～ 😄
26. DanielSun11

    closed this as completedon Aug 1, 2025
27. github-project-automation

    moved this from In Progress to Done in Call for Contributionson Aug 1, 2025
28. paddle-bot

    added

    status/close已关闭已关闭

    on Aug 1, 2025