321460_zh-CN

liliconcom

Airflow Cloud Build Operator不执行python函数

我无法执行第二个arg语句：

<SPAN class="hljs-string">"python"</SPAN>, <SPAN class="hljs-string">"-c"</SPAN>, <SPAN class="hljs-string">"from main import foo;print(foo('hello'))"</SPAN>

我正在使用Airflow操作员触发Cloud Build蟒蛇功能。 触发DAG和Cloud Build均成功返回。

 

根据Cloud Build返回的日志消息，第一个安装requirements.txt文件的参数似乎可以正常工作：

Requirement already satisfied: setuptools>=<SPAN class="hljs-number">40.3</SPAN><SPAN class="hljs-number">.0</SPAN> <SPAN class="hljs-keyword">in</SPAN> /usr/local/lib/python3<SPAN class="hljs-number">.7</SPAN>/site-packages (<SPAN class="hljs-keyword">from</SPAN> google-auth>=<SPAN class="hljs-number">1.2</SPAN>->gcsfs>=<SPAN class="hljs-number">0.6</SPAN><SPAN class="hljs-number">.2</SPAN>

我的功能是使用gcsfs软件包。 我在问题中使用的功能仅用于演示。

在使用Airflow之前，我已经在yaml文件中进行了此工作。 尝试了多种不同的方式来陈述该论点，例如：

<SPAN class="hljs-string">"args"</SPAN>:[<SPAN class="hljs-string">"-c"</SPAN>,<SPAN class="hljs-string">"pip install -V -r requirements.txt; python -c from main import foo;print(foo('hello'))"</SPAN>]

但是现在转圈了。

我将不胜感激任何使该args语句起作用的帮助。

这是DAG的CloudBuildCreateBuildOperator：

 create_build_from_storage_body = {
  <SPAN class="hljs-string">"source"</SPAN>: {
    <SPAN class="hljs-string">"repoSource"</SPAN>: {
      <SPAN class="hljs-string">"projectId"</SPAN>: <SPAN class="hljs-string">"dev-6767"</SPAN>,
      <SPAN class="hljs-string">"repoName"</SPAN>: <SPAN class="hljs-string">"bq-pipeline"</SPAN>,
      <SPAN class="hljs-string">"branchName"</SPAN>: <SPAN class="hljs-string">"master"</SPAN>,
    }
  },
  <SPAN class="hljs-string">"steps"</SPAN>: [{
    <SPAN class="hljs-string">"name"</SPAN>: <SPAN class="hljs-string">"docker.io/library/python:3.7"</SPAN>,
    <SPAN class="hljs-string">"entrypoint"</SPAN>: <SPAN class="hljs-string">"/bin/bash"</SPAN>,
    <SPAN class="hljs-string">"args"</SPAN>: [<SPAN class="hljs-string">"-c"</SPAN>, <SPAN class="hljs-string">"pip install -V -r requirements.txt"</SPAN>,
      <SPAN class="hljs-string">"python"</SPAN>, <SPAN class="hljs-string">"-c"</SPAN>, <SPAN class="hljs-string">"from main import foo;print(foo('hello'))"</SPAN>
    ],
  }],
}

 

分析工具数据表回复：气流云构建操作员未执行python函数

可能有人在这里可以提供帮助，但我怀疑您可能在与以下方面更相关的论坛中获得了更大的成功：空气流动。