321460_fr-FR

liliconcom

L'opérateur Airflow Cloud Build n'exécute pas la fonction Python

Je ne peux pas faire exécuter la deuxième instruction arg:

<SPAN class="hljs-string">"python"</SPAN>, <SPAN class="hljs-string">"-c"</SPAN>, <SPAN class="hljs-string">"from main import foo;print(foo('hello'))"</SPAN>

Je déclenche un Cloud Build à l'aide de l'opérateur Airflow python une fonction. Le DAG de déclenchement et le retour de Cloud Build ont réussi.

 

Le premier argument pour installer le fichier requirements.txt semble fonctionner en fonction du message de journal renvoyé par Cloud Build:

Requirement already satisfied: setuptools>=<SPAN class="hljs-number">40.3</SPAN><SPAN class="hljs-number">.0</SPAN> <SPAN class="hljs-keyword">in</SPAN> /usr/local/lib/python3<SPAN class="hljs-number">.7</SPAN>/site-packages (<SPAN class="hljs-keyword">from</SPAN> google-auth>=<SPAN class="hljs-number">1.2</SPAN>->gcsfs>=<SPAN class="hljs-number">0.6</SPAN><SPAN class="hljs-number">.2</SPAN>

Ma fonction utilise le package gcsfs. La fonction que j'ai utilisée dans la question est juste pour la démonstration.

Avant d'utiliser Airflow, cela fonctionnait dans un fichier yaml. J'ai essayé un certain nombre de façons différentes d'exposer l'argument, telles que:

<SPAN class="hljs-string">"args"</SPAN>:[<SPAN class="hljs-string">"-c"</SPAN>,<SPAN class="hljs-string">"pip install -V -r requirements.txt; python -c from main import foo;print(foo('hello'))"</SPAN>]

Mais maintenant tourner en rond.

J'apprécierais grandement toute aide pour faire fonctionner cette déclaration d'arguments.

Voici le CloudBuildCreateBuildOperator du DAG:

 create_build_from_storage_body = {
  <SPAN class="hljs-string">"source"</SPAN>: {
    <SPAN class="hljs-string">"repoSource"</SPAN>: {
      <SPAN class="hljs-string">"projectId"</SPAN>: <SPAN class="hljs-string">"dev-6767"</SPAN>,
      <SPAN class="hljs-string">"repoName"</SPAN>: <SPAN class="hljs-string">"bq-pipeline"</SPAN>,
      <SPAN class="hljs-string">"branchName"</SPAN>: <SPAN class="hljs-string">"master"</SPAN>,
    }
  },
  <SPAN class="hljs-string">"steps"</SPAN>: [{
    <SPAN class="hljs-string">"name"</SPAN>: <SPAN class="hljs-string">"docker.io/library/python:3.7"</SPAN>,
    <SPAN class="hljs-string">"entrypoint"</SPAN>: <SPAN class="hljs-string">"/bin/bash"</SPAN>,
    <SPAN class="hljs-string">"args"</SPAN>: [<SPAN class="hljs-string">"-c"</SPAN>, <SPAN class="hljs-string">"pip install -V -r requirements.txt"</SPAN>,
      <SPAN class="hljs-string">"python"</SPAN>, <SPAN class="hljs-string">"-c"</SPAN>, <SPAN class="hljs-string">"from main import foo;print(foo('hello'))"</SPAN>
    ],
  }],
}

 

AnalytiqueTableau de donnéesRe: L'opérateur Airflow Cloud Build n'exécute pas la fonction python

Il se peut que quelqu'un ici puisse offrir de l'aide, mais je pense que vous aurez peut-être plus de succès dans un forum plus lié à Flux d'air .