🎀 ⁉️ 🌔 Membuat pipeline yang dapat digunakan kembali untuk GitLab CI di bash 🈚️ 🌮 🐚

Selama beberapa tahun terakhir, saya sangat menyukai GitLab CI . Terutama karena kesederhanaan dan fungsinya. Cukup dengan membuat file di root repositori .gitlab-ci.yml

, menambahkan beberapa baris kode di sana, dan komit berikutnya akan memulai pipeline dengan satu set pekerjaan yang akan menjalankan perintah yang ditentukan.

Dan jika Anda menambahkan kapabilitas include dan extends , Anda dapat melakukan hal-hal yang cukup menarik: membuat pekerjaan template dan pipeline, memindahkannya ke repositori terpisah dan menggunakannya kembali dalam project berbeda tanpa menyalin kode.

Namun sayangnya, tidak semuanya semerah yang kita inginkan. Instruksi script

di GitLab CI sangat rendah. Ini hanya mengeksekusi perintah yang diberikan kepadanya dalam bentuk string. Sangat tidak nyaman untuk menulis skrip besar di dalam YAML. Saat logika menjadi lebih kompleks, jumlah skrip meningkat, skrip tersebut bercampur dengan YAML, membuat konfigurasi tidak dapat dibaca dan memperumit pemeliharaannya.

Saya benar-benar melewatkan beberapa mekanisme yang akan menyederhanakan pengembangan skrip besar. Hasilnya, lahirlah microframework untuk pengembangan GitLab CI, yang ingin saya bahas di artikel ini (menggunakan contoh pipeline sederhana untuk membangun image buruh pelabuhan).

Contoh: Membangun gambar buruh pelabuhan di GitLab

Saya ingin mempertimbangkan proses pembuatan pipeline menggunakan contoh tugas sederhana yang sering saya temui dengan tim yang berbeda: membuat gambar buruh pelabuhan dasar di GitLab untuk digunakan kembali.

Misalnya, sebuah tim menulis layanan mikro dan ingin menggunakan gambar dasarnya sendiri untuk semuanya dengan seperangkat utilitas debugging yang sudah terpasang sebelumnya.

Atau contoh lain, tim menulis pengujian dan ingin menggunakan layanan secara langsung di GitLab untuk membuat database sementara (atau antrian, atau yang lainnya) untuk mereka menggunakan gambar mereka sendiri.

, docker- GitLab . .gitlab-ci.yml

:

services:
  - docker:dind

Build:
  image: docker
  script:
    - |
      docker login "$CI_REGISTRY" \
        --username "$CI_REGISTRY_USER" \
        --password "$CI_REGISTRY_PASSWORD"

      docker build \
        --file "Dockerfile" \
        --tag "$CI_REGISTRY/$CI_PROJECT_PATH:$CI_COMMIT_REF_SLUG" .

      docker push "$CI_REGISTRY/$CI_PROJECT_PATH:$CI_COMMIT_REF_SLUG"

Build

, GitLab Container Registry, . , ( , ).

, , :

, dockerfiles

.
:
- Build All
  
  - dockerfiles
  
  . ( ).
- Build Changed
  
  - dockerfiles
  
  , . ( ) .

. . , .

, .NET.

docker-, Container Registry :

, .

1: " "

. .gitlab-ci.yml

. :

services:
  - docker:dind

stages:
  - Build

Build All:
  stage: Build
  image: docker
  when: manual
  script:
    - |
      dockerfiles=$(find "dockerfiles" -name "*.Dockerfile" -type f)

      docker login "$CI_REGISTRY" \
        --username "$CI_REGISTRY_USER" \
        --password "$CI_REGISTRY_PASSWORD"

      for dockerfile in $dockerfiles; do
        path=$(echo "$dockerfile" | sed 's/^dockerfiles\///' | sed 's/\.Dockerfile$//')
        tag="$CI_REGISTRY/$CI_PROJECT_PATH/$path:$CI_COMMIT_REF_SLUG"

        echo "Building $dockerfile..."
        docker build --file "$dockerfile" --tag "$tag" .

        echo "Pushing $tag..."
        docker push "$tag"
      done

Build Changed:
  stage: Build
  image: docker
  only:
    changes:
      - 'dockerfiles/*.Dockerfile'
      - 'dockerfiles/**/*.Dockerfile'
  script:
    - |
      apk update
      apk add git #  ,     ,    ...

      dockerfiles=$(git diff --name-only HEAD HEAD~1 -- 'dockerfiles/***.Dockerfile')

      docker login "$CI_REGISTRY" \
        --username "$CI_REGISTRY_USER" \
        --password "$CI_REGISTRY_PASSWORD"

      for dockerfile in $dockerfiles; do
        path=$(echo "$dockerfile" | sed 's/^dockerfiles\///' | sed 's/\.Dockerfile$//')
        tag="$CI_REGISTRY/$CI_PROJECT_PATH/$path:$CI_COMMIT_REF_SLUG"

        echo "Building $dockerfile..."
        docker build --file "$dockerfile" --tag "$tag" .

        echo "Pushing $tag..."
        docker push "$tag"
      done

( step1)

Build All

, :
- , .. when: manual
  
  .
- :
  - find "dockerfiles" -name "*.Dockerfile" -type f
Build Changed

, :
- , .. only:changes
  
  .
- , :
  - git diff --name-only HEAD HEAD~1 -- 'dockerfiles/***.Dockerfile'
, , , dockerfiles/

.Dockerfile

, GitLab Container Registry.

GitLab CI .

GitLab CI Bootstrap

GitLab CI Bootstrap - GitLab CI. :

( .gitlab-ci.yml

) (bash shell), YAML .
, .
( ) , .

GitLab CI Bootstrap bootstrap.gitlab-ci.yml, .gitlab-ci.yml

include. . include:local:

include:
  - local: 'bootstrap.gitlab-ci.yml'

.bootstrap

, :

.bootstrap:
  before_script:
    - |
     	...

.bootstrap

, extends:

example:
  extends: '.bootstrap'
  script:
    - '...'

( ), GitLab.

. . , , .

bash shell. git, . .bootstrap

docker- .

, , docker-.

2:

, .bootstrap

.gitlab-ci.sh

. , .

, , .gitlab-ci.yml

:

.gitlab-ci.yml

:

include:
  - project: '$CI_PROJECT_NAMESPACE/bootstrap'
    ref: 'master'
    file: 'bootstrap.gitlab-ci.yml'

services:
  - docker:dind

stages:
  - Build

Build All:
  stage: Build
  image: docker
  extends: .bootstrap
  when: manual
  script:
    - search_all_dockerfiles_task
    - build_and_push_dockerfiles_task

Build Changed:
  stage: Build
  image: docker
  extends: .bootstrap
  only:
    changes:
      - 'dockerfiles/*.Dockerfile'
      - 'dockerfiles/**/*.Dockerfile'
  script:
    - install_git_task
    - search_changed_dockerfiles_task
    - build_and_push_dockerfiles_task

.gitlab-ci.sh

:

DOCKERFILES=""

function search_all_dockerfiles_task() {
    DOCKERFILES=$(find "dockerfiles" -name "*.Dockerfile" -type f)
}

function search_changed_dockerfiles_task() {
    DOCKERFILES=$(git diff --name-only HEAD HEAD~1 -- 'dockerfiles/***.Dockerfile')
}

function install_git_task() {
    #  ,     ,    ...
    apk update
    apk add git
}

function build_and_push_dockerfiles_task() {
    docker login "$CI_REGISTRY" \
        --username "$CI_REGISTRY_USER" \
        --password "$CI_REGISTRY_PASSWORD"

    for dockerfile in $DOCKERFILES; do
        path=$(echo "$dockerfile" | sed 's/^dockerfiles\///' | sed 's/\.Dockerfile$//')
        tag="$CI_REGISTRY/$CI_PROJECT_PATH/$path:$CI_COMMIT_REF_SLUG"

        echo "Building $dockerfile..."
        docker build --file "$dockerfile" --tag "$tag" .

        echo "Pushing $tag..."
        docker push "$tag"
    done
}

gitlab-ci.sh

, .gitlab-ci.yml

. search_all_dockerfiles_task

search_changed_dockerfiles_task

DOCKERFILES

, build_and_push_dockerfiles_task

.

3:

, , . , , . , - , , .

include.

. , , , - , . , .

, .bootstrap

CI_IMPORT

, : CI_{module}_PROJECT

, CI_{module}_REF

CI_{module}_FILE

, {module}

- CI_IMPORT

( ).

, .gitlab-ci.sh

, .

.gitlab-ci.yml

:

include:
  - project: '$CI_PROJECT_NAMESPACE/dockerfiles-example-ci'
    ref: 'step3'
    file: 'dockerfiles.gitlab-ci.yml'

dockerfiles.gitlab-ci.yml

( .gitlab-ci.yml

):

include:
  - project: '$CI_PROJECT_NAMESPACE/bootstrap'
    ref: 'master'
    file: 'bootstrap.gitlab-ci.yml'

services:
  - docker:dind

stages:
  - Build

variables:
  CI_DOCKERFILES_PROJECT: '$CI_PROJECT_NAMESPACE/dockerfiles-example-ci'
  CI_DOCKERFILES_REF: 'step3'
  CI_DOCKERFILES_FILE: 'dockerfiles.gitlab-ci.sh'

Build All:
  stage: Build
  image: docker
  extends: .bootstrap
  variables:
    CI_IMPORT: dockerfiles
  when: manual
  script:
    - search_all_dockerfiles_task
    - build_and_push_dockerfiles_task

Build Changed:
  stage: Build
  image: docker
  extends: .bootstrap
  variables:
    CI_IMPORT: dockerfiles
  only:
    changes:
      - 'dockerfiles/*.Dockerfile'
      - 'dockerfiles/**/*.Dockerfile'
  script:
    - search_changed_dockerfiles_task
    - build_and_push_dockerfiles_task

dockerfiles.gitlab-ci.sh

( .gitlab-ci.sh

):

DOCKERFILES=""

function search_all_dockerfiles_task() {
    DOCKERFILES=$(find "dockerfiles" -name "*.Dockerfile" -type f)
}

function search_changed_dockerfiles_task() {
    DOCKERFILES=$(git diff --name-only HEAD HEAD~1 -- 'dockerfiles/***.Dockerfile')
}

function build_and_push_dockerfiles_task() {
    docker login "$CI_REGISTRY" \
        --username "$CI_REGISTRY_USER" \
        --password "$CI_REGISTRY_PASSWORD"

    for dockerfile in $DOCKERFILES; do
        path=$(echo "$dockerfile" | sed 's/^dockerfiles\///' | sed 's/\.Dockerfile$//')
        tag="$CI_REGISTRY/$CI_PROJECT_PATH/$path:$CI_COMMIT_REF_SLUG"

        echo "Building $dockerfile..."
        docker build --file "$dockerfile" --tag "$tag" .

        echo "Pushing $tag..."
        docker push "$tag"
    done
}

Build All

Build Changed

CI_IMPORT

dockerfiles

. : CI_DOCKERFILES_PROJECT

, CI_DOCKERFILES_REF

CI_DOCKERFILES_FILE

, .

, dockerfiles.gitlab-ci.sh

, $CI_PROJECT_NAMESPACE/dockerfiles-example-ci

, step3

.

, install_git_task

. git , .. git git .

4:

. , .

dockerfiles.gitlab-ci.sh

. , .

, include

, , . , . include

, .

, , include

.

dockerfiles.gitlab-ci.sh

:

include "tasks/search.sh"
include "tasks/docker.sh"

tasks/search.sh

:

DOCKERFILES=""

function search_all_dockerfiles_task() {
    DOCKERFILES=$(find "dockerfiles" -name "*.Dockerfile" -type f)
}

function search_changed_dockerfiles_task() {
    DOCKERFILES=$(git diff --name-only HEAD HEAD~1 -- 'dockerfiles/***.Dockerfile')
}

tasks/docker.sh

:

function build_and_push_dockerfiles_task() {
    docker login "$CI_REGISTRY" \
        --username "$CI_REGISTRY_USER" \
        --password "$CI_REGISTRY_PASSWORD"

    for dockerfile in $DOCKERFILES; do
        path=$(echo "$dockerfile" | sed 's/^dockerfiles\///' | sed 's/\.Dockerfile$//')
        tag="$CI_REGISTRY/$CI_PROJECT_PATH/$path:$CI_COMMIT_REF_SLUG"

        echo "Building $dockerfile..."
        docker build --file "$dockerfile" --tag "$tag" .

        echo "Pushing $tag..."
        docker push "$tag"
    done
}

GitLab CI bash GitLab CI Bootstrap.

. :

. .. , . GitLab CI.
. , Python C#.
. , .

, .

, 1.0. , . , .

Sumber: dapat ditemukan di sini: https://gitlab.com/chakrygin/bootstrap

Repositori dengan contoh di sini:

Membuat pipeline yang dapat digunakan kembali untuk GitLab CI di bash

Contoh: Membangun gambar buruh pelabuhan di GitLab

1: " "

GitLab CI Bootstrap

2:

3:

4:

More articles: