Hyunmin Lee

느려도 너무 느린 Docker for mac의 bind mount 속도 개선 이야기

2020-03-23T10:30:00+00:00

Docker for mac의 bind mount 속도 개선 이야기

똑같이 도커 컨테이너에서 돌리는데…

AWS Codebuild 리눅스 호스트에서는 5분만에 전체 테스트가 돌아가는데 제 맥북에서는 25분이 걸립니다. 아래는 AWS 코드 빌드 general1.small(3 GB RAM, 2 vCPU ) 에서의 실행 결과입니다.

Finished in 5 minutes 17 seconds (files took 6.32 seconds to load)
1965 examples, 0 failures

원인

도커 컨테이너가 MacOS 호스트에 있는 파일을 읽고 쓸 때는 시스템 콜 변환 과정을 거칩니다. 시스템 콜이 즉각적이라는 가정 하에 작성된 소프트웨어들은 이 사실을 모르기 때문에 수 만건 반복 요청을 보내도 합니다. 그래서 Docker-for-mac의 bind mount엔 작업에 따라 속도 저하 문제가 생길 수 있습니다.

잠깐! bind mount와 volume

둘 다 도커 호스트 머신에 파일을 저장하는 방법입니다. Manage data in Docker에 따르면 다음과 같은 차이가 있습니다.

volumes

호스트 파일 시스템 중 도커에 의해 관리되는 /var/lib/docker/volumes/ 에 저장됩니다.
도커 이외의 프로세스가 수정해서는 안 됩니다.
볼륨의 이름만 명시하면 된다. 따라서 호스트에서의 파일 위치가 정해져 있지 않을 때, 예를 들면 개발 환경에서 호스트에서 편집한 코드를 컨테이너에 공유할 때 많이 씁니다.

bind mounts

Bind mount는 도커 프로세스와 텍스트 편집기와 같은 도커 이외의 프로세스가 모두 내부 파일을 수정할 수 있습니다. 따라서 개발 환경에서 코드를 동기화하는 용도로 널리 쓰입니다.
마운트할 host machine의 full path를 명시해야 합니다.

해결

정말 답답해서 눈물이 나와 nfs 등 여러 가지를 시도해보았고 docker-sync에 정착했습니다. 개인 맥북(2.7 GHz dual-core Intel Core i5, 8GB RAM, Docker에 2cpu, 4GB RAM 할당) 에선 전체 테스트 실행에 10분이 걸립니다. 개발할 때는 테스트 파일을 하나씩만 돌리니 유사 TDD를 할 만했습니다.

Step1. Bind mount를 external로 선언

docker-compose.override.yml를 .gitignore에 추가하면 docker-sync를 사용하지 않는 개발자들과의 호환성도 유지할 수 있습니다.

# docker-compose.override.yml
version: '3.4'
services:
  app: &app
    volumes:
      - app-code/:/var/www/app

volumes:
  app-code:
    external: true

Step2. Install docker-sync

docker-sync 를 다운로드합니다.

$ gem install docker-sync
$ docker-sync start

Step3. `docker-sync.yml` 설정 파일 작성

version: "2"
options:
  verbose: true
syncs:
  app-code:
    src: './'
    sync_strategy: 'native_osx'
    sync_excludes: ['.git', '*.log', 'public/uploads']

Step4. 기존 컨테이너 삭제 후 재생성

docker-compose down;docker-compose up -d

문제 해결

1. “xxx file not found” 에러가 발생합니다.

기존 볼륨을 지운 뒤 다시 Step 4번을 진행해주세요.

docker volume rm app-code

2. 도커 데몬을 껐다 켰더니 동기화가 안 됩니다.

docker-sync가 별도의 컨테이너를 띄워서 bind mount와 내부 volume을 동기화해주는 방식으로 동작합니다. Docker-for-mac을 재시작한 경우 docker-sync start를 하지 않으면 파일이 업데이트되지 않습니다. 업데이트 내역은 docker-sync logs 로 확인할 수 있습니다. 자세한 원리는 docker-sync 공식 문서를 참고하세요.

비교

레일즈 프로젝트에서 rspec을 실행한 결과입니다. 둘 다 Spring preloader를 사용했습니다.

Default volume

$ bin/rspec spec/api/v1/task_boards/index_spec.rb
Finished in 14.64 seconds (files took 6.91 seconds to load)

docker-sync

$ bin/rspec spec/api/v1/task_boards/index_spec.rb
Finished in 6.38 seconds (files took 0.7989 seconds to load)

Q & A

`cached` 또는 `delegated` 설정은 어떨까요?

delegated를 적용하면 container의 파일 변화를 host에 전달하는 데 시간차가 생깁니다. 반대로 cached 를 적용하면 host의 파일 변화가 container에 즉시 전달되지 않을 수 있습니다. 우리는 호스트의 코드 변경 사항이 바로 컨테이너에 반영되기를 원하는 것이므로 어느 경우에도 해당되지 않습니다.

[Book] Metaprogramming in Ruby 2

2019-09-09T03:00:00+00:00

[Book] Metaprogramming in Ruby 2

Ch2. The Object Model

instance variable은 할당할 때 생긴다

Instance variables just spring into existence when you assign them a value, so you can have objects of the same class that carry different instance variables.

instance methods

An object’s methods live in the object’s class.

class vs module

a class is a module with three additional instance methods (new, allocate, and superclass)

A class is just an object

Wrap-up

What’s a class? It’s an object (an instance of Class), plus a list of instance methods and a link to a superclass.

Question

모든 클래스의 클래스가 Class면 Class라는 클래스는 재귀적으로 정의되나?

class Class
end

Ruby class에 대한 보충 설명

intialize is not a constructor!

When Name.new is called to create a new object, the new class method in Class is run by default, which in turn invokes allocate to allocate memory for the object, before finally calling the new object’s initialize method.

What happens when you call a method?

When you call a method, Ruby does two things:

It finds the method. This is a process called method lookup.

It executes the method. To do that, Ruby needs something called self.

Method lookup

receiver

ancestors chain

MySubclass.ancestors # => [MySubclass, MyClass, Object, Kernel, BasicObject]

Modules and lookup

include는 ancestors chain에서 해당 클래스 위에, prepend는 밑에 붙임. 따라서 prepend는 현재 클래스보다 더 우선. 아래 코드의 ancestors chain을 그려보자.

class C1; include M1; end
class D1 < C1; end
class C2; prepend M2; end
class D2 < C2; end

class Object < BasicObject
  include Kernel
end

Multiple inclusion

if that module is already in the chain, Ruby silently ignores the second inclusion.

M2가 M1을 include하지만 이미 M3에서 prepend M1을 선언했기 때문에 무시된다.

module M1; end
module M2 include M1
end
module M3 prepend M1 include M2
end
M3.ancestors # => [M1, M3, M2]

The Kernel

Kernel.private_instance_methods.grep(/^pr/) # => [:printf, :print, :proc]

Every line of Ruby is always executed inside an object, so you can call the instance methods in Kernel from anywhere. This gives you the illusion that print is a language keyword, when it’s actually a method.

What private really means

Private methods are governed by a single simple rule: you cannot call a private method with an explicit receiver.

Methods in example code

\w

밑줄 문자를 포함한 영숫자 문자에 대응됩니다. [A-Za-z0-9_] 와 동일합니다.

Enumerable#grep

[].methods.grep /^re/ # => [:reverse_each, :reverse, ..., :replace, ...]

Array#replace

a = [ “a”, “b”, “c”, “d”, “e” ]
a.replace([ “x”, “y”, “z” ])   #=> ["x", "y", "z"]
a                              #=> ["x", "y", "z"]

Ch3. Methods

data_source.methods.grep(/^get_(.*)_info$/) { Computer.define_component $1 }

method_missing and block_given?

class Lawyer   def method_missing(method, *args)      puts "You called: #{method}(#{args.join(', ')})"      puts "(You also passed it a block)" if block_given? end  end

String#capitalize : String#upcase 와 구별

Returns a copy of str with the first character converted to uppercase and the remainder to lowercase.

Ch4. Blocks

Kernel#block_given? 으로 메소드에 블록이 주어졌는 지 알 수 있다.

Quiz using을 풀 때 유용한 정보

Kernel module

The Kernel module is included by class Object , so its methods are available in every Ruby object. Module: Kernel (Ruby 2.5.3)

The main object

When a new program starts, Ruby automatically creates the main object which is an instance of the Object class. main is the top-level context of any program. This is probably a nod to the C language (as the main() function is the entry point of any C program and that Matz loves C)
irb> self
 => main
irb> self.class
 => Object
https://medium.com/rubycademy/ruby-object-model-part-1-4d06fa486bec

Ruby exception handling

begin
  # something which might raise an exception
rescue SomeExceptionClass => some_variable
  # code that deals with some exception
rescue SomeOtherException => some_other_variable
  # code that deals with some other exception
else
  # code that runs only if *no* exception was raised
ensure
  # ensure that this code always runs, no matter what
  # does not change the final value of the block
end

Closure

When you create the block, you capture the local bindings, such as x.

def my_method
x = "Goodbye" yield ("cruel")
end
x = "Hello"
my_method {|y| "#{x},#{y} world"} # => "Hello, cruel world"

block 안에서 만든 변수는 블록이 끝나면 사라짐. 이 두 가지 특징으로 인해 블록은 클로져다. For the rest of us, this means a block captures the local bindings and carries them along with it.

& operator turns a proc to a block

def my_method(greeting)
  "#{greeting}, #{yield}!"
end
my_proc = proc {"Bill"} my_method("Hello", &my_proc)

Scope

Kernel#local_variables 로 지역 변수를 확인할 수 있다.

ruby는 scope gate를 지날 때 마다 새 스코프로 교체된다.

Scope Gates

There are exactly three places where a program leaves the previous scope behind and opens a new one:

Class definitions
Module definitions
Methods 클래스나 모듈 스코프에 있는 코드는 바로 실행되는데 메소드 스코프에 있는 코드는 호출이 될 때야 비로서 실행된다.

Top level main object의 instance variable을 전역변수처럼 사용하는 예. @var은 main이 self인 스코프에서 접근 가능하다.

@var = "The top-level @var"
def my_method
  @var
end

Passing scope gates

Ruby coders refer to it simply as “flattening the scope,” meaning that the two scopes share variables as if the scopes were squeezed together.

my_var = "Success"
MyClass = Class.new do
  "#{my_var} in the class definition"
  define_method :my_method do
    "#{my_var} in the method"
  end
end

def define_methods
  shared = 0
  Kernel.send :define_method, :counter do
    shared
  end
  Kernel.send :define_method, :inc do
    |x| shared += x
  end
end

define_methods
counter # => 0 inc(4) counter # => 4

instance_eval()

class MyClass
  def initialize
    @v = 1
  end
end

obj = MyClass.new
obj.instance_eval do   self # => #<MyClass:0x3340dc @v=1> @v # => 1
end

The block is evaluated with the receiver as self, so it can access the receiver’s private methods and instance variables, such as @v. Even if instance_eval changes self, the block that you pass to instance_eval can still see the bindings from the place where it’s defined, like any other block:
v=2 obj.instance_eval { @v = v }
obj.instance_eval { @v } # => 2

자세한 내용은 BasicObject#instace_eval 문서를 참조하자.

`instance_exec` 은 parameter를 넘겨줄 수 있음.

instance_eval 로 해결할 수 없는 경우

class C
  def initialize
    @x = 1
  end
end

class D
  def twisted_method
    @y = 2
    C.new.instance_eval { "@x: #{@x}, @y: #{@y}" }
  end
end
D.new.twisted_method # => "@x: 1, @y: "

instance_eval 은 self를 바꾸기 때문에 block이라 하더라도 이전 scope의 instance variable에는 접근할 수 없다. 이 때 instance_exec을 사용하면 parameter를 넘겨주는 방법으로 해결할 수 있다.

class D
  def twisted_method
    @y = 2
    C.new.instance_exec(@y) {|y| "@x: #{@x}, @y: #{y}" }
  end
end
D.new.twisted_method # => "@x: 1, @y: 2"

Proc vs Lambda의 두 가지 차이

arity

lambda는 arity가 안 맞으면 에러. proc은 인자가 모자르면 nil을 넣고 남으면 무시함.

return

lambda에서 return 하면 method return과 동일하게 그 값을 반환. Proc은 call된 스코프에서 return.

Method objects

Methods: Bound to an object, they are evaluated in that object’s scope. They can also be unbound from their scope and rebound to another object or class.

Method는 callable object다. 아래와 같이 메소드를 변수에 저장하고 call할 수 있다.

object = MyClass.new(1) m = object.method :my_method m.call # => 1

Method -> Proc, Block -> Method

you can convert a Method to a Proc by calling Method#to_proc, and you can convert a block to a method with define_method.

Unbound Methods

module MyModule
  def my_method
    42
  end
end

unbound = MyModule.instance_method(:my_method)
unbound.class # => UnboundMethod

UnboundMethod#bind 의 예시를 보자.

Bind umeth to obj. If Klass was the class from which umeth was obtained, obj.kind_of?(Klass) must be true. ```ruby class A def test puts “In test, class = #{self.class}” end end class B < A end class C < B end

um = B.instance_method(:test) bm = um.bind(C.new) bm.call # => In test, class = C bm = um.bind(B.new) bm.call # => In test, class = B bm = um.bind(A.new) bm.call # => prog.rb:16:in `bind’: bind argument must be an instance of B (TypeError) from prog.rb:16

## Ch5. Class Definitions
### The truth About Class Methods
> `Klass.a_class_method` calls a method on an object (that also happens to be a class) referenced by a constant.

> if you compare the definition of a Single- ton Method and the definition of a class method, you’ll see that they’re the same:
```ruby
def obj.a_singleton_method;  end
def MyClass.another_class_method; end

Class Macros

class Book
  def self.deprecate(old_method, new_method)
    define_method(old_method) do |*args, &block|
      warn "Warning: #{old_method}() is deprecated. Use #{new_method}()."
      send(new_method, *args, &block)
    end
  end
  deprecate :GetTitle, :title
end

Singleton Classes

Where does a singleton class belong?

an object can have its own special, hidden class. That’s called the singleton classof the object. (You can also hear it called the metaclassor the eigenclass. However, “singleton class” is the official name.)

obj = Object.new
singleton_class = class << obj
  self
end
singleton_class.class # => Class

# Easier way
"abc".singleton_class # => #<Class:#<String:0x331df0>>

singleton classes have only a single instance (that’s where their name comes from), and they can’t be inherited. More important, a singleton class is where an object’s Singleton Methods live:

instance_methods 임에 주의!

def obj.my_singleton_method; end
singleton_class.instance_methods.grep(/my_/) # => [:my_singleton_method]

Method Lookup Revisited

아래 코드의 method lookup 과정을 다시 한 번 그려보자.

class C
  def self.a_class_method; end
  def a_method; end
end
class D < C
end
obj = D.new
def obj.a_singleton_method; end

The superclass of the singleton class of an object is the object’s class. The superclass of the singleton class of a class is the singleton class of the class’s superclass. 한국어로 정리하면 아래와 같다.

오브젝트의 싱글톤 클래스의 수퍼클래스는 오브젝트의 클래스

클래스의 싱글톤 클래스의 수퍼 클래스는 수퍼클래스의 싱글톤 클래스

When you call a method, Ruby goes “right” in the receiver’s real class and then “up” the ancestors chain. 오른쪽의 singleton class를 먼저 보고 그 다음 위의 수퍼 클래스로 올라간다.

irb에서 출력해보면 singleton class 앞에는 # 가 붙는다.

irb(main):001:0> "abc".class
String < Object
irb(main):002:0> "abc".singleton_class
#<Class:#<String:0x00007fc6e9130918>> < String

instance_eval의 진짜 의미

you learned that instance_eval changes self, and class_eval changes both self and the current class. However, instance_eval also changes the current class; it changes it to the singleton classof the receiver.

Add a class method through including a module

module MyModule
  def my_method; 'hello'; end
end

class MyClass
  class << self
    include MyModule
  end
end

puts MyClass.my_method

Object#extend is a shortcut!

Object#extend 는 싱글톤 클래스에 모듈을 include한다.

Ch6. Code that writes code

Kernel#eval

문자열로 주어진 코드를 실행시킨다.

Binding objects

A Binding is a whole scope packaged as an object. The idea is that you can create a Binding to capture the local scope and carry it around.

책의 예시를 보자.

class MyClass
  def my_method
    @x = 1
    binding
  end
end
b = MyClass.new.my_method # binding을 얻음
eval "@x", b # => 1

Kernel#binding 문서의 예시를 보자.

def get_binding(param)
  binding
end
b = get_binding("hello")
eval("param", b)   #=> "hello"

irb

irb is just a simple program that parses the standard input or a file and passes each line to eval.

Object#taint

Objects that are marked as tainted will be restricted from various built-in methods. This is to prevent insecure data, such as command-line arguments or strings read from Kernel#gets

Hooks

상속, include, prepend, extend될 때 특정 코드를 실행시킨다.

class String
  def self.inherited(subclass)
    puts "#{self} was inherited by #{subclass} " end
  end
class MyString < String; end
# String was inherited by MyString

Ruby mysql2 gem 설치 시 libssl 오류 해결법

2019-07-24T06:00:00+00:00

Ruby mysql2 gem 설치 시 libssl 오류 해결법

Problem

mysql2 gem 설치 과정에서 libssl library가 없다는 오류가 발생했다.

❯❯❯ gem install mysql2
Building native extensions.  This could take a while...
ERROR:  Error installing mysql2:
        ERROR: Failed to build gem native extension.
(생략)
ld: library not found for -lssl
clang: error: linker command failed with exit code 1 (use -v to see invocation)
make: *** [mysql2.bundle] Error 1

make failed, exit code 2

[1] 을 참고해 openssl 을 다시 설치해보도록 한다. libssl 이 없는데 왜 openssl을 설치해야하는 지 이상했는데, [2]에 따르면 openssl이 libssl을 포함한다.

OpenSSL consists of two separate libraries: libcrypto and libssl. libcrypto is a general-purpose cryptography library which can be used alone. libssl is a TLS library which depends on libcrypto.

❯❯❯ brew reinstall openssl && brew link openssl --force
(중략)
==> Summary
🍺  /usr/local/Cellar/openssl/1.0.2q: 1,794 files, 12.1MB
Warning: Refusing to link macOS-provided software: openssl
If you need to have openssl first in your PATH run:
  echo 'export PATH="/usr/local/opt/openssl/bin:$PATH"' >> ~/.zshrc

For compilers to find openssl you may need to set:
  export LDFLAGS="-L/usr/local/opt/openssl/lib"
  export CPPFLAGS="-I/usr/local/opt/openssl/include"

For pkg-config to find openssl you may need to set:
  export PKG_CONFIG_PATH="/usr/local/opt/openssl/lib/pkgconfig"

Solution

[1]의 다른 답변과 [3]을 참고해 bundler 에 openssl의 경로를 찾을 수 있도록 옵션을 추가하고 다시 설치한다.

$ bundle config --local build.mysql2 "--with-ldflags=-L/usr/local/opt/openssl/lib —with-cppflags=-I/usr/local/opt/openssl/include"
$ bundle

Reference

AWS Codepipeline에서 파일 실행 권한이 사라지는 문제

2019-03-20T03:00:00+00:00

AWS Codepipeline에서 파일 실행 권한이 사라지는 문제

문제 발생

Dockerfile에서 ENTRYPOINT 스크립트를 실행하도록 변경했다. 이후 AWS Codebuild만 단독으로 실행하면 정상 작동했는데 Codepipeline으로 Codebuild를 실행하니 permission denied 에러가 발생했다. 참고로 docker run [SERVICE] [COMMAND] 를 실행하면 항상 ENTRYPOINT로 지정된 스크립트가 실행된다.

[Container] 2019/03/20 08:48:36 Running command echo Testing...
Testing...
 [Container] 2019/03/20 08:48:36 Running command docker-compose run -e RAILS_ENV=test \
-e RAILS_MASTER_KEY_TEST=$RAILS_MASTER_KEY_TEST \
app /bin/sh -c "rspec"
 Creating network "src_default" with the default driver
Creating src_db_1 ...
·[1A·[2K
Creating src_db_1 ... ·[32mdone·[0m
·[1BError response from daemon: OCI runtime create failed: container_linux.go:348: starting container process caused "exec: \"./docker/app/docker-entry.sh\": permission denied": unknown

원인

S3로 소스코드를 압축해서 보내는 Codepipeline에서는 permission bits가 사라지는 문제가 있다고 한다. https://forums.aws.amazon.com/thread.jspa?threadID=235452

해결

Codebuild의 buildspec.yml 에서 다시 chmod +x ./docker/app/docker-entry.sh를 실행했다.

도커(Docker), AWS Codebuild, CodePipeline을 활용한 레일즈(Ruby on Rails) 개발과 배포

2019-03-13T03:00:00+00:00

Docker, AWS Codebuild, CodePipeline을 활용한 Ruby on Rails 개발과 배포

도커에 대한 간략히 이해하고 레일즈 개발에 적용해 봅니다. 쓰다 보면 궁금해지므로 원리보다는 사용 방법에 집중합니다. 🙋 라벨이 붙은 내용은 넘어가도 좋습니다.

1. 굳이 왜?

쉽고 빠른 환경 설정

새 프로젝트를 시작하면 세팅하다 하루가 다 가곤 한다. 이제 Docker 를 이용하면 두 줄로 끝난다.

docker-compose build
docker-compose up

불변 배포 (Immutable deployment)

과거의 나는 서버에 도대체 무슨 짓을 벌였는가? rvm nginx 등 온갖 패키지, 설정 파일의 향연에 좌절하곤 했다.

쉽게 똑같은 서버를 구성할 수 있다면 서버 관리, 롤백, Scaling에 유리하다.

2. 도커 맛보기

도커는 어플리케이션을 개발, 배포, 실행하기 위한 오픈소스 플랫폼입니다.

이미지

뜯기 전 3분 카레. Mysql docker image라면 mysql을 실행시킬 수 있게 코드, 의존성 패키지, 환경변수 등 모든 것이 준비되어 있다. Dockerfile을 빌드해서 만들며 여러 개의 레이어로 이뤄진다.

컨테이너

전자레인지에 돌린 3분 카레. 이미지를 실행시키면 컨테이너가 된다. Mysql 이미지의 컨테이너는 실제로 Mysql을 사용가능하다. 도커 이미지에 새 Read/Write layer를 올려서 만들어지고 종료 시 해당 레이어는 지워진다.

기본 명령어

docker run docker/whalesay cowsay "난다 고래?"
docker run -it docker/whalesay /bin/sh
docker ps # 실행중인 컨테이너 목록
docker ps -a # 모든 컨테이너 목록
docker stop <container-id>
docker rm <container-id> # 컨테이너 삭제
docker image ls # 이미지 목록
docker rmi <image-id> # 이미지 삭제
docker system prune # 안 쓰는 컨테이너, 이미지 모두 삭제

레일즈 도커 파일 예시

FROM ruby:2.5.3 # ubuntu with ruby 2.5.3

RUN apt-get update -qq && \
    apt-get install -y build-essential libpq-dev nodejs imagemagick && \
    rm -rf /var/lib/apt/lists/*

ENV RAILS_ROOT /var/www/app
RUN mkdir -p $RAILS_ROOT

WORKDIR $RAILS_ROOT

COPY Gemfile* ./
RUN gem install bundler -v '1.16.4' \
    && bundler config --global frozen 1
RUN bundle install

VOLUME $RAILS_ROOT

EXPOSE 3000

CMD bundle exec rails db:migrate && bundle exec puma -C config/puma.rb

VOLUME

볼륨은 외부 저장 장치처럼 호스트의 저장공간을 쓰기 위해. DB 저장에 흔히 사용하는데 이유는 다음과 같다.

컨테이너를 지워도 볼륨에 저장한 데이터는 남아있다.
볼륨에 기록하면 이미지 크기가 늘어나지 않는다.

단 dockerfile에서 VOLUME 명령어는 mount point, 즉 빈 폴더만 만든다. docker run -v <host_path>:<container_path> 를 통해 실제로 마운트할 수 있다.

EXPOSE

docker run 할 때 해당 포트를 사용하라는 표시. 실효는 없고 사용자에게 남기는 주석이다. (AWS 배포하는 플랫폼에 따라 이 표시를 활용하는 경우도 있다)

Tip

In Docker 1.10 and higher, only RUN, COPY, and ADD instructions create layers. Other instructions create temporary intermediate images, and no longer directly increase the size of the build.

https://docs.docker.com/v17.09/engine/userguide/eng-image/dockerfile_best-practices/#minimize-the-number-of-layers

RUN, COPY, ADD 세 명령어는 이미지 레이어를 만든다. 빌드할 때 아래 레이어가 변경된 경우, 그 위 레이어들을 전부 새로 빌드하므로 명령어 배치에 유의하자.

🙋🏼‍♀️Dockerfile부터 직접 이미지를 빌드해 보자: 공식 튜토리얼

정리

컨테이너는 추상화된 어플리케이션이다.

추상화 (Abstraction)

중요한 것만 남기는 것. 3분 카레도 카레다.

숫자: 1000원을 받으면 100원 짜리가 몇 개인지 신경쓰지 않는다.
OS의 하드웨어 추상화: 안드로이드 앱은 다양한 기기에서 실행된다.

VM vs Container

도커 공식문서에 따르면 컨테이너는 코드와 의존 패키지를 포함한 어플리케이션, 즉 OS 커널 위에서 실행되는 프로그램을 추상화한다. 반면, 가상머신은 컴퓨터 하드웨어를 추상화한다. 도커 컨테이너들은 OS 커널을 공유하기 때문에 더 적은 용량을 차지한다.

잠깐!

도커는 namespace(독립된 프로세스 공간), cgroup(리소스 제한) 등의 리눅스의 기능을 활용해서 만들어졌다. 따라서 Docker for mac은 리눅스를 돌리기 위한 가상머신을 추가로 설치한다.

3. docker-compose

docker-compose.yml 파일을 정의하고 해당 파일이 있는 폴더에서 docker-compose 명령어 를 입력하면 여러 컨테이너를 한 번에 관리하고 옵션을 생략할 수 있어 편리하다.

⭐️ 기본 명령어

이미지 빌드 후 컨테이너 실행

한 번도 빌드한 적이 없어 아직 이미지가 없을 때
Gemfile을 수정했을 때

docker-compose build
docker-compose up -d
docker-compose logs -f app

터미널 명령어 입력

$ docker-compose exec app bash
root@35b0e137ef35:/var/www/app# e.g. bundle exec rails db:migrate

컨테이너 종료

docker-compose down

🙋 docker-compose를 이용해 레일즈, postgresql을 실행해보자: https://docs.docker.com/compose/rails/

🙋 `docker-compose.yml` 구성

예시 레일즈 프로젝트의 /docker-compose.yml 을 살펴보자.

version: '3.2' # use compose format v3
services:
  app:
    build:
      context: .
      dockerfile: ./docker/app/Dockerfile
      cache_from:
        - ${AWS_ECR_REPO}/rails:1.0.3
    image: ${AWS_ECR_REPO}/rails:1.0.3
    volumes:
      - ./:/var/www/app
      - ./config/database-docker.yml:/var/www/app/config/database.yml
    expose:
      - 3000
    environment:
      - RAILS_ENV=development
    depends_on:
      - db # 시작 순서를 조정, 단 해당 container의 started 상태만 보장, 내부적 준비 여부는 모름.

  db:
    image: mysql:5.7
    command: --character-set-server=utf8mb4 --collation-server=utf8mb4_unicode_ci
    volumes:
      - ./db/development:/var/lib/mysql
    expose:
      - 3306
    environment:
      MYSQL_ROOT_PASSWORD: xxx
      MYSQL_DATABASE: xxx

  web:
    build:
      context: ./docker/web/
      cache_from:
        - ${AWS_ECR_REPO}/nginx:1.0.0
    image: ${AWS_ECR_REPO}/nginx:1.0.0
    ports:
      - 80:80
      - 4000:3000 # dev
    depends_on:
      - app

4. Staging 서버로 배포

⭐️ 배포 과정

dev 브랜치에서 docker-compose.yml과 ` Dockerrun.aws.json` 의 레일즈 이미지 태그를 새 릴리즈 버전과 동일하게 업데이트 후 커밋
staging 브랜치로 pull request & squash and merge
AWS Codebuild 와 Codepipeline에 의해 ElasticBeanstalk에 자동 배포

staging 브랜치에 대한 푸시 권한을 제한하면 무분별한 배포를 막을 수 있다.

Codebuild

도커 이미지를 빌드하고 이미지 저장소에 업로드

로컬에 AWS CLI가 설치되어 있다면 아래의 순서로 이미지 저장소에 푸시할 수 있다.

aws configure 명령어를 통해 해당 저장소에 업로드 권한이 있는 유저로 로그인
아래 build script의 - 다음에 나오는 명령어들을 순서대로 입력

/buildspec.yml

version: 0.2 # build spec version

env:
  variables:
    AWS_DEFAULT_REGION: "ap-northeast-2"

phases:
  pre_build:
    commands:
      - echo Logging into Amazon ECR...
      - $(aws ecr get-login --region $AWS_DEFAULT_REGION --no-include-email)
      - echo Pulling Docker Images for cache...
      - docker-compose pull --ignore-pull-failures -q
  build:
    commands:
      - docker-compose build
  post_build:
    commands:
      - docker-compose push

artifacts:
  files:
    - './**/*'

Codepipeline

Github 소스코드를 Codebuild에 전달하고 ElasticBeanstalk에 배포

🙋🏼‍♀️ AWS ElasticBeanstalk 세부 내용

AWS ElasticBeanstalk Multicontainer docker 환경을 사용한다. 이는 내부적으로 컨테이너 관리 서비스인 Elastic Container Service를 이용하며 docker-compose.yml 과 유사한 아래의 설정파일이 필요하다.

/Dockerrun.aws.json

{
  "AWSEBDockerrunVersion": 2,
  "containerDefinitions": [
    {
      "environment": [
        {
          "name": "RAILS_ENV",
          "value": "production"
        }
      ],
      "essential": true,
      "memory": 512,
      "image": "386640523397.dkr.ecr.ap-northeast-2.amazonaws.com/rails:1.0.3",
      "mountPoints": [
        {
          "containerPath": "/var/www/app",
          "sourceVolume": "Performance_Plus_Rails"
        },
        {
          "containerPath": "/var/www/app/config/database.yml",
          "sourceVolume": "Performance_Plus_Rails_DB_Config"
        }
      ],
      "name": "app"
    },
    {
      "essential": true,
      "memory": 512,
      "image": "386640523397.dkr.ecr.ap-northeast-2.amazonaws.com/nginx:1.0.0",
      "mountPoints": [
        {
          "containerPath": "/var/www/app",
          "sourceVolume": "Performance_Plus_Rails"
        }
      ],
      "links": [
        "app"
      ],
      "name": "web",
      "portMappings": [
        {
          "containerPort": 80,
          "hostPort": 80
        }
      ]
    }
  ],
  "volumes": [
    {
      "name": "Performance_Plus_Rails",
      "host": {
        "sourcePath": "/var/app/current/" # elasticbeanstalk가 기본으로 파일을 업로드하는 위치
      }
    },
    {
      "name": "Performance_Plus_Rails_DB_Config",
      "host": {
        "sourcePath": "/var/app/current/config/database-docker.yml"
      }
    }
  ]
}

links

docker-compose는 자동으로 컨테이너 이름을 이용해 다른 컨테이너에 접속할 수 있게 도와준다.

/docker/web/nginx.conf 의 일부

upstream rails_app {
  server app:3000; # app is defined in Dockerrun.aws.json "link": ["app"]
}

추후 deprecated 예정이니 network 옵션으로 바꿀 계획. 자세한 옵션 설명은 Task Definition Parameters - Amazon Elastic Container Service 을 참조하자.

Q. db 이미지는 어디로 갔나요?

DB는 rds로 운영하므로 필요없다!

결론

⭐️ 만 익히고 쓰면서 찾아보자.

Reference

2. 도커 맛보기

도커의 정의, 원리 https://docs.docker.com/engine/docker-overview/

Dockerfile부터 도커 허브에 푸시까지 [Get Started, Part 2: Containers

Docker Documentation](https://docs.docker.com/get-started/part2/)

Dockerfile 작성 시 유의사항 https://docs.docker.com/v17.09/engine/userguide/eng-image/dockerfile_best-practices/

Layer 관점에서 본 이미지와 컨테이너 https://docs.docker.com/storage/storagedriver/

컨테이너는 어플리케이션의 추상화

[What is a Container? Docker](https://www.docker.com/resources/what-container)
Containers are not VMs - Docker Blog

namespace와 cgroup https://tech.ssut.me/what-even-is-a-container/

3. docker-compose

4, Staging 서버로 배포

AWS ElasticBeanstalk Multicontainer docker 환경 튜토리얼

Dockerrun.aws.json 의 설정 옵션 Task Definition Parameters - Amazon Elastic Container Service

도커 전반에 대한 한글 자료 http://pyrasis.com/docker.html

Hyunmin Lee

느려도 너무 느린 Docker for mac의 bind mount 속도 개선 이야기

Docker for mac의 bind mount 속도 개선 이야기

똑같이 도커 컨테이너에서 돌리는데…

원인

잠깐! bind mount와 volume

volumes

bind mounts

해결

Step1. Bind mount를 external로 선언

Step2. Install docker-sync

Step3. docker-sync.yml 설정 파일 작성

Step4. 기존 컨테이너 삭제 후 재생성

문제 해결

1. “xxx file not found” 에러가 발생합니다.

2. 도커 데몬을 껐다 켰더니 동기화가 안 됩니다.

비교

Q & A

cached 또는 delegated 설정은 어떨까요?

[Book] Metaprogramming in Ruby 2

[Book] Metaprogramming in Ruby 2

Ch2. The Object Model

instance variable은 할당할 때 생긴다

instance methods

class vs module

A class is just an object

Wrap-up

Question

Ruby class에 대한 보충 설명

What happens when you call a method?

Method lookup

Modules and lookup

Multiple inclusion

The Kernel

What private really means

Methods in example code

\w

Enumerable#grep

Array#replace

Ch3. Methods

Ch4. Blocks

Quiz using을 풀 때 유용한 정보

Kernel module

The main object

Ruby exception handling

Closure

& operator turns a proc to a block

Scope

Scope Gates

Passing scope gates

Sharing the scope without global var

instance_eval()

instance_exec 은 parameter를 넘겨줄 수 있음.

Proc vs Lambda의 두 가지 차이

arity

return

Method objects

Method -> Proc, Block -> Method

Unbound Methods

Class Macros

Singleton Classes

Method Lookup Revisited

instance_eval의 진짜 의미

Add a class method through including a module

Object#extend is a shortcut!

Ch6. Code that writes code

Kernel#eval

Binding objects

irb

Object#taint

Hooks

Ruby mysql2 gem 설치 시 libssl 오류 해결법

Ruby mysql2 gem 설치 시 libssl 오류 해결법

Problem

Solution

Reference

AWS Codepipeline에서 파일 실행 권한이 사라지는 문제

AWS Codepipeline에서 파일 실행 권한이 사라지는 문제

문제 발생

원인

Step3. `docker-sync.yml` 설정 파일 작성

`cached` 또는 `delegated` 설정은 어떨까요?

`instance_exec` 은 parameter를 넘겨줄 수 있음.

🙋 `docker-compose.yml` 구성