본문 바로가기 대메뉴 바로가기

테크니컬 스토리

아이티마야의 새로운 기술 뉴스를 만나보세요.
기술자료
오픈소스로 비용 없이 쉽게 클라우드 환경을 구현할 수 있는 Openstack을 알아보자. 가상머신 기반인 클라우드 환경을 구현하는 MultiNode Openstack을 구현해 보자. 오픈소스로 비용 없이 쉽게 클라우드 환경을 구현할 수 있는 Openstack을 알아보자. *전에, SingleNode로 구성했던 Openstack을 이번에는 MultiNode로 구성해 보았습니다. Openstack란 가상머신 기반으로 클라우드 환경을 구현하는 기술입니다. 이 오픈소스는 lass를 쉽게 구축할 수 있도록 플랫폼 지원과, 대시보드를 통해 스토리지, 프로세싱, 네트워킹 등 대시보드를 통해 자원들을 제어할 수 있게 해줍니다. Openstack 사용 이유 Openstack을 사용하는 가장 큰 이유는 시스템 사용에 대한 비용이 전혀 들지 않는다는 것입니다. Openstack의 특징 Openstack의 장점으로는 우선 확장성과, 모듈성, 오픈소스이므로 비용이 들지 않는다는 점과 많은 사람들이 사용하며, 개발하기 때문에 안정화와, 버전 릴리즈가 빠릅니다. 하지만 단점으로는 버전 릴리즈가 빠를수록 잦은 업데이트가 이루어진다는 것이 단점이 될 수도 있습니다. 아래는 저의 구성 환경입니다. [멀티노드] 노드 3대 같은 사양으로 진행했습니다. | OS : (VM)Ubuntu20.04 CLI | CPU : 4core | RAM : 16GB | Disk : 50GB [호스트 네임은 꼭 별도로 다르게 설정해 주셔야 합니다.] gpuadmin1 192.168.0.32 *hostname=gpusystem  Controller Node gpuadmin2 192.168.0.34 *hostname=node1    Computing Node 1 gpuadmin3 192.168.0.37 *hostname=node2    Computing Node 2 (1) 멀티노드 오픈스택을 구성해 보겠습니다. (1-1) stack 계정을 만들어줍니다. stack 계정 생성하기. #sudo useradd -s /bin/bash -d /opt/stack -m stack stack 계정에 sudo 권한 주기. #sudo echo \"stack ALL=(ALL) NOPASSWD: ALL\" |sudo tee /etc/sudoers.d/stack #sudo chown -R stack:stack /opt/stack stack 계정에 로그인. #sudo su - stack (1-2) devstack 설치와, local.conf 값 주기. devstack 다운로드 #git clone https://opendev.org/openstack/devstack local.conf 설정. #cp devstack/samples/local.conf devstack/local.conf #vi devstack/local.conf (1-3) 아래는 local.conf 값입니다. [local.conf] Controller Node *gpuadmin1 HOST_IP=192.168.0.32 FIXED_RANGE=10.4.128.0/20 #임의의 IP를 넣어줍니다. FLOATING_RANGE=192.168.0.240/25 #어디까지 IP를 사용할지 지정해 줍니다. LOGFILE=/opt/stack/logs/stack.sh.log ADMIN_PASSWORD=Itmaya #원하시는 패스워드를 넣으시면 됩니다. DATABASE_PASSWORD=supersecret RABBIT_PASSWORD=supersecret SERVICE_PASSWORD=supersecret [local.conf] Compute Node *gpuadmin2,gpuadmin3 (두 대다 해당 아이피 넣어주기.) HOST_IP=192.168.0.34,37 #Compute Node의 IP를 넣어줍니다. FIXED_RANGE=10.4.128.0/20 FLOATING_RANGE=192.168.0.240/25 LOGFILE=/opt/stack/logs/stack.sh.log ADMIN_PASSWORD=Itmaya DATABASE_PASSWORD=supersecret RABBIT_PASSWORD=supersecret SERVICE_PASSWORD=supersecret DATABASE_TYPE=mysql SERVICE_HOST=192.168.0.32 MYSQL_HOST=$SERVICE_HOST RABBIT_HOST=$SERVICE_HOST GLANCE_HOSTPORT=$SERVICE_HOST:9292 ENABLED_SERVICES=n-cpu,c-vol,placement-client,ovn-controller,ovs-vswitchd,ovsdb-server,q-ovn-metadata-agent NOVA_VNC_ENABLED=True NOVNCPROXY_URL=\"http://$SERVICE_HOST:6080/vnc_lite.html\" VNCSERVER_LISTEN=$HOST_IP VNCSERVER_PROXYCLIENT_ADDRESS=$VNCSERVER_LISTEN (1-4) openstack 설치하기. #./stack.sh (1-5) 아래 이미지는 설치가 완료된 이미지입니다. controller Node compute Node1 compute Node2 (1-6) 아래는 웹으로 오픈스택을 들어간 사진입니다. (TIP) 그 외, 에러가 나왔을 때 대처 방법입니다. *compute code error #sudo /usr/share/openvswitch/scripts/ovs-ctl start #sudo apt-get install qemu-kvm libvirt-daemon-system libvirt-client bridge-utils virt-manager 안될 시.. #sudo ovs-vsctl --no-wait init #sudo ovs-vswitchd --pidfile --detach local.conf에서 q-agt를 삭제 후, ./unstack 한번해 주시고 ./stack.sh 해주세요. 2023.10.19
MiniKube란 무엇일까? k8s를 쉽게 구성할 수 있는 Minikube를 설치해 보자. MiniKube란 무엇일까? MiniKube란 무엇일까? ? Minikube는 Kubernetes 클러스터를 관리하는 데 도움이 되는 오픈소스입니다. Minikube는 Kubernetes 클러스터를 배포하고 관리하는 데 사용되는 오픈소스 도구입니다. Minikube를 사용하면 로컬 컴퓨터에서 단일 노드 Kubernetes 클러스터를 실행하여 애플리케이션 개발, 테스트 및 배포를 쉽게 할 수 있으며, 단일 머신에서 다중 노드 Kubernetes 환경을 시뮬레이션하여 다양한 Kubernetes 기능 및 구성을 실험할 수 있습니다. MiniKube와 Kubernetes 차이점은 뭘까? Kubernetes 특징 ●접근성이 좋다. ●다중 클라우드 환경, 공용, 사설 또는 하이브리드 용으로 구축되어 있다. ●모듈화 되어 있으며, 모든 구성 요소를 쉽게 교체할 수 있도록 설계되어 있다. minikube 특징 ●로컬 시스템에서 쉽게 설치가 가능하다. ●리눅스, 맥 OS, 윈도우를 지원하며, 설치 파일 이외에도 각 OS가 지원하는 패키지 매니저를 활용하여 편리하게 설치할 수 있다. ●LoadBalancer ●Multi-cluster 저의 구성환경입니다 - OS: Ubuntu20.04 GUI [VM] - CPU: 4Core - Memory: 10GB -Disk: 50GB (1) 우선 MiniKube를 설치하기 위해선, Docker, snap, go를 설치해 줍니다. docker install # sudo apt update # sudo apt install -y apt-transport-https ca-certificates curl software-properties-common # curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add - # sudo add-apt-repository \"deb [arch=amd64] https://download.docker.com/linux/ubuntu bionic stable\" # sudo apt update # apt-cache policy docker-ce # sudo apt install docker-ce 시스템이 종료된 후에도 Docker가 동작하게 해 줍니다. # sudo systemctl status docker # sudo systemctl enable docker.service # sudo systemctl start docker.service snap install # sudo apt install snap go install # sudo snap install go --classic (1-2) Docker Cri를 구성해줍니다. # git clone https://github.com/Mirantis/cri-dockerd.git # wget https://storage.googleapis.com/golang/getgo/installer_linux # chmod +x ./installer_linux # ./installer_linux # source ~/.bash_profile # cd cri-dockerd # mkdir bin # go build -o bin/cri-dockerd # mkdir -p /usr/local/bin # sudo install -o root -g root -m 0755 bin/cri-dockerd /usr/local/bin/cri-dockerd # sudo cp -a packaging/systemd/* /etc/systemd/system # sudo sed -i -e \\\'s,/usr/bin/cri-dockerd,/usr/local/bin/cri-dockerd,\\\' /etc/systemd/system/cri-docker.service # sudo systemctl daemon-reload Cri-Docker를 실행해 줍니다. # sudo systemctl start cri-docker.service # sudo systemctl start cri-docker.socket # sudo systemctl enable cri-docker.service # sudo systemctl enable cri-docker.socket (2) Docker 설치를 완료했다면, MiniKube를 설치해 줍니다. # curl -Lo minikube https://storage.googleapis.com/minikube/releases/latest/minikube-linux-amd64\ && chmod +x minikube # sudo mkdir -p /usr/local/bin/ # sudo install minikube /usr/local/bin/ (2-1) Conntrack 설치해줍니다. ? Conntrack은 무엇일까? Conntrack는 Linux 운영 체제에서 사용되는 네트워크 관련 도구로, 시스템 내에서 네트워크 연결을 추적하는 기능을 제공합니다. 또한 conntrack은 네트워크 문제를 해결하고 네트워크 트래픽에서 병목 현상을 식별하여 네트워크 성능을 최적화하는 데도 사용될 수 있습니다. # sudo apt-get install conntrack (2-2) CriCtl 설치 해줍니다. ? CriCtl은 무엇일까? 쿠버네티스 노드에서 컨테이너 런타임과 애플리케이션을 검사하고 디버그 하는 데 사용할 수 있다. # VERSION=\"v1.21.0\" wget https://github.com/kubernetes-sigs/cri-tools/releases/download/$VERSION/crictl-$VERSION-linux-amd64.tar.gz # sudo tar zxvf crictl-$VERSION-linux-amd64.tar.gz -C /usr/local/bin (3) 필수 패키지 설치가 완료되었다면, MiniKube를 실행시켜 줍니다. [아래 이미지처럼 실행이 됩니다.] # sudo minikube start --vm-driver=none 원하는 Kubernetes버전이 있을시, # minikube start --kubernetes-version=v1.21.0 (3-1) 설치 중, 아래와 같은 메시지가 나온다면 아래 명령어를 따라 설치해 주세요. # CNI_PLUGIN_VERSION=\"v1.3.0\" CNI_PLUGIN_TAR=\"cni-plugins-linux-amd64-$CNI_PLUGIN_VERSION.tgz\" CNI_PLUGIN_INSTALL_DIR=\"/opt/cni/bin\" #curl -LO \"https://github.com/containernetworking/plugins/releases/download/$CNI_PLUGIN_VERSION/$CNI_PLUGIN_TAR\" # sudo mkdir -p \"$CNI_PLUGIN_INSTALL_DIR\" # sudo tar -xf \"$CNI_PLUGIN_TAR\" -C \"$CNI_PLUGIN_INSTALL_DIR\" # sudo rm \"$CNI_PLUGIN_TAR\" (3-2) 설치 중, 아래와 같은 메시지가 나온다면 빨간색 체크 박스에 표시된 명령어를 실행해 주세요. # sudo systemctl fs.protected_regular=0 (4) 설치가 완료되셨다면, Kubernetes를 설치해 줍니다. # curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key add - && \ echo \"deb http://apt.kubernetes.io/ kubernetes-xenial main\" | sudo tee /etc/apt/sources.list.d/kubernetes.list && \ sudo apt-get update -q && \ sudo apt-get install -qy kubelet=1.21.0-00 kubectl=1.21.0-00 kubeadm=1.21.0-00 (4-1) Kubernetes 명령어를 사용하기 위해 아래 명령어를 입력해 줍니다. # sudo mkdir -p ${HOME}/.kube # sudo cp -i /etc/kubernetes/admin.conf ${HOME}/.kube/config # sudo chown ${USER}:${USER} ${HOME}/.kube/config (4-2) Kube설치가 완료되셨다면, Calico Network Plugin 설치해 줍니다. ? Calico Network Plugin이란 오픈소스 네트워킹이며, kube에서 각 Pod 간 네트워크 통신이 가능하도록 도와주는 플러그인입니다. # kubectl apply -f https://docs.projectcalico.org/manifests/calico.yaml (6) MiniKube 상태 확인 방법입니다. [아래 이미지처럼 상태를 확인할 수 있습니다.] # sudo minikube status (7) MiniKube DashBoard를 설치합니다. # sudo minikube addons enable dashboard # sudo minikube dashboard (7-1) 아래 명령어로 DashBoard가 실행됐는지 확인합니다. [아래 이미지처럼 enabled가 표시됩니다.] # sudo minikube addons list (7-2) Proxy설정 후, DashBoard를 실행해 줍니다. [아래 이미지처럼 DashBoard에 접속됩니다.] # kubectl proxy --address=\\\'0.0.0.0\\\' --disable-filter=true # sudo minikube dashboard 접속 방법 입니다. [8001은 MiniKube DashBoard의 Port입니다.] http://[YourServerIP]:8001/api/v1/namespaces/kubernetes-dashboard/services/http:kubernetes-dashboard:/proxy/ 아래 이미지는 접속 된 상태 입니다. 2023.10.06
Ubuntu를 사용하면서 쉽게 백업할 수 있는 오픈소스를 알아보자. Ubuntu를 사용하면서 쉽게 백업할 수 있는 오픈소스를 알아보자. TimeShift라는 이미지 Snapshot 도구를 사용해 보자. Snapshot이란 무엇일까. Snapshot은 마치 사진을 찍는 것처럼, 특정 시간에 데이터 저장 장치의 상태를 별도의 파일이나 이미지로 저장하는 기술이다. 이 기술을 UI로 간편하게 사용할 수 있는 오픈소스가 TimeShift이다. Snapshot을 사용하는 이유. 스냅샷 기능을 이용하여 데이터를 저장하면 유실된 데이터 복원과 일정 시점의 상태로 데이터를 복원할 수 있다. 저의 구성환경입니다. OS : Ubuntu20.04 GUI [VM] CPU : 4Core DISK1 : 50GB DISK2 : 50GB Memory : 10GB 1. 우선 아래 명령어로 TimeShift를 설치해 줍니다. # sudo apt update # sudo apt install timeshift 2. 설치가 완료되셨다면, 아래 이미지처럼 timeshift에 접속해 주세요. Ubuntu 기본값은 etx4이므로, RSYNC옵션만 사용할 수 있다. [만약, BTRFS를 사용하고 싶다면, Linux 파일 시스템을 BTRFS로 포맷해야 한다.] · RSYNC(Remote Synchronization) : 원격 동기화라는 뜻으로, 원격 시스템으로부터 파일을 효율적으로 복사하거나 동기화할 수 있다. · BTRFS(Butter file system) : Copy-on-Write 파일시스템으로, 스냅샷을 활용을 하여 볼륨의 복원이 가능하며, 실시간 오류 수정 기능을 가지고 있다. 3. RSYNC선택 후, Next를 눌러 넘어가 주세요. 4. 아래와 같은 UI가 나온다면 스냅샷이 저장될 위치를 골라주세요. [Linux file system만 가능합니다.] 저는 sdb로 설정하였습니다. 5. 다음으로 넘어오시면 스냅샷 일정 주기를 설정할 수 있습니다. [원하는 일정을 맞춰주세요.] 6. 아래 이미지는 백업 설정입니다. [저는 앱포함 백업을 선택하였습니다.] · Exclude All Files : 앱 제외 · Include Only Hidden Files : 숨김 항목 포함 · Include All files : 앱 포함 7. 다음으로 넘어오시면, 스냅샷 설정이 완료된 것을 확인할 수 있습니다. 8. 지금 바로 스냅샷을 만들고 싶으시다면 위쪽 Create을 누르시면 아래 이미지처럼 스냅샷이 생성됩니다. 9. 복원을 원하시면 저장된 스냅샷 중 하나를 고른 뒤 복원(Restore)을 눌러주시면 됩니다. 2023.09.12
오픈소스를 활용한 서버 / 클라이언트 백업 중앙 관리 / 구성 방안 이미지/파일/증분/중복제거 모두 가능한 오픈소스 백업 솔루션 UrBackup 오픈소스를 활용한 서버 / 클라이언트 백업 중앙 관리 / 구성 방안 백업 솔루션 선택 최근 고객사로부터 랜섬웨어, 채굴 악성코드 등의 피해 사례에 대한 문의가 많아지고 있습니다. 기존의 백업은 시스템의 장애 혹은 DR 개념의 백업이 주요 목적이었다면, 최근 들어 악성코드로 인한 데이터 손상도 백업의 주요 목적이 되었습니다. 백업 시스템의 도입은 점점 필수가 되어 가고 있지만, 예산으로 백업시스템 도입이 망설여진다면 오픈소스 백업 솔루션의 도입을 검토해 볼 수 있습니다. 백업 솔루션을 선택할 때 고려되어야 할 사항입니다.  ● GUI 관리 툴로 손쉬운 관리  ● 중앙 관리 (서버 - 클라이언트 방식)  ● 파일백업 기능 (파일 복원 기능)  ● OS 이미지 백업 기능 (OS 이미지 복원 기능)  ● 네트워크 백업 / 복구  ● 증분 백업  ● 중복 제거 UrBackup은 오픈소스 백업 솔루션에서도 매우 간편하게 사용할 수 있으며, 위 나열된 기능을 모두 제공합니다. 본 포스팅에서는 백업 솔루션의 설치 방법과 사용방법을 안내합니다. 테스트 환경 구성 ● 시스템을 한 개의 네트워크 환경에서 사용한다고 가정하고, 같은 네트워크에 백업 서버를 구성하였습니다. ● 백업 대상 서버의 OS는 리눅스 환경 2대와 윈도우 환경 2대로 구성하였습니다. UrBackup Server 설치 💡   UrBackup Server 사전 준비   ● OS : Ubuntu 22.04   ● SW : Docker UrBackup Server 는 여러 OS 환경에 설치할 수 있습니다.  ● Windows  ● Debian  ● Ubuntu  ● RedHat/CentOS/ScientificLinux/Fedora/SuSE/Debian/Ubuntu/Raspbian  ● Arch Linux  ● Gentoo Linux  ● GNU/Linux, FreeBSD  ● FreeNAS  ● QNAP NAS  ● Open Media Vault  ● ASUSTOR - ASUS NAS  ● Docker 본 포스팅에서는 가장 편리하게 구성할 수 있는 Docker 환경으로 구성합니다. $ docker run -d --name urbackup-server-1 -v /media/backups:/backups -v /media/database:/var/urbackup -p 55413-55415:55413-55415 -p 35623:35623/udp uroni/urbackup-server ● /media/backups 백업 파일 저장 폴더 ● /media/database UrBackup DB 저장 폴더 UrBackup Server 동작 확인 $ docker ps -a CONTAINER ID IMAGE COMMAND CREATED STATUS ca7e911ef417 uroni/urbackup-server "/usr/bin/entrypoint…" 3 seconds ago Up 1 second ● Docker에 컨테이너가 올라가면 바로 웹 55414포트로 관리 툴에 접근할 수 있습니다.   (BackupServerIP:55414) ● 기본 관리자 패스워드가 설정되어 있지 않습니다. 설정할 수 있습니다. (첫 생성 유저는 전체 관리자로 생성해야만 합니다.)    ○ Setting > Users > Create user ● 클라이언트에 배포될 자동 설치 파일 생성을 위해 아래 정보를 미리 입력해 둡니다. (서버 IP / 보안키)    ○ Setting > General > Internet/Active Clients UrBackup Client 설치 UrBakcup Client는 백업을 할 대상 서버에 설치합니다. 클라이언트를 설치하고 서버와 연결하면 서버에서 백업/복구/스케줄링 등과 관련된 모든 접근이 가능합니다. UrBackup Client는 주로 사용하는 대다수 OS의 버전에서 설치가 가능합니다.  ● Windows  ● Linux Binary  ● MacOS  ● Arch Linux  ● Gentoo Linux  ● Client Source for Linux 테스트 환경에서는 Ubuntu Linux와 Windows 10의 백업 대상 서버를 만들어 두었고, 총 4개의 서버에 백업 클라이언트 소프트웨어를 구성했습니다. 클라이언트에 설치될 설치 파일은 관리 서버에서 다운로드 가능합니다. Status > Add new Client Client 이름을 입력하여 클라이언트를 생성하면 클라이언트는 아직 연결되지 않은 걸 확인할 수 있고, 클라이언트에서 설치할 설치 파일을 다운로드할 수 있습니다. (Status > Download Client) 다운로드 받은 설치 파일은 윈도우는 .exe 실행파일이고, 리눅스는 .sh 실행파일입니다.  ● Windows OS에서의 백업 클라이언트 설치    다운받은 .exe 파일을 실행하고 설치합니다.   트레이에 생긴 UrBackup 을 확인하고, 우클릭하여 설정할 수 있습니다.   Client의 Computer Name은 서버에서 등록한 Computer Name 과 동일해야 합니다. 서버의 IP를 입력하고 완료합니다.   서버가 연결되면 서버에서 설정된 내용에 맞춰 백업을 시작합니다.  ● Linux OS에서의 백업 클라이언트 설치    다운 받은 파일을 sudo 권한으로 실행합니다. 볼륨 스냅샷 방법을 정할 수 있는데, 저는 4. Linux Device mapper 스냅샷으로 설정하였습니다.    스냅샷은 클라이언트를 한번 재부팅해야 정상 동작한다고 정보가 나오네요.    아래 명령어로 동작 여부를 확인 할 수 있습니다. 인터넷 서버와 연결이 되어 있지 않은 것을 확인할 수 있습니다.    제거 필요시 간단하게 제거할 수 있습니다.    제공되는 명령어는 아래와 같습니다. 커맨드 명령어도 조작이 간편합니다.  $ sudo urbackupclientbackend  $ sudo urbackupclientctl  $ sudo urbackupclient_dmsnaptool  $ sudo uninstall_urbackupclient 클라이언트 설정이 모두 완료되었다면, 서버에서 4개의 클라이언트가 확인됩니다. 백업 설정 파일 백업 설정 기본 구성은 아래와 같고, 변경할 수 있습니다. (Setting > File Backups)  ● 증분 백업 : 5시간에 1회 수행  ● 풀 백업 : 30일에 1회 수행 그 외 최대 백업 본의 보관 수나 클라이언트별 백업 폴더 등을 설정할 수 있습니다. 이미지 백업 설정 기본 구성은 아래와 같고, 변경할 수 있습니다. (Setting > Image Backups)  ● 증분 백업 : 7일에 1회 수행  ● 풀 백업 : 60일에 1회 수행 (비활성화) 그 외 최대 백업 본의 보관 수나 압축방법 등을 설정할 수 있습니다. 이미지 백업은 UrBackup에서 제공하는 부트 이미지를 이용하여 서버의 OS 영역을 완벽히 복원하거나, 새로운 장비에 복원이 가능합니다. 손상 파일 복구 사용 중 파일 및 폴더가 오염되었거나, 삭제되었다면 파일 복원이 가능합니다. 백업은 백업 설정에 따라 일자별/시간별로 보관되어 각 일자별/시간별 폴더 및 파일 내용을 확인할 수 있습니다. 예를 들어 5시간마다 파일 증분 백업으로 설정했고, 랜섬웨어를 가정한다면 랜섬웨어로 파일이 오염된 시점 이전으로의 복원이 가능합니다. 파일을 복구하는 방법은 관리 툴의 Backups 메뉴에서 가능합니다. 백업 클라이언트를 선택하고 백업 일자를 선택하면 폴더 목록 파일 목록을 확인할 수 있고, 전체/선택 폴더/선택 파일 등으로 Restore 기능을 제공합니다. Restore 버튼을 누르면 클라이언트의 파일이 바로 복구됩니다. 혹은 ZIP 파일로의 압축하여 다운로드할 수도 있습니다. 리눅스에서는 바로 복원은 클라이언트에서 urbackupclientclt 명령어를 이용하여 가능합니다. 그 외 폴더 및 파일을 다운로드하거나 확인하는 방법은 동일합니다. 손상 OS 복구 OS 복구 테스트를 위해 Client #3의 이미지 풀 백업을 스케줄링이 아닌 미리 진행했습니다. Client #3의 OS와 물리적 하드웨어 장애가 있다는 가정으로, 새로운 시스템인 Client #6을 준비하였고 Client #3의 OS를 Client #6에 복원합니다. OS 복원을 위해 UrBackup에서 제공하는 복구용 ISO 이미지 부팅하여 진행합니다. (UrBackup 사이트에서 다운로드 가능합니다.) 그래픽인터페이스와 커맨드 인터페이스를 선택할 수 있습니다. 보기 좋게 GUI를 선택했습니다. 언어 설정과 타임라인 설정을 스킵하고 서버와의 연결 설정을 해야 합니다. (Configure Internet server) 서버가 구성된 IP와 초기 구성시 입력한 보안키를 입력합니다. 서버 초기 구성시 입력한 ID와 패스워드를 입력합니다. 복원할 클라이언트 이미지를 선택하고, 복원될 디스크를 선택합니다. 복원 후 재부팅하면 복원된 이미지로 부팅되는 것을 확인할 수 있습니다. 오픈소스로 백업 환경을 구성한다면… 상용 솔루션을 사용한다면 기술 지원 측면에서 보다 편하게 사용할 수 있습니다. 하지만 UrBackup은 상용에서도 찾아보기 힘들 정도로 다양한 핵심 기능을 제공하고 있고 조작이 매우 직관적이고 편리합니다. 서버 관리를 처음 하는 초보 관리자도 단 몇 시간만 학습하면 사용할 수 있습니다. 백업에 매년 라이선스 비용을 지불하며 사용하거나, 클라이언트 숫자가 늘어날 때마다 라이선스를 추가해야 하는 게 부담된다면 백업 서버를 오픈소스로 구성하시는 것은 좋은 선택지가 됩니다. 2023.09.04
Docker를 사용하면서, UI로 쉽게 관리할 수 있는 오픈소스를 알아보자. Docker의 Swarm, status, resource 등을 관리할 수 있는 Portainer라는 오픈소스를 구성해 보자. Docker를 사용하면서, UI로 쉽게 관리할 수 있는 오픈소스를 알아보자. Docker Portainer란 무엇일까. Docker Portainer는 Docker 환경에서 컨테이너, 이미지 및 네트워크를 쉽게 관리할 수 있는 Docker 용 웹 기반 관리 도구, 오픈 소스이다. Portainer의 장점을 알아보자. | Docker 웹 기반 그래픽 사용자 인터페이스(GUI)를 제공하여 사용자가 애플리케이션을 빠르고 쉽게 배포할 수 있도록 한다. | 상태, 리소스 사용량 및 로그 등, 실행 중인 모든 컨테이너의 세부 정보를 표시하는 대시보드를 제공한다. 따라서, 컨테이너를 쉽게 모니터링하고 제어할 수 있다. | Docker의 기본 클러스터링 시스템인 Docker Swarm에 대한 지원이다. Docker Portainer를 사용하면 사용자는 Docker Swarm 클러스터를 쉽게 배포하고 관리할 수 있으므로 애플리케이션과 서비스를 쉽게 확장할 수 있다. Portainer를 설치해 보자. 아래는 저의 구성 환경입니다. 💡   OS:Ubuntu22.04 GUI (VM)   CPU: 4Core   DISK: 50GB   MEMORY: 16GB 우선, Docker를 설치해 줍니다. # sudo apt update # sudo apt install -y apt-transport-https ca-certificates curl software-properties-common # curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add - # sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu bionic stable" # sudo apt update # apt-cache policy docker-ce # sudo apt install docker-ce Docker가 잘 설치되었는지 확인해 줍니다. # sudo systemctl status docker (docker 상태 확인) # sudo systemctl enable docker (재부팅돼도 docker 실행) 위의 사진처럼 나온다면 Docker 설치가 잘 완료됐습니다. Docker 컨테이너 생성, portainer를 설치해 줍니다. # sudo docker run --name portainer -p 9000:9000 -d --restart always -v /data/portainer:/data -v /var/run/docker.sock:/var/run/docker.sock portainer/portainer Portainer 접속방법은 아래와 같습니다. # http://ServerIP:9000 아래는 접속 사진입니다. 1. User name, Password를 만들어 줍니다. Password는 12글자 이상 입력하셔야 합니다. 2. 계정을 생성하셨다면 아래 사진처럼 접속됩니다. 3. 이제 컨테이너와 이미지 관리, 애플리케이션 배포 등, UI로 쉽게 배포할 수 있습니다. 💡   아래 사진처럼 접속이 안될 시 해결 방안입니다. # docker ps -a (portainer컨테이너 ID를 확인해줍니다.) # docker restart containerID (Portainer 컨테이너 ID를 입력하여 재시작 해줍니다.) # http://ServerIP:9000 (다시 접속해 줍니다.) 2023.09.01
실수로 삭제한 데이터를 비용 없이, 오픈소스를 이용하여 복구할 수 있을까? TestDisk로 복구해 보자. 실수로 삭제한 데이터를 비용 없이, 오픈소스를 이용하여 복구할 수 있을까? TestDisk란 GPL라이선스를 가진 오픈소스 소프트웨어이며, 파티션 복구 프로그램입니다. 실수로 데이터를 삭제했거나 파티션이 날아간 상태에서 TestDisk라는 오픈소스 소프트웨어로 다시 복구할 수 있습니다. 아래는 저의 구성 환경입니다. - OS : [VM]Ubuntu20.04 CLI - CPU : 4core - MEMORY : 16GB - DISK : 50GB TestDisk로 삭제한 파일들을 복구해 보도록 하겠습니다. 💡   [예시] 저는 /test.txt, /test1.txt, /test.yaml 파일을 만든 후, #rm -rf 명령어로 지운 후, TestDisk로 복구를 해보려고 합니다. (1) 우선 설치는 아래와 같이 간단합니다. #sudo apt update #sudo apt install testdisk (1-2) 실행은 아래와 같습니다 #testdisk *아래 이미지가 testdisk에 들어간 상태입니다. 맨 위에 TestDisk7.1은 버전을 나타냅니다. ● Create= 새 로그파일을 생성합니다. ● Append= 로그파일에 정보를 추가합니다. ● NoLog= 아무것도 기록하지 않습니다. [저는 log는 필요 없어서 NOLOG로 진행하였습니다.] *아래는 다음 이미지 입니다. 1. 아래 Proceed, Sudo, Quit가 있습니다. 2. Sudo로 들어가 주세요. *아래는 다음 이미지 입니다. 저는 /dev/sda에 지운 파일들이 있어서, 위에 이미지와 같이 들어가 줍니다. *아래는 다음 이미지 입니다. 여기서는, 맞는 파티션으로 자동으로 지정되기 때문에 바로 엔터를 누르시면 됩니다. *아래는 다음 이미지 입니다. 실수로 지워버린 파일을 복구하기 위해 Advanced로 들어가 줍니다. ● Analyes= 현재 파티션 구조 분석 및 손실된 파티션 검색 ● Advanced= 파일 시스템 유틸리티 ● Geometry= 디스크 지오메트리 변경 *아래는 다음 이미지 입니다. Linux filesys. data 쪽으로 선택하시고 아래 List로 들어가 줍니다. *아래는 다음 이미지 입니다. 이와 같이 빨간색으로 표시된 파일들이 제가 지운 파일입니다. 복구하시고 싶은 파일을 c를 누르시면 됩니다. *다음 이미지 입니다. 1. 복구하실 파일을 c로 누르시면 다음과 같이 나옵니다. 2. 여기서는 복원할 공간을 선택하시면 되는데, c를 한 번 더 누르시면 해당 경로에 기존경로가 복원이 됩니다. *다음 이미지 입니다. 위와 같이 복구가 완료되면 Copy done! 1 ok라고 나옵니다. *다음 이미지 입니다. 이렇게 해당 경로에 들어가보면 test.txt, test1.txt, test.yaml 파일이 잘 복구되신걸 볼수있습니다. 💡   우선 간단한 파일은 복구가 잘 되는 걸 볼 수 있습니다. 하지만 복구라는 게 100%로 완전하지는 않기에 항상 삭제하기 전에 백업을 해두시고, 삭제하시는 걸 권장드립니다. 2023.08.08
개발 환경 서버에서, 간단하게 한 번에 여러 대의 작업과, 모니터링을 할 수 있는 오픈소스가 있을까? 개발 환경 서버에서, 간단하게 한 번에 여러 대의 작업과, 모니터링을 할 수 있는 오픈소스가 있을까? ClusterSSH를 알아보자. ClusterSSH란? 말 그대로, SSH 클러스터이며, 다수의 서버에 동시에 접속하여, 동일한 명령어를 한 번에 수행할 수 있는 perl기반의 오픈소스입니다. 이러한 ClusterSSH를 사용면, SSH 또는, RSH 세션 여러 개를 제어할 수 있습니다. ClusterSSH의 장점 입력창 하나에서 SSH 또는 RSH세션 여러 개를 제어할 수 있다는 것이 큰 장점이며, 개별 터미널 창과 상호 작용 할 수 있습니다. *아래는 저의 구성 환경입니다. [Centos, Ubuntu에서 사용이 가능합니다.] | OS:[VM] Ubuntu20.04 GUI | IP:192.168.0.55=gpuadmin1 | IP:192.168.0.43=gpuadmin2 (1) 아래는 설치 명령어입니다. #sudo apt-getupdate #sudo apt-getinstall clusterssh (2) Clusterssh를 사용하기 위해서는 우선 GUI로 설치하셔야 합니다. [마스터 서버만] 만약, GUI가 아닌, CLI로 설치하셨다면 아래 명령어로 GUI를 설치해주시기 바랍니다. #sudo apt-getinstall ubuntu-dekstop *GUI설치는 대략 20~30분정도 소요 됩니다. (2-1) Ubuntu-desktop 설치가 완료되셨다면, 아래명령어로 시작해 주세요. #sudo systemctl status gdm3 #서비스 상태 확인. #sudo systemctl start gdm3 #서비스 시작. #sudo systemctl enable gdm3 #재부팅 후에도 시작. (3) 이제 사용 방법에 대해서 알아보겠습니다. #cssh [동시 접속 하실 서버 IP] #cssh gpuadmin2@192.168.0.43 gpuadmin1@192.168.0.55#예시 입니다. (3-1) 아래 이미지는 위의 명령어로 두 개의 서버를 동시 접속한 상태입니다. (3-2) 아래 이미지 빨간 박스에서 원하는 명령어를 치시면, 두 개의 서버에 동시에 명령어가 입력되는것을 볼 수 있습니다. 2023.08.08
비용과 UI로 관리가 쉬운 오픈소스 메시지 브로커를 알아보자. RabbitMQ(Massage System)를 구축해 보자. 비용과 UI로 관리가 쉬운 오픈소스 메시지 브로커를 알아보자. RabbitMQ란. RabbitMQ는 가장 널리 퍼져있는 오픈소스 메시지 브로커 방식입니다. 즉, 메시지 브로커 방식이란, 응용프로그램, 서비스 및 시스템이 정보를 통신하고 교환할 수 있도록 하는 소프트웨어 모듈입니다. 사용하는 이유. 이와 같은 Massage System을 사용하는 이유는, 독립된 애플리케이션을 RabbitMQ라는 메시지 시스템을 통해 실시간으로 데이터를 주고받음으로써, 데이터 교환 엔드포인트를 하나로 통합해 비용이 들지 않으며, 관리가 수월해집니다. RabbitMQ 특징. RabbitMQ의 장점을 정리해 보면, 라우팅, 클러스터링, 관리 UI와 가벼운 오픈소스입니다. RabbitMQ는 kafka와 비슷한 방식이지만, 대용량 데이터를 사용하지 않는다면, 가벼운 RabbitMQ를 사용하는 것이 좋습니다. RabbitMQ는 서버가 죽는 경우 메모리에 저장돼 있던 메시지들은 모두 사라지지만, MessageDurability라는 옵션으로 디스크에도 저장이 되게 하여, 메시지 손실을 막아줍니다. (하지만, 디스크에 저장될 때 서버가 죽는 경우 손실을 막을 순 없습니다. 따라서, RabbitMQ의 환경 구축을 해보겠습니다. 구축환경은 아래와 같습니다. OS:(VM) Ubuntu22.04 GUI (GDM3) CPU:8 core RAM:4GB (tip) RabbitMQ(Massage System)을 구축하기 전, 손쉬운 모니터링을 위해 GUI를 설치하는 것이 좋습니다. 1. 우선 최신버전 설치를 위해, 업데이트를 진행해 줍니다. #sudo apt-get update 2. 그 후, rabbitmq를 설치해 줍니다. #sudo apt-get install rabbitmq-server 3. 재부팅 후에도, 서비스가 동작하도록 하기 위해 아래와 같은 명령어를 입력해 줍니다. #sudo systemctl restart rabbitmq-server #sudo rabbitmq-plugins enable rabbitmq_management 4. 아래 명령어로 플러그인이 켜졌는지 확인이 가능합니다.(그림 참고) #sudo rabbitmp-plugins list 4. rabbitmq 계정 생성(기본적으로 rabbitmq는 gui모드에서 기본계정이 ID,PW:guest로 생성되지만, 이 계정으로는 외부에서 접속이 불가능 함으로, 계정을 따로 생성해 줍니다.) #sudo rabbitmqctl add_user (id)(pw) (예시) sudo rabbitmqctl add_user test test #sudo rabbitmqctl set_user_tags (id) administrator (예시) sudo rabbitmqctl set_user_tags test administrator 저는 예시와 같이 #sudo rabbitmqctl add_user test test 로 id,pw 둘다 test계정으로 생성했습니다. 5. Rabbitmq는 기본 포트가 5672, GUI는 15672입니다. 저는 GUI로, 아래 그림과 같이 localhost:15672로 접속할 수 있습니다. 로그인 후, 아래처럼 웹으로 잘 접속되는 것을 확인할 수 있습니다. 그 외, 포트 변경 방법입니다. (아래 그림 참고) #sudo vi /etc/rabbitmq/rabbitmq-env.conf #NODE_PROT=5672 의 주석을 해제후, 원하는 포트 번호를 적어주세요. 아래의 명령어로 rabbitmq를 재시작 해주세요. #sudo systemctl restart rabbitmq-server Rabbitmq service가 동작하지 않을시. 만약, 아래 그림과 같이 Rabbitmq에 (e)라고 적혀있지 않다면 서비스가 실행 중이지 않다는 겁니다. 다시 한번 아래와 같은 명령어를 입력해 주시면 됩니다. #sudo systemctl restart rabbitmq-server #sudo rabbitmq-plugins enable rabbitmq_manageme 아래와 같이 [e]또는 [E]라고 되어있으면 정상적으로 실행 중입니다. 2023.06.16
100 Gbps OPA(Omni-Path Express Accelerated) 장치 설정 (Ubuntu) 가성비로 구성하는 서버 간 100 Gbps 구성 100 Gbps OPA(Omni-Path Express Accelerated) 장치 설정 (Ubuntu) 서버 간 고속 통신 OPA(Omni-Path Express Accelerated)는 몇 년 전까지 인텔에서 HPC를 대상으로 세일즈 하던 Mellanox EDR과 비교되던 서버 간 고속 통신망입니다. 지금은 OPA가 CORNELIS로 인수되어 지속되고 있습니다. 최근 Nvidia에 인수된 Mellanox의 인피니밴드 제품이 2023년 1분기 기준 제품수급에 문제가 있어 발주 후 오랜 시간을 대기해야만 하고, 가격도 많이 비싸 가성비로 OPA로 선택하시는 경우가 많습니다. OPA는 100 Gbps 구성까지 제공하며 기본구성으로 48 포트 스위치와 서버에 장착되는 인터페이스카드만 있으면 사용 가능합니다. OS 지원 OPA의 OS 제공은 Redhat 계열을 위주로 업데이트되고 있습니다. 하지만 최근 AI사용자의 Ubuntu 사용이 많아지며 Ubuntu에서 사용하는 방법에 대해 정리하였습니다. ● 테스트된 OS ○ Ubuntu 20.04 ○ Ubuntu 22.04 Ubuntu repo에서는 OPA관련 패키지를 제공하여 매우 간단하게 구성할 수 있습니다. 테스트는 스위치 1개에 6대의 서버를 OPA HCA를 통해 연결하고 테스트했습니다. 장치 구성 $ sudo apt install opa-fastfabric rdma-core OPA 정보 로드 $ sudo opainfo $ sudo opareport $ lspci | grep Omni $ lshw -C network issue#1. OPA 장치명 할당 이슈 장치 드라이버 설치 후, 장치는 정상 인식되지만 장치명이 할당되지 않는다면, modprobe.d 에서 nouveau를 차단했는지 확인해야 합니다. 만약 차단했다면 차단을 하지 않아야 정상 할당 됩니다. # cd / etc/modprobe.d nouveau 차단 내용 모두 삭제 issue#2. ipoib 등 모듈 자동 로드 이슈 인피니밴드 장치에 ip를 할당하기 위해 ipoib를 포함한 몇몇 모듈이 실행되어야 하는데, 모듈이 자동으로 로드되지 않습니다. rdma-core 패키지를 설치하면 opa-fastfabric과 함께 설치된 모듈도 자동으로 로드되도록 등록해야 합니다. issue#3. OPA 장치 활성화 이슈 초기 구성시 opainfo 명령어로 확인했을 때 PortState 값이 Init으로 출력됩니다. 이는 정상 인식이 되지 않은 경우이며, subnet manager 가 구성되지 않으면 이런 증상이 나타납니다. 모든 서버 중 반드시 서버 1대에는 opa-fm을 설치해야 합니다. opa-fm 패키지를 설치하면 PortState 값이 Active로 변경되고, OS에서 제공하는 netplan이나 network-manager 등에서 IP할당이 정상적으로 가능합니다. 서브넷 매니저는 1개 네트워크에 1개 서버에만 설치되면 된다. 중복 설치되면 문제가 됩니다. opa-fm 이 설치된 서버가 다운된다면, opa 링크 연결에도 영향을 줄 수 있습니다. $ sudo apt install opa-fm OPA 장, 단점 OPA구성은 이더넷과 같은 네트워크 통신이 아닙니다. IP 등을 할당하여 사용하는 환경은 동일하게 제공하지만, 이를 이더넷 통신으로 사용할 수 없습니다. 서버 간 고속 통신만 제공합니다. HPC에서는 상당한 시장 점유율이 있는 제품인 만큼, 구성에 대한 래퍼런스를 많이 찾아볼 수 있습니다. 가격이 상대적으로 저렴한 게 가장 큰 장점입니다. 아쉬운 점은 HPC 외의 환경에서 많은 래퍼런스가 없다는 점과 100 Gbps 이후 후속모델이 아직 출시되지 않고 있다는 게 많이 아쉬운 점입니다. 하지만 OPA는 서버 간 고속통신을 고려한다면 꼭 비교대상에 올려놓아야 하는 제품입니다. 2023.05.17
Kubeflow 설치 및 활용 오픈소스 MLOps 중 가장 많이 사용하는 Kubeflow 설치 및 활용 방안 Kubeflow 설치 및 활용 Kubeflow 사용 이유 Kubeflow는 오픈소스로 구성된 MLOps 제품입니다. 분석/트레이닝/서빙을 모두 처리할 수 있고, 사용방법이 쉽습니다. 전제 조건 1.kubenetes (1개 노드 이상 구성) 2.Default Storage Class 3.(선택) Master Node kustomize 설치 snap repo에서 설치하는 kustomize 5.0.1 버전은 호환 문제가 있어, kustomize는 아래 방식으로 구성합니다. $ sudo snap remove kustomize $ curl -s "https://raw.githubusercontent.com/kubernetes-sigs/kustomize/master/hack/install_kustomize.sh" | bash $ sudo mv kustomize /usr/local/bin/ kubeflow manifest 다운로드 1.6.1 버전으로 구성 시 기본 istio-gateway 구성이 NodePort로 되어 있어 외부 접속이 가능한 상태로 구성됩니다. SSL 인증도 마찬가지로 외부 접속이 가능한 상태로 구성되어 별도의 수정이 필요 없습니다. 그 외 모든 버전은 istio 기본 구성이 ClusterIP입니다. $ cd ~ $ git clone -b v1.6.1 https://github.com/kubeflow/manifests.git kustomize 설치 $ cd ~/manifests $ while ! kustomize build example | awk '!/well-defined/' | kubectl apply -f -; do echo "Retrying to apply resources"; sleep 10; done 구성 확인 $ kubectl get pod -A pod 초기화 및 컨테이너 생성에 상당한 시간이 소요됩니다. 만약 pod 생성 중 에러가 나거나, imagepull 이 되지 않는다면, pod 생성 순서가 잘못되어 있을 수 있습니다. 설치 스크립트를 다시 실행하면 재구성됩니다. dashboard 접근 istio gateway 가 nodeport 서비스로 변경되고, 80포트와 연결된 포트를 확인합니다. $ kubectl get svc istio-ingressgateway -n istio-system dex 기본 계정 계정 : user@example.com 비번 : 12341234 K8s Dashboard 설치 $ kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/v2.7.0/aio/deploy/recommended.yaml K8s Dashboard NodePort 변경 $ kubectl edit svc kubernetes-dashboard -n kubernetes-dashboard selector:   k8s-app: kubernetes-dashboard  sessionAffinity: None  type: NodePort ###########변경 status:  loadBalancer: {} K8s Dashboard Role 추가 $ vi kuebernetes-dashboard-service-account.yaml apiVersion: v1 kind: ServiceAccount metadata:   name: admin-user   namespace: kube-system --- apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRoleBinding metadata:   name: admin-user roleRef:   apiGroup: rbac.authorization.k8s.io kind: ClusterRole   name: cluster-admin subjects: - kind: ServiceAccount   name: admin-user   namespace: kube-system $ kubectl apply -f kuebernetes-dashboard-service-account.yaml 토큰확인 $ kubectl -n kube-system describe secret $(kubectl -n kube-system get secret | grep admin-user | awk '{print $1}') K8s 대시보드 접근 443 포트와 포워딩된 포트로 사용합니다. (https://IPaddress로 접속) $ kubectl get svc kubernetes-dashboard -n kubernetes-dashboard 2023.05.16
PLEASE WAIT WHILE LOADING...