Gumiho(구미호) 인스톨 기행기(리눅스 클러스터 : diskless linux cluster)

Gumiho(구미호) 인스톨 기행기

(리눅스 클러스터 : diskless linux cluster)

1. 처음 할 일은 알짜리눅스 6.0을 full로 설치한다. 다른 리눅스에서는 실험해보지 않았다. 다른 리눅스로 시도해보는 것도 괜찮다. 초보자라면 하드디스크에 통채로 하는 것이 좋다. / 루트에 다 설치한다. 나중에 성공하면 여러분 나름대로 바꾸시길 바랍니다.

2. 그리고 랜카드 2개와 5포트 / 8포트짜리 허브나 또는 허브가 필요 없어도 된다. 참고로 필자는 3com사의 10Mbps 랜카드와 Intel Ether Express 10Mbps처럼 2개의 랜카드를 서버에 장착했다. 그리고 8포트짜리 10Mbps 더미 허브를 하나 구입했다. 그리고 플로피 디스켓 3.5인치가 있으면 된다. 사용하지 않는 486 DX 66 3대를 준비했다. 486들은 랜카드와 32램, 3.5인치 드라이버와 네트웍 카드만 필요하다.

필자가 구성한 Gumiho(구미호) 구조도

-------------------------------------------------------------------------------------

3. 다음과 같은 사이트에 가서 http://www.beowulf-underground.org에 가시면 document 카테고리가 있다. 거기로 가면 beowulf installation and administration Howto 문서가 있을 것이다. 이것을 보시면 많은 도움이 될 것이다. 지금 이문서는 광주 리동(http://kwangju.linux.or.kr)에서 번역작업을 하고 있으며 곧 한국 리눅스 문서 프로젝트(http://kldp.org)에도 올라갈 것이다.

4. 위에 있는 것을 다 읽어보셨으면 http://www.beowulf.org에 가보자. 거기에 가보면 여러 가지 베어울프에 관한 프로젝트를 보게될 것이다. Other Beowulf Sites: 라는 카테고리에 가보면 Topcat이라는 베어울프가 있을 것이다. 필자는 diskless 라는 특이한 기법을 사용한 이 프로젝트가 마음에 들어서 이것을 선택했다. 일단 들어가 보자.

(http://www.sci.usq.edu.au/staff/jacek/beowulf/) 여기에서 beowulf-utils이라는 곳으로 가면 disk-less라는 디렉토리에 adcn, sdct라는 쉘스크립트 파일이 있을 것이다. 이것을 복사한다.

5. 자 이제 시작해보자. - 랜카드 설정하기

리눅스를 full로 인스톨시키고 나서 가장 중요한 것은 두 개의 랜카드를 설정하는 것이다. 필자의 경우 하나는 외부로 나가는 회선으로 랜카드를 셋팅하고, 다른 하나는 내부 회선으로 하기 위해서 ip를 (192.168.110.xxx)로 설정했다. 두 개의 랜카드가 잘 작동하는지 확인하기 위해 route 명령어를 실행시켜 본다. 그러면 지금 잡혀있는 네트웍의 환경이 나타날 것이다. 필자는 eth0는 외부회선, eth1은 내부회선으로 사용하기 위해 잡았다.

필자의 구미호 route 실행결과 - 다 설정되어 있는 상태

-------------------------------------------------------------------------------------

Kernel IP routing table

Destination Gateway Genmask Flags Metric Ref Use Iface

192.168.100.1 * 255.255.255.255 UH 0 0 0 eth1

203.237.110.67 * 255.255.255.255 UH 0 0 0 eth0

192.168.100.0 * 255.255.255.0 U 0 0 0 eth1

203.237.110.0 * 255.255.255.0 U 0 0 0 eth0

127.0.0.0 * 255.0.0.0 U 0 0 0 lo

default 203.237.110.1 0.0.0.0 UG 0 0 0 eth0

-------------------------------------------------------------------------------------

만약 랜카드가 잡히지 않거나 route 명령어에 나타나지 않는다면 수동으로 환경을 셋팅해 주어야 한다. 다음과 같은 명령어를 사용하면 좋을 것이다.

-------------------------------------------------------------------------------------

lsmod

modprobe ne io=0x340 irq=10

ifup eth1

ifconfig

netconf

-------------------------------------------------------------------------------------

등의 명령어로 랜카드가 잡혀있는지 확인한다.

route 명령어로 랜카드가 동작하도록 해준다.

-------------------------------------------------------------------------------------

route add 192.168.100.2 dev eth1

route add default gw 192.168.100.1

-------------------------------------------------------------------------------------

만약 두 개의 랜카드를 잡았다면 절반은 성공한 것이다. 그렇지만 앞으로도 가야할 길은 멀다.

6. 서버를 위한 커널 컴파일(bootp, rarp, nfs-root......)

6.1 커널 컴파일 명령어들(꼭 관련 문서를 보고 확실한 명령어를 확인해야 한다.)

-------------------------------------------------------------------------------------

make dep -> make bzImage -> 부트 디렉토리에 카피 -> make install -> make modules -> rm -rf /lib/modules/2.2.5-22 -> make module_install

-------------------------------------------------------------------------------------

위의 명령은 서버를 컴파일 시킬 때 사용하는 명령어들이다. 관련문서는 http://kldp.org에 있으므로 꼭 필히 탐독 하시기를 바랍니다. 먼저 서버에 있는 커널을 컴파일 시켜야 하는데 RARP(config_inet_rarp)를 셋팅해서 커널에 적재 해야 할뿐만 아니라 nfs-root도 커널에 함께 포함 시켜야 한다. 커널 컴파일을 하기 위한 명령어는 다음의 두가지가 있다.

-------------------------------------------------------------------------------------

make menuconfig

make xconfig

-------------------------------------------------------------------------------------

로 서버에 맞는 환경을 셋팅하여 커널에 포함시켜준다.

6.2 노드들(clients)의 환경 구축

1) 맨먼저 sdct라는 쉘 스크립트를 실행시키면 /tftpboot/Template라는 디렉토리에 자동으로 파일들을 생성시켜줍니다. 이 sdct는 광주리동에 계시는 병렬 컴퓨팅 웹보드에 가시면 윤호님이 설명을 첨부하셨으니 참고 하시기 바랍니다. 참고로 필자는 다음과 같이 명령을 실행시켰다.

-------------------------------------------------------------------------------------

./sdct /tftpboot/192.168.100.2

-------------------------------------------------------------------------------------

이 디렉토리로 가보시면 링크로 연결되어 만들어지는 디렉토리가 있을 것입니다. ls -l 로 확인하시면 맨처음에 lxxxxxxxxx 로 되어 있는 파일들일빈다. 링크로 되어 있는 것을 지우시고 빈 디렉토리만 다시 만들어 주면 됩니다. 그리고 서버의 export라는 파일에 다음과 같이 환경을 셋팅한다.

-------------------------------------------------------------------------------------

/usr 192.168.100.1(ro, no_root_squash)

-------------------------------------------------------------------------------------

필자의 export 파일의 예

-------------------------------------------------------------------------------------

/tftpboot/192.168.100.2 node2(rw,no_root_squash)

/tftpboot/192.168.100.3 node3(rw,no_root_squash)

/tftpboot/192.168.100.4 node4(rw,no_root_squash)

/usr node*(rw,no_root_squash)

-------------------------------------------------------------------------------------

그리고 각각의 노드들(/tftpboot/192.168.100.2/etc)에 있는 fstab에 nfs를 설정해준다.

필자의 노드들(clients)의 fstab의 예

-------------------------------------------------------------------------------------

192.168.100.1:/tftpboot/192.168.100.2 / nfs defaults 1 1

192.168.100.1:/usr /usr nfs defaults 1 1

none /proc proc defaults 1 1

-------------------------------------------------------------------------------------

참고로 192.168.100.1은 서버에 셋팅되어 있는 ip주소이다. 즉 내부 회선으로 돌리기 위한 첫 번째 주소는 서버에 있다. 그리고 192.168.100.2, 192.168.100.3, ... 등은 486 디스크레스로 구동시키기 위해 필요한 노드들을 의미한다. 디스크레스는 하드디스크가 존재하지 않고 서버의 일정 하드공간을 사용함으로써 굳이 486같은 저급 기종에 하드디스크를 장착하지 않아도 된다. 단 서버에 있는 하드가 굉장히 대용량이어야 한다는 단점이 있다. 예를 들어 100대정도를 연결하려면 꽤 힘들 것이기 때문이다.

2) 두 번째 disk-less부팅 디스켓을 만든다. 이것은 노드를 부팅 시키기 위한 것으로 3.5인치 디스켓에 커널 및 랜카드의 커널과 ip_forward라는 옵션을 체크해서 바이너리로 포함시켜야 된다. 참고로 서버에서는 모듈로 가능하지만 노드들은 반드시 바이너리로 해야 한다.

-------------------------------------------------------------------------------------

제일먼저 당신은 disk-less클라이언트들을 위한 커널을 만드셔야 합니다.

/usr/src/linux 에 가셔서 make xconfig를 실행시켜서

네트웍 옵션:

CONFIG_ROOT_NFS, CONFIG_RNFS_BOOTP, CONFIG_RNFS_RARP

파일시스템 옵션:

NFS에 관련된 옵션은 모두 설정

* 모듈로 설정하지 말고 커널에 포함시켜야 합니다.

웍스테이션이 커널 인자없이 부팅되려면 루트 장치를 0:255로 설정할 필요가 있다. mknod /dev/nfsroot b 0 255를 함으로써 더미 장치를 만든 후, rdev <kernel-image> /dev/nfsroot를 타이핑함으로써 커널 이미지의 루트 장치를 설정할 수 있다.

mknod /dev/nfsroot b 0 255

cd /usr/src/linux/arch/i386/boot

rdev bzImage /dev/nfsroot

client커널이 준비되면 dd 명령을 사용하여 플로피 디스크에 써야 합니다.

dd if=/usr/src/linux/arch/i386/boot/bzImage of=/dev/fd0

라고 하시면 완변한 클라이언트 부트 디스켓이 됩니다.

위와 같이 하시면 부팅 디스켓을 만들 수 있습니다.

-------------------------------------------------------------------------------------

그래도 궁금하신 분은 http://kwangju.linux.or.kr에 제가 올려놓은 디스크레스 부팅이미지와 환경 세이브 파일이 있으니까 참고 하시기 바랍니다.

3) 위에서 했던 순서대로 하시면 이제는 가장 중요한 노드(클라이언트)들을 서버에 붙이는 가장 중요한 작업이 남았습니다. 여기서는 새로운 노드들을 추가 시켜주는 adcn이라는 쉘스크립트를 사용하시면 됩니다. 그전에 해야 할것이 있는데 클라이언트들은 자기들의 ip주소를 모르기 때문에 rarp 서비스가 너의 ip주소는 이것이다라고 셋팅해 주는 작업이 선행되어야 합니다. 저는 그것을 쉘 스크립트로 작성했는데 이것을 먼저 실행시키고 adcn 스크립트를 실행시켰습니다.

필자의 rarpset의 쉘스크립트

-------------------------------------------------------------------------------------

# rarp setup nodes setup

/sbin/rarp -s 192.168.100.2 00:aa:00:c0:e1:46

/sbin/rarp -s 192.168.100.3 00:aa:00:c0:e2:5b

/sbin/rarp -s 192.168.100.4 00:aa:00:c1:24:59

-------------------------------------------------------------------------------------

그리고 rarp가 셋팅되어 있으면 adcn 쉘스크립트로 노드들을 연결해줘야 합니다. 다음과 같이

-------------------------------------------------------------------------------------

adcn -i 192.168.100.2 -c node2 -d chosun.ac.kr -l -D eth1

-------------------------------------------------------------------------------------

하면 서버는 계속해서 노드들이 접속이 되는지를 체크하게 됩니다. 이 명령을 실행시키면 서버는 대기 상태에 있는데 이때에 486 pc에 부팅디스켓을 집어넣고 부팅을 시키면 nfs서비스와 rarp 서비스를 통하여 자동 접속하여 486 pc 가 부팅이 될 것입니다.

부팅은 되는데 많은 에러가 날때에는 /tftpboot/192.168.100.2/etc/rc.d/rc.sysinit에서 fsck check하는 모든 부분을 제거하고 local filesystem을 체크하는 부분 mount -a -t nfs을 다음과 같이 바꿔주십시오.

-------------------------------------------------------------------------------------

# Mount all other filesystems (except for NFS and /proc, which is already

# mounted). Contrary to standard usage,

# filesystems are NOT unmounted in single user mode.

#action "Mounting local filesystems" mount -a -t nfs

action "Mounting local filesystems" mount -avt nonfs

-------------------------------------------------------------------------------------

궁금하신분은 nfs-root와 nfs-root-client에 관계된 리눅스 문서를 살펴보십시오. kldp에 있는 KLDP 미러링에 가시면 영문 mini howto에 있습니다.

4) 노드(client)들이 부팅이 되지 않거나 연결이 되지 않을때...

체크해야 될것이 있는데 서버로부터 rarp가 disk-less 노드들을 찾지 못할때가 있다.

모니터에 "Sending BOOTP and RARP requests ...." 라는 메시지가 나오면 다음과 같은 상황들을 체크해야 된다.

1. 네트웍 케이블, 스위칭 환경, 서버에서의 인터페이스들이 올바르게 셋팅되어있는가?

2. 서버의 커널에 확실히 rarp 서비스가 제공되고 있는가?

3. 각 노드(클라이언트)들의 물리적인 어드레스가 정확한가?

4. 'tcpdump -i eth1 rarp'로 서버에서 부팅되는 노드들을 체크할수 있다. 만약 노드들은 rarp를 요구하는데 서버에서 응답이 없다면 위의 문제들을 해결하여 rarp 요소들을 만족시켜줘야 한다.

여기서 부팅시킬 때 가장 중요한 것은 다음과 같은 환경파일들을 셋팅해 주어야 합니다. 이것은 /tftpboot/192.168.100.2 등의 디렉토리에 존재하는 파일들입니다.

- 노드(client)들의 체킹

1. mtab

-------------------------------------------------------------------------------------

192.168.100.1:/tftpboot/192.168.100.2 / nfs rw 0 0

none /proc proc rw 0 0

192.168.100.1:/usr /usr nfs rw,addr=192.168.100.1 0 0

-------------------------------------------------------------------------------------

2. exports

-------------------------------------------------------------------------------------

/tftpboot/192.168.100.2 node2(rw,no_root_squash)

/tftpboot/192.168.100.3 node3(rw,no_root_squash)

/tftpboot/192.168.100.4 node4(rw,no_root_squash)

/usr node*(rw,no_root_squash)

-------------------------------------------------------------------------------------

3. fstab

-------------------------------------------------------------------------------------

192.168.100.1:/tftpboot/192.168.100.2 / nfs defaults 1 1

192.168.100.1:/usr /usr nfs defaults 1 1

none /proc proc defaults 1 1

-------------------------------------------------------------------------------------

4. hosts

-------------------------------------------------------------------------------------

127.0.0.1 localhost localhost.localdomain

203.237.110.67 gumiho.chosun.ac.kr gumiho

203.237.110.236 sonamu.chosun.ac.kr sonamu

192.168.100.1 node1.chosun.ac.kr node1

192.168.100.2 node2.chosun.ac.kr node2

192.168.100.3 node3.chosun.ac.kr node3

192.168.100.4 node4.chosun.ac.kr node4

-------------------------------------------------------------------------------------

5. hosts.equiv : ip주소를 바로 적어 주셔도 됩니다.

-------------------------------------------------------------------------------------

gumiho.chosun.ac.kr

sonamu.chosun.ac.kr

node1.chosun.ac.kr

node2.chosun.ac.kr

node3.chosun.ac.kr

node4.chosun.ac.kr

-------------------------------------------------------------------------------------

6. sysconfig/network

-------------------------------------------------------------------------------------

NETWORKING=yes

FORWARD_IPV4=false

HOSTNAME=node2.chosun.ac.kr

DOMAINNAME=chosun.ac.kr

GATEWAY=192.168.100.1

GATEWAYDEV=eth0

-------------------------------------------------------------------------------------

7. network-scripts/ifcfg-eth0, ifcfg-lo

-------------------------------------------------------------------------------------

1) ifcfg-eth0

DEVICE=eth0

IPADDR=192.168.100.2

NETMASK=255.255.255.0

NETWORK=192.168.100.0

BROADCAST=192.168.100.255

ONBOOT=yes

2) ifcfg-lo

DEVICE=lo

IPADDR=127.0.0.1

NETMASK=255.0.0.0

NETWORK=127.0.0.0

BROADCAST=127.255.255.255

ONBOOT=yes

-------------------------------------------------------------------------------------

를 체크하여 필요한 환경파일들을 셋팅해주십시오.

7. rsh이 되는가? - 서버에서 체킹

이렇게 해서 486 pc들이 잘 부팅 된다면 서버에서 꼭 체크를 해줘야 하는 것이 있습니다. 바로 rsh이 제대로 동작되는 지를 꼭 반드시 확인해 주어야 합니다. 이것이 가장 중요합니다. 참고로 rsh은 패스워드를 물어보지 않고 바로 들어갈수 있는 원격 쉘입니다. 그래서 클러스터를 구동시키기 위해서는 항상 rsh을 사용합니다. 필자는 이것 때문에 무려 5개월을 허비했습니다. rsh은 다음과 같은 파일들을 체크해줘야 합니다.

1. hosts

-------------------------------------------------------------------------------------

127.0.0.1 localhost localhost.localdomain

203.237.110.67 gumiho.chosun.ac.kr gumiho

203.237.110.236 sonamu.chosun.ac.kr sonamu

192.168.100.1 node1.chosun.ac.kr node1

192.168.100.2 node2.chosun.ac.kr node2

192.168.100.3 node3.chosun.ac.kr node3

192.168.100.4 node4.chosun.ac.kr node4

-------------------------------------------------------------------------------------

2. hosts.equiv

-------------------------------------------------------------------------------------

gumiho.chosun.ac.kr

sonamu.chosun.ac.kr

node1.chosun.ac.kr

node2.chosun.ac.kr

node3.chosun.ac.kr

node4.chosun.ac.kr

-------------------------------------------------------------------------------------

3. securetty

-------------------------------------------------------------------------------------

ttyp0

ttyp1

ttyp2

ttyp3

ttyp4

tty0

tty1

tty2

tty3

tty4

tty5

tty6

tty7

tty8

-------------------------------------------------------------------------------------

4. .rhosts

-------------------------------------------------------------------------------------

sonamu.chosun.ac.kr

gumiho.chosun.ac.kr

node1.chosun.ac.kr

node2.chosun.ac.kr

node3.chosun.ac.kr

node4.chosun.ac.kr

-------------------------------------------------------------------------------------

5. ftpusers

-------------------------------------------------------------------------------------

#root

bin

daemon

adm

sync

shutdown

halt

mail

news

uucp

operator

games

nobody

-------------------------------------------------------------------------------------

6. pam.d/rlogin

-------------------------------------------------------------------------------------

#%PAM-1.0

auth sufficient /lib/security/pam_rhosts_auth.so

auth required /lib/security/pam_securetty.so

auth required /lib/security/pam_pwdb.so shadow nullok

auth required /lib/security/pam_nologin.so

account required /lib/security/pam_pwdb.so

password required /lib/security/pam_cracklib.so

password required /lib/security/pam_pwdb.so nullok use_authtok md5 shadow

session required /lib/security/pam_pwdb.so

-------------------------------------------------------------------------------------

이것들을 체크하여 올바른 환경을 셋팅하여 주십시오.

8. router는 어떻게 하는가?

필자는 8포트 더미 허브를 사용하는데 있어서 rsh의 오류가 있음을 발견했다. 그것은 rsh이 time out으로 접근도 하기 전에 로그 아웃되어 연결이 되지 않는 에러였다. 구미호서버에 내부 회선을 경유하여 486 노드들이 작동되기 때문에 서버에 router 기능이 더 첨가 되어야 합니다. 이것을 하기 위해선 ipchain이나 방화벽, ip 매스커레이드 같은 기능들이 요구되므로 더미 허브를 사용하시는 분들은 ipchain을 꼭 설정해주시기 바랍니다. 이렇게 하면 리눅스 서버가 라우터 기능도 할수 있습니다.

필자의 rc.d/rc.local.mine의 파일

-------------------------------------------------------------------------------------

insmod 3c509

ifup eth1

* ipchain은 레드햇6.0부터 지원됩니다. 레드햇5.0에서는 ipforward라고 지원된 경우입니다.

착오 없으시기 바랍니다.

ipchains -P forward DENY

ipchains -A forward -j MASQ -s 192.168.100.0/24 -d 0.0.0.0/0

rdate -s soback.kornet.nm.kr

/sbin/clock -w

-------------------------------------------------------------------------------------

9. 병렬 처리 프로그래밍을 구동시키는 방법은 광주리동에 홈 슈퍼컴퓨터 제작 Pondermatic 과 kldp 슈퍼컴퓨팅란에 잘나와 있습니다. 대표적인 예로 pvm이나 mpi같은 라이브러리를 사용합니다. 필자는 Pondermatic에 있는 pvm을 설치하고 나서 xpvm을 설치하고 밴치마킹 전문 패치 프로그램인 povray라는 프로그램으로 테스트를 해봤습니다. kldp에 들어가셔서 네트워킹 카테고리 밑으로 들어가시면 슈퍼컴퓨터와 병렬처리 카테고리가 있습니다. 거기 보시면 양성용씨의 홈 슈퍼컴퓨팅에 자세한 정보가 있습니다.

10. 참고사이트

-------------------------------------------------------------------------------------

english:

http://www.beowulf.org

http://www.beowulf-underground.org

Beowulf HOWTO 문서

Beowulf Installation and Administration HOWTO

COCOA Beowulf Cluster FAQ

http://kldp.org/LDP/HOWTO/mini/NFS-Root.html

http://kldp.org/LDP/HOWTO/mini/NFS-Root-Client.html

http://www.cacr.caltech.edu/beowulf/tutorial/building.html

http://lcdx00.wm.lc.ehu.es/~svet/beowulf/howto.html

http://www.xtreme-machines.com/x-cluster-qs.html

http://limestone.uoregon.edu/beowulf/build.html

korea:

http://kluster.kaist.ac.kr

http://kldp.org

http://kwangju.linux.or.kr

http://classic.korea.ac.kr

http://www.parallel.korea.ac.kr/links.html

-------------------------------------------------------------------------------------

궁금한 사항이나 의문이 있으시면 광주리동이나 e-mail로 문의하여 주십시오.....

writen by 황요섭
1999.12.28

e-mail : bluewind@rain.chosun.ac.kr
windrain@nownuri.net

bluestia@hanmail.net