엄두 -> 거꾸로 하면??? 세상의 1% 가 되고 싶은 나~

출처 : http://kibs.kaist.ac.kr/beginner/kbase.htm


말뭉치의 정의

말뭉치란 한 저작자의 저작 전부, 혹은 한 특정 분야의 저작 전부를 뜻하는데 어떤 기준으로든 한 덩어리로 볼 수 있는 말의 뭉치를 말한다. 이를 정보 처리의 영역에서 효과적으로 이용하기 위해서는 한 덩어리로서의 특성, 즉 정보 처리가 대상으로 하는 언어의 총체적인 모습을 보여 주는 한 덩어리의 말뭉치라는 요건을 만족하는 구성을 지녀야 하며, 그 내용이 정확하여야 한다. 말뭉치는 자연 언어 처리에서 요구되는 언어 정보를 얻을 수 있는 자료원이라는 의미 외에 말뭉치를 수집, 정리 및 분석하는 작업 자체가 또한 좁은 의미의 자연 언어 처리라는 점과 잘 만들어진 말뭉치는 자연 언어 처리 결과물의 testbed로 사용될 수 있다는 점에서 그 이용 가능성이 널리 인식되고 있다.


말뭉치 구축의 단계와 문제점

일정한 규모의 말뭉치를 구축할 때 그 구축 단계는 다음과 같이 정리될 수 있다.

첫째, 적절한 규모와 말뭉치의 범위를 결정한다.
한 언어의 실상을 제대로 보여주기 위해서는 말뭉치의 규모가 클수록 좋다고 생각하기 쉽다. 그러나, 말뭉치의 규모보다는 그 내용이 얼마나 균형잡힌 것이냐, 즉, 대상 언어의 다양한 모습을 얼마나 많이 정확하게 보여줄 수 있느냐가 더 중요한 문제이고, 실제로 말뭉치를 구축하는 일은 시간적, 경제적 부담은 물론 앞에서도 언급했듯이 그 자체가 많은 언어학적 지식을 필요로 하는 일이기 때문에, 현실적인 요건을 고려하여 적절한 규모를 결정하는 것이 필요하다. 한편, 현실에서의 언어 사용은 그 목적과 상황에 따라 많은 변이를 보이고 있는데 (구어/문어, 일상어/격식을 갖춘 문장 등의 구별에서 알 수 있듯이) 이들 가운데 어느 것을 중심으로 할 것인가, 모든 변이를 다 포괄한다면 그 비율은 어느 정도로 할 것인가를 결정해야 한다. 어떤 영역의 언어를 대상으로 하는가에 따라 말뭉치에서 얻어지는 언어 정보가 달라질 수 있기 때문에, 분야의 결정 문제는 진행 중인 정보 처리 작업의 목표를 얼마나 잘 수행할 수 있는가를 결정하는 중요한 요소가 된다.

둘째, 텍스트의 우선 순위를 결정한다.
여러 개의 개별 텍스트가 있을 때 어떤 텍스트를 선택하여 말뭉치를 구성하느냐 하는 것은 현실적으로 매우 어려운 문제이다. 이는 앞 단계에서 언급했듯이 정보 처리 분야의 성격에 따라 결정되어야 할 것이며 특정 분야의 목적에 국한된 것이 아닌 일반 말뭉치의 경우 전형적인 언어의 모습을 보여주는 것이 중요하기 때문에, 여러 전문 영역 자료의 단순한 수집에 의미가 있는 것이 아니라, 동질적인 다양한 자료들을 모은다는 점이 중요하게 된다. 이와 아울러 결정하여야 하는 것은 텍스트의 부분만을 택할 것인가 전체를 다 넣을 것인가 하는 문제로, 텍스트 전체를 다 넣는 경우는 각 텍스트의 구조에 대한 연구 및 문체, 화용론적인 층위에서의 연구를 다 지원해 줄 수 있다는 이점이 있는 반면 작업량 및 비용의 문제가 어려워지고, 부분만을 택하는 경우는 작업량 및 비용의 측면에서 전체를 다 넣는 경우에 비해 상대적으로 유리하지만 정보 추출이 단편적이고 하위의 층위에 국한된다는 문제를 안고 있다. 따라서, 텍스트의 우선 순위는 현실적인 여건과 목적에 따라 결정되어야 할 것이다.

셋째, 문헌 목록을 검색하여 텍스트를 선정한다.

넷째, 기계 가독형으로 만든다.
텍스트를 기계 가독형으로 만드는 방법은 기계 가독형으로 된 텍스트를 활용하는 경우 (신문, 전자 출판물)와 OCR을 이용한 입력, 키보드를 이용하여 입력하는 세 가지 방법이 대표적이다. 현재 한글 처리의 수준으로는 첫째와 셋째 방법이 주가 된다. 말뭉치의 구축 및 활용과 관련해서 기억해 두어야 할 한 가지 문제는 텍스트 및 말뭉치의 저작권 문제다. 이 문제는 국내에서는 본격적으로 제기되지 않았지만, 서구에서는 자료 기반 언어 처리 연구에 큰 장애 요소로 인식되고 있으며, 상용이 아닌 연구 목적에서의 자료 이용에 대한 인식과 홍보에 의해 해결될 수 있는 것으로, 연구자들 각자의 분명한 입장 정리와 적극적인 노력이 필요한 부분이다. 한편, 내용의 입력에서 고려해야 할 사항은 TEI(Text Encoding Initiative)에 의하면 다음과 같다.

  ㄱ. 모든 서지정보를 입력해준다.
  ㄴ. 텍스트 내의 언어텍스트를 표시하는 기호를 준다.
  ㄷ. 코드 호환성을 유지한다

다섯째, 텍스트를 이용할 수 있는 형태로 가공한다.
가공에 앞서 염두에 두어야 할 사항은 원래의 텍스트가 어떤 오류나 불편한 사항들을 안고 있다 하더라도 원형은 그대로 보존하고, 목표에 맞는 형태로의 가공은 별도로 이루어져야 한다는 clean-text policy에 입각한다는 점이다. 이를 확인한 다음에 이루어질 수 있는 가공은 오류의 교정은 물론이고, 원하는 정보를 추출하기 위해 텍스트에 필요한 기호를 삽입하고, 분절하는 1차적 가공을 행한다. 여기서 또 짚고 넘어갈 점은 향후 각 연구 단위로 많은 말뭉치들이 구축될 것에 대비하여 이들 말뭉치들간의 연계를 고려하여, 호환성을 지니는 DB의 형태를 갖게 하는 일이다. 이에는 개별 연구의 성격상 많은 문제가 따를 것이나 기본적인 형태에서의 호환성은 배려할 수 있을 것이다.

여섯째, 오류 수정 및 하드웨어나 소프트웨어의 발달에 따른 사용자의 요구를 충족시키는 유지 보수를 행한다.




추가 정보
출처 : http://www.aistudy.com/linguistics/corpus.htm
말뭉치 : 쿠퍼스 링귀스틱스(Corpus Linguistics)

한국어로는 '말뭉치' 혹은 '말모둠'으로 번역하는, 코퍼스(corpus)는 글 또는 말 텍스트를 모아 놓은 것이다. 다양한 종류의 텍스트를 모아 놓은 성경은 이러한 넓은 의미에서 일종의 코퍼스이다. 혹은 셰익스피어의 저작들을 모아 놓은 것도 셰익스피어 코퍼스이다. 그러나 좀더 좁은 의미에서 코퍼스언어학의 코퍼스는 다음과 같은 기준을 만족하는 텍스트의 집합을 말한다. 우선, 코퍼스는 언어 연구를 염두에 두고 구축된다. 따라서, 코퍼스의 텍스트들은 언어 연구를 위한 어떤 기준에 의해 선택된다--현대 한국어 일반을 대표하는 코퍼스, 신문 기사 코퍼스, 일상 대화 코퍼스, 여성 작가의 소설 코퍼스 등. 그리고, 현대의 코퍼스언어학에서 말하는 코퍼스는 컴퓨터에 저장하고 컴퓨터에서 처리할 수 있는 형태의, 전자화된 텍스트, 즉 비트로 구성된 것을 말한다.

말뭉치 언어학 (Corpus Linguistics) 은 이러한 (전자) 코퍼스를 바탕으로 컴퓨터를 이용하여 언어학적 연구를 수행하는 언어 연구의 방법이다. 전통적인 문법(문법론), 의미(의미론), 어휘(사전학)의 문제를 연구하는 동시에, 전자사전(electronic dictionary / computational lexicon), 어휘데이테베이스(lexical database), 통계적 자연언어처리(statistical NLP)  등의 연구 분야를 포함한다. .........

말뭉치란 문자 또는 음성 텍스트 모듬을 가리키는 말로서, 좁은 의미로 언어 연구를 염두에 두고 구축된 텍스트를 가리키는 말이다. 신문 기사 코퍼스, 일상 대화 코퍼스, 여류 소설 코퍼스 등이 그 예이다. 아울러 말뭉치는 컴퓨터에 저장하고 컴퓨터에서 처리할 수 있는 형태의 전자화된 텍스트를 가리킨다. 즉 말뭉치 언어학은 이러한 전자 말뭉치를 바탕으로 컴퓨터를 이용하여 언어학적 연구를 수행하는 언어 연구의 방법이다. 전통적인 문법, 의미, 어휘의 문제를 연구하는 동시에, 전자사전, 어휘데이테베이스, 통계적 자연언어처리 등의 연구 분야를 포함한다.

말뭉치 언어학은 말뭉치를 기반으로 한 언어학의 한 분야로서, 1950년대 등장한 미국의 실증주의-행동주의적 구조주의 언어학자들이 실제 언어자료를 언어학의 일차적인 설명 대상으로 삼아 출발한다. 그러나 실질적인 말뭉치 언어학의 출발은 1959년 더럼(Durham) 대학, 1960년 런던 대학에서 영어 용법 조사 말뭉치(Survey of English Usage Corpus)라는 이름으로 영어의 실제 쓰임을 광범위하게 조사하기 시작한 데서부터 비롯되며, 말뭉치 연구가 본격화된 것은 브라운 대학의 프랜시스(W. N. Francis)와 쿠체라(Kucera)가 20종에 걸친 총 500편의 글에서 2000 마디씩 뽑아 총 100만 마디의 말뭉치를 구축하고 컴퓨터를 이용하여 분석한 이후부터라고 할 수 있다

매번 까묵는다.. 그래서 정리했다.

리틀엔디안(little-endian) - Intel 계열 cpu
 32bit 형(4바이트) 값 : x01020304 <- 상위 바이트가 'x01' 이라할 경우
   -> 하위 바이트 부터 정렬 : 04,03,02,01

빅엔디안(big-endian) - sparc / RISC cpu
 32bit 형(4바이트) 값 : x01020304 <- 상위 바이트가 'x01' 이라할 경우
   -> 상위 바이트부터 정렬 : 01,02,03,04

네트웍 통신에서는 바이트 오더를 빅엔디안을 사용을 한다.

use strict;
  ## restrict unsafe use of variables for rest of block

use strict 'vars'; ## restrict unsafe use of variables for rest of block
 EX Code)
 use strict 'vars';
 use vars '$foe';
 
 $SomePack::fee = 1;
 my $file = 10;
 $foe = 7;
 $foo = 9;
 

use strict 'refs';  ## restrict unsafe use of references for rest of block
 EX Code)
 use strict 'refs';
 $ref = \$foo;
 print $$ref;
 $ref = "foo";
 print $$ref;

 
use strict 'subs';  ## restrict unsafe use of barewords for rest of block
 EX Code)
 use strict 'subs';
 $SIG{PIPE} = Plumber;
 # blows up (assuming Plumber sub not declared yet)
 $SIG{PIPE} = "Plumber";
 # okay, means "main::Plumber" really
 $SIG{PIPE} = \e&Plumber; # preferred form

no strict;

오늘은 여기까징~~

## 변수 레퍼런스
$v = 10;
$rv = $$v;

## 배열 레퍼런스
@aArr = ("one", "two", "three");
$raArr = \@aArr;
print "arr reference ".$$raArr[0]."\n"; ## eq expression 'print $$raArr[0]'
print "arr reference ".$raArr->[0]."\n"; ## eq expression 'print $$raArr[0]'

## 해쉬 레퍼런스
%hHash = ("one","1","two","2");
$rhHash = \%hHash;
print "hash reference ".$$rhHash{'one'}."\n";
print "hash reference ".$rhHash->{'one'}."\n";

서브 루틴에서 사용(Subroutines)
@aArray = (1,2,3);

printArray(\@aArray);

sub printArray
{
    my ($raArray) = @_;
    for ($i = 0; $i<3); $i++)
    {
       print "array[$i] = $raArray->[$i]\n";
    }
}

파일제어
 open(),close()
 
 open(FILE,"> /etc/hosts");
 close(FILE);
 
 open(FILE, ">> /home/log/secure.log");
 close(FILE);
 
 '<' 읽기 모드(기본값 r)
 '>' 쓰기 모드(w)
 '>>' 내용더하기 (a)
 '+C<' 읽기쓰기 모드
 '+>' 읽기쓰기 모드
 '|'
 '|'

주의점
  open(파일핸들, "파일제어기호 파일명(경로포함)"); 에서 파일제어기호와 파일명에는 콤마등의 기호가 없어야 한다.


select()
TODO


eof,eof()
'()' 의 있고 없고의 차이는 파일의 끝의 대상이 하나인가 여러개인가의 차이인듯.. (영어가 딸려서)
아래는 perldoc 의 원문이다.
In a "while (<>)" loop, "eof" or "eof(ARGV)" can be used to detect the end of each file,
"eof()" will only detect the end of the last file.


 

누군가를 사랑하면 자연스레 함께 시간을 보내고 싶어진다. 관계란 '의미 있는 시간'이라는 영양분을 먹고 자라는 생명체다.

소파에서 TV만 보면서 배우자와 의미 깊은 시간을 보낼 수 없듯이, 책상만 지키고 앉아서는 동료나 부하직원과의 관계를 발전시킬 수 없다. 방에서 나와 팀원을 직접 마주하고 그들과 함께 시간을 보내라. 일대일의 시간을 갖고, 그들을 숫자나 직함이 아닌 하나의 인격체로 대하라. 정원을 가꾸는 것처럼 팀을 사랑으로 가꿔야 한다. 그러려면 그들과 함께 있는 '그 순간'에 몰입하자.

여기는 ttl 파일
==================================================
; sample macro of UTF-8 & SSH2 TeraTerm Pro
;
; File: ssh2login.ttl
; Description: auto login with SSH2 protocol
; Environment: generic
; Update: 2004/12/4
; Author: Yutaka Hirata

username = 'cute772'
hostname = 'cblxdblab1'

;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;

msg = 'Enter password for user '
strconcat msg username
passwordbox msg 'Get password'

msg = hostname
strconcat msg ':22 /ssh /auth=pageant /user=cute772'
strconcat msg username
strconcat msg ' /passwd='
strconcat msg inputstr

connect msg
============================================================

pageant.exe 를 시작프로그램에 등록하고 '속성>바로가기>대상' 에 파라매터로 키파일 패스를 지정하면 된다.

그럼 매번 키로드 할 필요 없음


관련정보 링크
  http://ttssh2.sourceforge.jp/manual/en/commandline/ttssh.html
  http://the.earth.li/~sgtatham/putty/0.53b/htmldoc/Chapter9.html


추가로 위에는 ttl 파일로 관리할 경우이고 TERATERM.INI 파일상 '[Hosts]' 필드에 인증 방식을 선택할 수 있다.

Host1=10.0.0.1:22 /ssh2 /user=foo /passwd=**** /auth=password  ; ssh2 를 이용, 패스워드 인증
Host2=192.168.0.1:22 /ssh2 /user=foo /auth=pageant ; pagent 를 이용 인증

TERMTERM UTF8 셋팅
 
To use UTF-8, changed from English to Japanese under Setup->General menu and select "Terminal" from the TeraTerm Pro "Setup" menu. Inside the dialog-box, select "UTF-8" from "Kanji(receive)" or "Kanji(transmit)". There is no need to restart TeraTerm Pro to activate these configuration changes.

위와 같이  터미널 셋팅에서 'Locale'를 'korean' or 'kor' 로 수정. 또한 'CodePage' 를 '50933'으로 변경할것!!