Success is a long continuous journey.

현재 JMS의 Queue기능을 사용코자 고려하여 선별한 오픈소스가 현재 테스트중인 HornetQ, ActiveMQ가 있고 AMQP를 사용한 RabbitMQ 입니다. 

타룬이 결국 Queue의 대체안이 없을 경우 사용한다는 전제하이고, 윤성종책임님과 제가 진행중인것은 큐를 적용한 버젼이므로 큐에 대한 확정을 하고자 이글을 씁니다.

우선 성능비교를 해보겠습니다. 

이 자료는 구글에서 제일 상단에 조회되는 최근 벤치마킹 자료글을 참조하였습니다. (여기 참조)

시나리오는 키정보를 담기 위함이므로 메시지 사이즈는 32byte, 그리고 worst case를 고려한 200,000건의 메시지가 동시에 enqueuing과 dequeuing이 일어나는 시나리오 C를  선택하여 성능비교를 하겠습니다.

위 시나리오로 제품 비교한 그래프는 다음과 같습니다.

참고) AMQP에 대한 얘기는  이 벤치마크 자료를 보면 RabbitMQ가 AMQP와 STOMP버젼이 두개가 있어 비교를 해보면 훨씬 빠른것처럼 보이나 아래와 같이 분명 경고글은 있습니다.

그럼 결과 확인전에 상기할 것은 여기 벤치마크는 단일큐를 가지고 성능을 비교한 것입니다. 그래서 RabbitMQ나 Hornetq같이 database persistence를 지원하지 않는 JMS도 persistent라고 표현 한 것이구요. 그래서 제가 직접 이 벤치마크를 한 분에게 질문을 드렸더니 아래와 같이 상세하게 답변을 주셨습니다.  

자, 그러면 Database Persistence가 필요하다고 하면 HornetQ, RabbitMQ도 제외가 됩니다. 그리고 대안은 ActiveMQ로 가는수밖에 없구요.

어제 Tarun이 얘기한 replicatoin을 써서 failover가 커버 가능하다고 했는데 아래는 제가 찾은 인터넷에 레퍼런스 정리입니다.  

1 ) HornetQ는 JBoss Messaging Server의 자식인데, 이 부모의 Database Persistance 기능이 없어지고  File Persistance(Journal이라고 부름)로 가면서 Failover에 대해서 100% 보장은 못한다는 의견이 많다. 그리고 현재 production system에서는 여전히 JBoss Messaing Server가 Database persistence 기능 때문에 업데이트없이 여전히 많이 사용중이라고 합니다.

2)  현재 HornetQ 최근 릴리즈된 버젼에 벤치마크 관련 얘기가 830만건의 메시지를 1초에 처리한다고 성능테스트 자료도 나와있다. 하지만 메시지 유실에 가능성은 있다고 분명히 언급이 되어 있다...   

마지막으로 RabbitMQ에 대한 얘길 적어보겠습니다.  성능이 좋은 프로토콜인  AMQP 얘기가 나오면서 대안으로 나왔는데 Database Persistence 가 지원이 안됩니다. Mnesia라는 데이터베이스( 분산형 데이터베이스 소프트웨어)에 자체 내부적으로 사용하여 RAM용량이 없을 경우에만 허용한다고 한다. (여기 참조)

그래서 제 생각은 ActiveMQ로 가는게 맞다고 봅니다. Databse Persistence가 없이 Clustered Queue의 Failover 처리가 완벽하다면 성능이 좋은 RabbitMQ (AMQP) 로 가는게 좋구요.

----

같은 레드햇에서 JBoss HornetQ와 MRG에 대해 비교하는 글이 있네요

https://community.jboss.org/thread/167032?tstart=0

현재 수행하고 있는 프로젝트에 임의의 테이블을 만들고 데이터를 300만건을 만들려고 한다. 물론 의미있는 데이터 필요는 없지만 구색은 맞추었으면 한다. 이걸 엑셀과 VBA 사용해서 만들어볼까하다가 구글링을 혹시나 해보았다. 그런데 Data Generate 해주는 툴이 있는게 아닌가,,

이름하여, Databene Benerator이다. 

아주 오래전에 올라온 오픈소스인데 아직 버젼이 1.0 찍지는 못하였으나 리뷰를 보면 알다시피, 아는 사람은 계속 가지고 잘 사용하고 있다는 것을- 그리고 왠만한 데이터베이스와 호환이 된다. (내가 아는 데이터베이스가 많이 없어서 그럴수도 있다.)

사용법은 메뉴얼을 보면 머리가 보면 너무 복잡해지고 알아될 그 프로그램만의 용어, 그리고 개념, 구조 등등 알아야 될게 많으니 간단히 설명을 하자.

우선, 준비는 다음과 같다.

1. 여기에서 다운로드를 받자. 참고로 최신 0.97버젼인데 독일회사인지로 바꼈다. 우선 txt로 된 파일을 받아 url의 주소를 가서 받도록 하자. (0.80 버젼은 아래에서 받자)

benerator-0.8.0.a01

benerator-0.8.0.a00

benerator-0.8.0.alz

2. 압축을 폴면 bin 폴더가 있고, demo 폴더가 있다. 두개 폴더만 보면 된다. 괜히 머리아프게 딴거 보지말자. bin은 실행, 환경설정 파일이 있는거고, demo는 이 프로그램을 쓰기 위한 예제가 있다. 셋팅할게 많으니 빠른 이해와 급적용 위해서는 예제 필수 ( 필자도 그리했슴 )

3. bin폴더는 classpath를 잡아줘서 어디서든 bin\benerator 명령이 먹히도록 하자. ( 한번 쓰고 말꺼면 몰라도)

위와 같이 shop폴더를 예제를 삼은 것은 이것만 보면 다른건 다 이해가 간다. 그리고 예제 업데이트가 안되서 다른 예제는 오류가 나는 경우가 있다. deprecated된것도 아니고 아예 기능을 뺀게 있어 xml 파싱을 하다가 나는 오류가 있으니 참고 필수임돠~

설명은 h2 database 기준으로 설명을 하겠어요.  

메인이 shop.ben.xml 파일이다. 이 xml을 가지고 실제 benerator가 작업을 다하기 때문에 이 xml 구조만 설명하면 거의 아신다고 해도 무방~

위치는  BENERATOR_HOME\demo\shop\shop.ben.xml 에 있으며, 주요 태그들의 설명은 다음과 같습니다.

세부 설명은 PDF(여기)를 참조하도록 한다.

하나 예를 들면, 아래 예제에서 generate 태그 propety에 count는 생성할 데이터 건수를 3백만건으로 변경하고 싶으면 아래 소스중에 db_product를 generate하는 부분에 

count 태그의 값을 3000000으로 변경하면 3백만건의 데이터가 생성이 된다.

....

실행방법은

BENERATOR_HOME\bin\benerator.bat 해당경로의 shop.ben.xml 을 참조하면 되는데 이해를 돕기 위해서 execute.xml을 제가 따로 만들었습니다.

................

<?xml version="1.0" encoding="iso-8859-1"?>

<setup 

xmlns="http://databene.org/benerator/0.7.0"

xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

xsi:schemaLocation="http://databene.org/benerator/0.7.0 http://databene.org/benerator-0.7.0.xsd">

<!-- 도메인 정의는 생략하기로 함 -->

<!-- <import domains   = "person,net,product" /> -->

<import platforms = "db"/>

<setting name="database" default="oracle" />

<setting name="dbCatalog"  default="" />  <!-- db catalog -->

<setting name="dbSchema"   default="" />     <!-- db schema -->

<setting name="dbPassword" default="manager" />  <!-- db password -->

<setting name="dbBatch"    default="false" />  <!-- db batch -->

<setting name="row_count"    default="3000" />   <!-- db 생성할 row 카운트  -->

<!--<setting name="stage" default="development" /> --> <!-- 생략 가능  -->

<comment>import stage and database specific properties</comment>

<include uri="{ftl:${database}/shop.${database}.properties}" /> 

<!-- ftl: is the prefix used for scripting with FreeMarker Template Language -->

<!--  <include uri="{ftl:shop.${stage}.properties}" /> -->

<!--  TODO use environment file -->

    <comment>define a database that will be referred by the id 'db' subsequently</comment>

    <database id="db" url="{dbUrl}" driver="{dbDriver}" catalog="{dbCatalog}" schema="{dbSchema}"

        user="{dbUser}" password="{dbPassword}" batch="{dbBatch}" />

<!--

<comment>drop the current tables/sequences if they exist and recreate them</comment>

<execute uri="{ftl:${database}/drop_tables.${database}.sql}"   target="db" onError="ignore" /> 

<execute uri="{ftl:${database}/create_tables.${database}.sql}" target="db" />

-->

<!-- ID GENERATOR 정의 -->

<bean id="idGen" spec="new IncrementGenerator(1000)" />

<bean id="idGen1" spec="new IncrementGenerator(1)" />

<bean id="idGen2" spec="new IncrementGenerator(1)" />

<comment>Creating a valid base data set for regression testing by importing a DbUnit file</comment>

<!--<iterate source="shop.dbunit.xml" consumer="db" />-->

<!--csv -->

<comment>Importing some more predefined products from a CSV file</comment>

<!--<iterate source="products.import.csv" type="db_product" encoding="utf-8" consumer="db" /> -->

<bean id="sg" class="SequenceTableGenerator">

<property name="database" ref="db"/>

<property name="table" value="SDM_DOCUMENT"/>

<property name="column" value="DOC_ID"/>

</bean>

<!-- generate -->

<generate type="SDM_DOCUMENT" count="{row_count}" consumer="db">

<id name="pjt_code" type="string" generator="new IncrementalIdGenerator(10000)" />

<id name="doc_id" type="string" generator="idGen" /> 

<attribute name="gepc_type_code" values="'1','2','3', '4'"/>

<attribute name="pbs_level1_code" values="'PM','PMO','PL'"/>

<attribute name="pbs_level2_code" values="'COM','CEE','CEB'"/>

<attribute name="doc_name" values="'Buried Telephone Cable Distribution Wire Installation Details','Standard Installation Telephone Pole Lines'" />

<id name="doc_no" generator="idGen2" />

<attribute name="doc_revision_no" values="'1','2','3', '4', '5'"/>

<attribute name="doc_status_code"  values="'1','2','3', '4', '5'" />

<attribute name="delete_yn" values="'y','n'" />

<attribute name="incharge_id" values="'byunghyun.yu', 'ds.lee', 'e.joe', 'sue.park'"/>

<attribute name="incharge_name" values="'y','n'"/>

<attribute name="security_level" values="'1','2','3', '4', '5'" />

<attribute name="doc_content" values="'aaaaa','bbbbb','cccccc'" />

<attribute name="deliverable_list_name" values="'aaa','bbbb','ccccc'" />

<attribute name="task_pjt_id" values="'13579'" />

<attribute name="task_id" values="'1','2','3','4','5','6','7','8','9','10'" />

<attribute name="create_dttm"  type="date" nullable="false" />

<attribute name="create_id" values="'byunghyun.yu', 'ds.lee', 'e.joe', 'sue.park'" />

<attribute name="update_dttm"  type="date" nullable="false" />

<attribute name="update_id" values="'byunghyun.yu', 'ds.lee', 'e.joe', 'sue.park'" /> 

</generate>

</setup>

................

이렇게 실행을 하면 자동으로 database를 connection하고 지정한 테이블들의 데이터를 자동으로 generate시킵니다.

*******************************************************************************************************************
 <comment>create order items</comment>
 <generate type="db_order_item"
   count="{customer_count * orders_per_customer * items_per_order}" consumer="db">
  <variable name="product" source="db" selector="select ean_code, price from db_product" distribution="cumulated" />
        <id name="id" generator="idGen" />
  <attribute name="number_of_items" min="1" max="27" distribution="cumulated" />
  <reference name="order_id" source="db" selector="select id from db_order where id &gt; 1" cyclic="true" />
  <reference name="product_ean_code" script="product[0]" />
  <attribute name="total_price" script="product[1] * db_order_item.number_of_items" />
 </generate>

*******************************************************************************************************************