001/* 002 * Copyright (c) 2009 The openGion Project. 003 * 004 * Licensed under the Apache License, Version 2.0 (the "License"); 005 * you may not use this file except in compliance with the License. 006 * You may obtain a copy of the License at 007 * 008 * http://www.apache.org/licenses/LICENSE-2.0 009 * 010 * Unless required by applicable law or agreed to in writing, software 011 * distributed under the License is distributed on an "AS IS" BASIS, 012 * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, 013 * either express or implied. See the License for the specific language 014 * governing permissions and limitations under the License. 015 */ 016package org.opengion.hayabusa.taglib; 017 018import org.opengion.hayabusa.common.HybsSystem; 019import org.opengion.hayabusa.common.HybsSystemException; 020import org.opengion.hayabusa.resource.ResourceManager; 021import org.opengion.hayabusa.resource.GUIInfo; 022import org.opengion.hayabusa.db.DBColumn; 023import org.opengion.hayabusa.io.HybsFileOperationFactory; 024import org.opengion.fukurou.db.Transaction; 025import org.opengion.fukurou.db.TransactionReal; 026import org.opengion.fukurou.util.FileUtil; 027import org.opengion.fukurou.util.ErrorMessage; 028import org.opengion.fukurou.util.StringUtil; 029import org.opengion.fukurou.util.Closer ; 030import org.opengion.fukurou.model.Formatter; 031import org.opengion.fukurou.model.ArrayDataModel; 032 033import static org.opengion.fukurou.util.StringUtil.nval ; 034 035import java.sql.Connection; 036import java.sql.PreparedStatement; 037import java.sql.SQLException; 038 039import java.io.File; 040import java.io.BufferedReader; 041import java.io.IOException; 042 043/** 044 * 指定のファイルを直接データベースに登録するデータ入力タグです。 045 * 046 * 通常の readTable などは、DBTableModelオブジェクトを介して全件メモリに 047 * ロードしてから表示させる為、大量データ処理ができません。 048 * このタグでは、直接ファイルを読み取りながらデータベース登録するので 049 * 大量データをバッチ的に登録する場合に使用します。 050 * 051 * 読み取るファイルは、先頭(または実データが現れるまでに) #NAME 行が必要です。 052 * これは、ファイルデータのカラム名を指定しています。また、columns 属性を使用すれば、 053 * ファイルの#NAME 行より優先して(つまり存在していなくても良い)データのカラム名を 054 * 指定することが出来ます。 055 * この#NAME 行は、ファイルのセパレータと無関係に必ずタブ区切りで用意されています。 056 * タグのBODY部に、実行するSQL文を記述します。 057 * このSQL文は、 058 * INSERT INTO GE41 (CLM,NAME_JA,SYSTEM_ID,FGJ,DYSET) 059 * VALUES ([CLM],[NAME_JA],[SYSTEM_ID],'1','{@USER.YMDH}') 060 * と、いう感じで、ファイルから読み込んだ値は、[カラム名]に割り当てられます。 061 * もちろん、通常の固定値(FGJに'1'をセット)や、リクエスト変数(DYSETの{@USER.YMDH}) 062 * なども使用できます。 063 * 064 * ※ このタグは、Transaction タグの対象です。 065 * 066 * @og.formSample 067 * ●形式:<og:directTableInsert filename="[・・・]" ・・・ >INSERT INTO ・・・ </og:directTableInsert > 068 * ●body:あり(EVAL_BODY_BUFFERED:BODYを評価し、{@XXXX} を解析します) 069 * 070 * ●Tag定義: 071 * <og:directTableInsert 072 * fileURL 【TAG】読み取り元ディレクトリ名を指定します (初期値:FILE_URL[=filetemp/]) 073 * filename 【TAG】ファイルを作成するときのファイル名をセットします (初期値:FILE_FILENAME[=file.xls]) 074 * encode 【TAG】ファイルを作成するときのファイルエンコーディング名をセットします (初期値:FILE_ENCODE[=UnicodeLittle]) 075 * separator 【TAG】可変長ファイルを作成するときの項目区切り文字をセットします(初期値:タブ) 076 * displayMsg 【TAG】query の結果を画面上に表示するメッセージIDを指定します(初期値:MSG0040[ 件登録しました]) 077 * columns 【TAG】#NAME 属性の代わりとなるファイルのカラム名を CSV形式で指定します 078 * commitBatch 【TAG】指定数毎にコミットを発行します(初期値:0 終了までコミットしません) 079 * useColumnAdjust 【TAG】カラム変換(DBType変換)を行うかどうかを設定します(初期値:false) 080 * useColumnCheck 【TAG】カラムチェック(DBTypeチェック)を行うかどうかを設定します(初期値:false) 081 * nullCheck 【TAG】NULL チェックすべきカラム列をカンマ区切り(CSV形式)で指定します 082 * dbid 【TAG】(通常は使いません)検索時のDB接続IDを指定します(初期値:DEFAULT) 083 * skipRowCount 【TAG】データの読み飛ばし件数を設定します(初期値:0) 084 * stopZero 【TAG】検索結果が0件のとき処理を続行するかどうか[true/false]を指定します(初期値:false[続行する]) 085 * storageType 【TAG】読み取り元ストレージタイプを指定します。 086 * bucketName 【TAG】読み取り元バケット名を指定します。 087 * debug 【TAG】デバッグ情報を出力するかどうか[true/false]を指定します(初期値:false) 088 * > ... Body ... 089 * </og:directTableInsert> 090 * 091 * ●使用例 092 * <og:directTableInsert 093 * dbid = "ORCL" 接続データベースID(初期値:DEFAULT) 094 * separator = "," ファイルの区切り文字(初期値:タブ) 095 * fileURL = "{@USER.ID}" 読み取り元ディレクトリ名 096 * filename = "{@filename}" 読み取り元ファイル名 097 * encode = "Shift_JIS" 読み取り元ファイルエンコード名 098 * displayMsg = "MSG0040" 登録完了後のメッセージ 099 * columns = "CLM,NAME_JA,LABEL_NAME,KBSAKU,SYSTEM_ID,LANG" 100 * #NAME の代わりに使用するカラム列名 101 * commitBatch = "100" この件数ずつコミットを発行(初期値:無制限) 102 * useColumnCheck = "true" カラムチェックを行うかどうか(初期値:false) 103 * useColumnAdjust = "true" カラム変換を行うかどうか(初期値:false) 104 * nullCheck = "CLM,SYSTEM_ID" NULLチェックを実行します。 105 * storageType = "aws" 読み取り元ストレージタイプ(初期値:CLOUD_STORAGE) 106 * bucketName = "mybucket001" 読み取り元バケット名(初期値:CLOUD_BUCKET) 107 * > 108 * INSERT INTO GE41 109 * (CLM,NAME_JA,LABEL_NAME,KBSAKU,SYSTEM_ID,LANG, 110 * FGJ,DYSET,DYUPD,USRSET,USRUPD,PGUPD) 111 * VALUES 112 * ([CLM],[NAME_JA],[LABEL_NAME],[KBSAKU],[SYSTEM_ID],[LANG], 113 * '1','{@USER.YMDH}','{@USER.YMDH}','{@USER.ID}','{@USER.ID}','{@GUI.KEY}') 114 * </og:directTableInsert > 115 * 116 * @og.rev 5.10.9.0 (2019/03/01) oota クラウドストレージ対応を追加。(Fileクラスを拡張) 117 * 118 * @og.group ファイル入力 119 * 120 * @version 4.0 121 * @author Kazuhiko Hasegawa 122 * @since JDK5.0, 123 */ 124public class DirectTableInsertTag extends CommonTagSupport { 125 //* このプログラムのVERSION文字列を設定します。 {@value} */ 126 private static final String VERSION = "5.7.6.2 (2014/05/16)" ; 127 128 private static final long serialVersionUID = 576220140516L ; 129 130 private static final String TAB_SEPARATOR = "\t" ; 131 132 // 4.0.0.0 (2007/10/10) dbid の初期値を、"DEFAULT" から null に変更 133 private String dbid = null; 134 private String separator = TAB_SEPARATOR; // 項目区切り文字 135 private String fileURL = HybsSystem.sys( "FILE_URL" ); // 4.0.0 (2005/01/31) 136 private String filename = HybsSystem.sys( "FILE_FILENAME" ); // ファイル名 137 private String encode = HybsSystem.sys( "FILE_ENCODE" ); // ファイルエンコーディング "JISAutoDetect" ,"JIS", "EUC_JP", "MS932", "SJIS" , "Windows-31J" , "Shift_JIS" 138 private String displayMsg = "MSG0040"; // 件登録しました。 139 private String[] columns = null; 140 private String[] clmKeys = null; // SQL文の[カラム名]配列 141 private String sql = null; 142 private int commitBatch = 0; // コミットするまとめ件数 143 private boolean useColumnCheck = false; // 3.6.0.2 (2004/10/04) 144 private boolean useColumnAdjust = false; // 3.6.0.2 (2004/10/04) 145 private String[] nullCheck = null; // 3.8.0.2 (2005/06/30) nullチェック確認 146 private long dyStart = 0; // 実行時間測定用のDIV要素を出力します。 147 private int skipRowCount= 0; // 5.5.7.1 (2012/10/01) 148 private boolean stopZero = false; // 5.7.6.2 (2014/05/16) stopZero属性追加 149 private String storageType = null; // 5.10.9.0 (2019/03/01) ADD 150 private String bucketName = null; // 5.10.9.0 (2019/03/01) ADD 151 152 /** 153 * Taglibの開始タグが見つかったときに処理する doStartTag() を オーバーライドします。 154 * 155 * @return 後続処理の指示( EVAL_BODY_BUFFERED ) 156 */ 157 @Override 158 public int doStartTag() { 159 dyStart = System.currentTimeMillis(); // 時間測定用 160 return EVAL_BODY_BUFFERED ; // Body を評価する。( extends BodyTagSupport 時) 161 } 162 163 /** 164 * Taglibのタグ本体を処理する doAfterBody() を オーバーライドします。 165 * 166 * @og.rev 3.6.0.2 (2004/10/04) SQL文の [カラム] 対応とパーサー機能追加 167 * @og.rev 3.8.6.3 (2006/11/30) SQL 文の前後のスペースを取り除きます。 168 * 169 * @return 後続処理の指示(SKIP_BODY) 170 */ 171 @Override 172 public int doAfterBody() { 173 sql = getBodyString(); 174 if( sql == null || sql.length() == 0 ) { 175 String errMsg = "BODY 部の登録用 Insert/Update文は、必須です。"; 176 throw new HybsSystemException( errMsg ); 177 } 178 179 return SKIP_BODY ; // Body を評価しない 180 } 181 182 /** 183 * Taglibの終了タグが見つかったときに処理する doEndTag() を オーバーライドします。 184 * 185 * @og.rev 4.0.0.0 (2007/10/18) メッセージリソース統合( getResource().getMessage ⇒ getResource().getLabel ) 186 * @og.rev 5.7.0.3 (2013/11/22) BufferedReaderのcloseをcreate内で行うように変更 187 * @og.rev 5.7.6.2 (2014/05/16) stopZero属性、DB.COUNT キーで検索件数をリクエストにセットする。 188 * 189 * @return 後続処理の指示 190 */ 191 @Override 192 public int doEndTag() { 193 debugPrint(); // 4.0.0 (2005/02/28) 194 195 BufferedReader pw = getBufferedReader(); 196 int executeCount = create( pw ); 197 198 // 実行件数の表示 199 // 4.0.0 (2005/11/30) 出力順の変更。一番最初に出力します。 200 if( displayMsg != null && displayMsg.length() > 0 ) { 201 String status = executeCount + getResource().getLabel( displayMsg ) ; 202 jspPrint( status + HybsSystem.BR ); 203 } 204 205 // 5.7.6.2 (2014/05/16) 検索結果の件数を、"DB.COUNT" キーでリクエストにセットする。 206 setRequestAttribute( "DB.COUNT" , String.valueOf( executeCount ) ); 207 208 // 5.7.6.2 (2014/05/16) 件数0件かつ stopZero = true 209 if( executeCount == 0 && stopZero ) { return SKIP_PAGE; } 210 211 // 時間測定用の DIV 要素を出力 212 long dyTime = System.currentTimeMillis()-dyStart; 213 jspPrint( "<div id=\"queryTime\" value=\"" + (dyTime) + "\"></div>" ); // 3.5.6.3 (2004/07/12) 214 215 // 4.0.0 (2005/01/31) セキュリティチェック(データアクセス件数登録) 216 GUIInfo guiInfo = (GUIInfo)getSessionAttribute( HybsSystem.GUIINFO_KEY ); 217 if( guiInfo != null ) { guiInfo.addWriteCount( executeCount,dyTime,sql ); } 218 219 return EVAL_PAGE ; 220 } 221 222 /** 223 * タグリブオブジェクトをリリースします。 224 * キャッシュされて再利用されるので、フィールドの初期設定を行います。 225 * 226 * @og.rev 3.6.0.2 (2004/10/04) useColumnCheck,useColumnAdjust 属性追加 227 * @og.rev 3.8.0.2 (2005/06/30) nullCheck 属性追加 228 * @og.rev 4.0.0.0 (2007/10/10) dbid の初期値を、"DEFAULT" から null に変更 229 * @og.rev 5.5.7.1 (2012/10/05) skipRowCount追加 230 * @og.rev 5.7.6.2 (2014/05/16) stopZero属性追加 231 * @og.rev 5.10.9.0 (2019/03/01) storageType,bucketName属性を追加 232 * 233 */ 234 @Override 235 protected void release2() { 236 super.release2(); 237 dbid = null; 238 separator = TAB_SEPARATOR; // 項目区切り文字 239 fileURL = HybsSystem.sys( "FILE_URL" ); // 4.0.0 (2005/01/31) 240 filename = HybsSystem.sys( "FILE_FILENAME" ); // ファイル名 241 encode = HybsSystem.sys( "FILE_ENCODE" ); // ファイルエンコーディング "JISAutoDetect" ,"JIS", "EUC_JP", "MS932", "SJIS" , "Windows-31J" , "Shift_JIS" 242 displayMsg = "MSG0040"; // 件登録しました。 243 columns = null; // 3.5.4.5 (2004/01/23) 244 useColumnCheck = false; // 3.6.0.2 (2004/10/04) 245 useColumnAdjust = false; // 3.6.0.2 (2004/10/04) 246 nullCheck = null; // 3.8.0.2 (2005/06/30) 247 skipRowCount = 0; // 5.5.7.1 (2012/10/05) 248 stopZero = false; // 5.7.6.2 (2014/05/16) stopZero属性追加 249 storageType = null; // 5.10.9.0 (2019/03/01) 250 bucketName = null; // 5.10.9.0 (2019/03/01) 251 } 252 253 /** 254 * BufferedReader より読み込み、データベースに書き込みます。 255 * 256 * @og.rev 3.6.0.2 (2004/10/04) カラムオブジェクトのDBType属性の整合性チェック 257 * @og.rev 3.8.0.2 (2005/06/30) nullチェック確認 258 * @og.rev 3.8.5.1 (2006/05/08) 取込データが name 列より少ない場合の対応を追加 259 * @og.rev 3.8.7.0 (2006/12/15) アクセスログ取得の為,ApplicationInfoオブジェクトを設定 260 * @og.rev 4.0.0.0 (2005/01/31) CheckColumnDataクラス static 化、引数にResourceManager追加 261 * @og.rev 4.0.0.1 (2007/12/03) try 〜 catch 〜 finally をきちんと行う。 262 * @og.rev 5.1.9.0 (2010/08/01) Transaction 対応 263 * @og.rev 5.2.2.0 (2010/11/01)) ""で囲われているデータに改行が入っていた場合の対応 264 * @og.rev 5.3.7.0 (2011/07/01) TransactionReal の引数変更 265 * @og.rev 5.3.8.0 (2011/08/01) pstmt.setObject で、useParamMetaData の判定を避けるため、pstmt.setString で代用(PostgreSQL対応) 266 * @og.rev 5.5.7.1 (2012/10/05) omitFirstLine対応 267 * @og.rev 5.7.0.3 (2013/11/22) BufferedReaderのclose処理をこのメソッド内のfinallyで行う 268 * 269 * @param reader BufferedReaderオブジェクト 270 * 271 * @return 取り込み件数 272 */ 273 private int create( final BufferedReader reader ) { 274 275 String[] names = readName( reader ); // ファイルのカラム名 276 int nameLen = names.length ; // 3.8.5.1 (2006/05/08) 追加 277 278 ArrayDataModel nmdata = new ArrayDataModel( names ); 279 Formatter format = new Formatter( nmdata ); 280 format.setFormat( sql.trim() ); 281 sql = format.getQueryFormatString(); 282 int[] clmNos = format.getClmNos(); 283 int clmNosLen = clmNos.length ; 284 clmKeys = format.getClmKeys(); 285 286 CheckColumnData checkClass = new CheckColumnData( clmNos,clmKeys,getResource() ); 287 288 ArrayDataModel nullData = new ArrayDataModel( names ); 289 int[] nullClmNos = nullData.getColumnNos( nullCheck ); // バインド変数のアドレス求め 290 291 // 3.8.0.2 (2005/06/30) nullチェック確認 292 int nullClmNosLen = nullClmNos.length ; 293 294 int executeCount = 0; 295 int commitCount = 0; 296 char sep = separator.charAt(0); 297 boolean errFlag = true; 298 Transaction tran = null; // 5.1.9.0 (2010/08/01) Transaction 対応 299 PreparedStatement pstmt = null ; 300 String[] data = null ; 301 int skip = skipRowCount; // 5.5.7.1 (2012/10/05) 302 try { 303 // 5.1.9.0 (2010/08/01) Transaction 対応 304 TransactionTag tranTag = (TransactionTag)findAncestorWithClass( this,TransactionTag.class ); 305 if( tranTag == null ) { 306 tran = new TransactionReal( getApplicationInfo() ); // 5.3.7.0 (2011/07/01) 引数変更 307 } 308 else { 309 tran = tranTag.getTransaction(); 310 } 311 312 Connection conn = tran.getConnection( dbid ); // 5.1.9.0 (2010/08/01) Transaction 対応 313 pstmt = conn.prepareStatement( sql ); 314 String line ; 315 while((line = reader.readLine()) != null) { 316 if( line.length() == 0 || line.charAt( 0 ) == '#' ) { continue; } 317 else if( skip > 0 ){ skip--; continue;} // 5.5.7.1 (2012/10/05) 318 else { 319 // 5.2.2.0 (2010/11/01) ""で囲われているデータに改行が入っていた場合の対応 320 int quotCount = StringUtil.countChar( line, '"' ); 321 if( quotCount % 2 != 0 ) { 322 String addLine = null; 323 StringBuilder buf = new StringBuilder( line ); 324 while(quotCount % 2 != 0 && (addLine = reader.readLine()) != null) { 325 if( line.length() == 0 || line.charAt( 0 ) == '#' ) { continue; } 326 buf.append( HybsSystem.CR ).append( addLine ); 327 quotCount += StringUtil.countChar( addLine, '"' ); 328 } 329 line = buf.toString(); 330 } 331 332 // 3.8.5.1 (2006/05/08) 取込データが name 列より少ない場合の対応を追加 333 data = StringUtil.csv2Array( line , sep , nameLen ); 334 335 // 3.6.0.2 (2004/10/04) カラム変換 336 if( useColumnAdjust ) { 337 data = checkClass.adjustData( data ); 338 } 339 340 // 3.6.0.2 (2004/10/04) カラムチェック 341 if( useColumnCheck ) { 342 ErrorMessage errMsg = checkClass.checkData( executeCount, data ); 343 if( !errMsg.isOK() ) { 344 tran.rollback(); // 5.1.9.0 (2010/08/01) Transaction 対応 345 jspPrint( TaglibUtil.makeHTMLErrorTable( errMsg,getResource() ) ); 346 return commitCount; 347 } 348 } 349 350 // 3.8.0.2 (2005/06/30) nullチェック確認 351 if( nullClmNosLen > 0 ) { 352 ErrorMessage errMsg = new ErrorMessage( "Null Check Columns Error!" ); 353 354 for( int i=0; i<nullClmNosLen; i++ ) { 355 int clm = nullClmNos[i]; 356 if( data[clm] == null || data[clm].length() == 0 ) { 357 String label = getResource().getLabel( nullCheck[i] ); 358 // ERR0012 : 指定のデータがセットされていません。(NULLエラー)。key={0} 359 errMsg.addMessage( executeCount+1,ErrorMessage.NG,"ERR0012",label ); 360 } 361 } 362 if( !errMsg.isOK() ) { 363 tran.rollback(); // 5.1.9.0 (2010/08/01) Transaction 対応 364 jspPrint( TaglibUtil.makeHTMLErrorTable( errMsg,getResource() ) ); 365 return commitCount; 366 } 367 } 368 369 for( int i=0; i<clmNosLen; i++ ) { 370 String val = data[clmNos[i]]; 371 if( val != null && val.startsWith( "'0" ) ) { 372 val = val.substring( 1 ); 373 } 374 pstmt.setString( i+1,val ); 375 } 376 377 pstmt.execute(); 378 if( commitBatch > 0 && ( executeCount%commitBatch == 0 ) ) { 379 tran.commit(); // 5.1.9.0 (2010/08/01) Transaction 対応 380 commitCount = executeCount; 381 } 382 executeCount++ ; 383 } 384 } 385 tran.commit(); // 5.1.9.0 (2010/08/01) Transaction 対応 386 commitCount = executeCount ; 387 errFlag = false; // エラーではない 388 } 389 catch (IOException ex) { 390 String errMsg = "ファイル読込みエラー[" + reader.toString() + "]" 391 + " 行番号=[" + executeCount +"]" 392 + " 登録件数=[" + commitCount + "]" ; 393 throw new HybsSystemException( errMsg,ex ); 394 } 395 catch (SQLException ex) { 396 String errMsg = "sql=[" + sql + "]" + HybsSystem.CR 397 + "names=[" + StringUtil.array2csv( names ) + "]" + HybsSystem.CR 398 + "vals =[" + StringUtil.array2csv( data ) + "]" + HybsSystem.CR 399 + " 行番号=[" + executeCount +"]" 400 + " 登録件数=[" + commitCount + "]" + HybsSystem.CR 401 + " errorCode=[" + ex.getErrorCode() + "] State=[" + 402 ex.getSQLState() + "]" + HybsSystem.CR ; 403 throw new HybsSystemException( errMsg,ex ); 404 } 405 finally { 406 Closer.stmtClose( pstmt ); 407 Closer.ioClose( reader ); // 5.7.0.3 (2013/11/22) finallyでcloseするように変更 408 if( tran != null ) { // 5.5.2.6 (2012/05/25) findbugs対応 409 tran.close( errFlag ); // 5.1.9.0 (2010/08/01) Transaction 対応 410 } 411 } 412 413 return commitCount; 414 } 415 416 /** 417 * BufferedReader より、#NAME 行の項目名情報を読み取ります。 418 * データカラムより前に、項目名情報を示す "#Name" が存在する仮定で取り込みます。 419 * この行は、ファイルの形式に無関係に、TAB で区切られています。 420 * #NAME 配列の先頭(行番号にあたる個所)は、ROW_NO というキーを割り当てます。 421 * columns が設定されている場合は、#NAME 行ではなく、columns を優先します。 422 * 423 * @og.rev 3.6.0.0 (2004/09/22) #NAME 行が見つからない場合は、エラーとします。 424 * @og.rev 3.6.0.2 (2004/10/04) columns が設定されている場合は、それを返します。 425 * 426 * @param reader PrintWriterオブジェクト 427 * 428 * @return カラム名配列 429 */ 430 private String[] readName( final BufferedReader reader ) { 431 if( columns != null && columns.length > 0 ) { 432 return columns ; 433 } 434 435 try { 436 String line; 437 while((line = reader.readLine()) != null) { 438 if( line.length() == 0 ) { continue; } 439 if( line.charAt(0) == '#' ) { 440 if( line.length() >= 5 && 441 "#NAME".equalsIgnoreCase( line.substring( 0,5 ) ) ) { 442 String[] rtn = StringUtil.csv2Array( line ,TAB_SEPARATOR.charAt(0) ); 443 rtn[0] = "ROW_NO"; // 先頭カラムにカラム名を与える。 444 return rtn ; 445 } 446 else { continue; } 447 } 448 else { 449 String errMsg = "#NAME が見つかる前にデータが見つかりました。" + HybsSystem.CR 450 + " LINE=" + line; // 5.1.8.0 (2010/07/01) errMsg 修正 451 throw new HybsSystemException( errMsg ); 452 } 453 } 454 } 455 catch (IOException ex) { 456 String errMsg = "ファイル読込みエラー[" + reader.toString() + "]" ; 457 throw new HybsSystemException( errMsg,ex ); 458 } 459 460 String errMsg = "#NAME が見つかりませんでした。"; 461 throw new HybsSystemException( errMsg ); 462 } 463 464 /** 465 * BufferedReader を取得します。 466 * 467 * ここでは、一般的なファイル出力を考慮した BufferedReader を作成します。 468 * 469 * @og.rev 5.10.9.0 (2019/03/01) クラウドストレージ対応 470 * 471 * @return 指定の読み取り用BufferedReaderオブジェクト 472 */ 473 private BufferedReader getBufferedReader() { 474 if( filename == null ) { 475 String errMsg = "ファイル名がセットされていません。"; 476 throw new HybsSystemException( errMsg ); 477 } 478 String directory = HybsSystem.url2dir( fileURL ); 479 480 // 5.10.9.0 (2019/03/01) MODIFY 481 // File file = new File( StringUtil.urlAppend( directory,filename ) ); 482 File file = HybsFileOperationFactory.create(storageType, bucketName, StringUtil.urlAppend( directory,filename )); 483 484 BufferedReader out = FileUtil.getBufferedReader( file,encode ); 485 486 return out ; 487 } 488 489 /** 490 * 【TAG】(通常は使いません)検索時のDB接続IDを指定します(初期値:DEFAULT)。 491 * 492 * @og.tag 493 * 検索時のDB接続IDを指定します。初期値は、DEFAULT です。 494 * 495 * @param id データベース接続ID 496 */ 497 public void setDbid( final String id ) { 498 dbid = nval( getRequestParameter( id ),dbid ); 499 } 500 501 /** 502 * 【TAG】可変長ファイルを作成するときの項目区切り文字をセットします(初期値:タブ)。 503 * 504 * @og.tag 可変長ファイルを作成するときの項目区切り文字をセットします。 505 * 506 * @param separator 項目区切り文字 507 */ 508 public void setSeparator( final String separator ) { 509 this.separator = nval( getRequestParameter( separator ),this.separator ); 510 } 511 512 /** 513 * 【TAG】読み取り元ディレクトリ名を指定します 514 * (初期値:FILE_URL[={@og.value org.opengion.hayabusa.common.SystemData#FILE_URL}])。 515 * 516 * @og.tag 517 * この属性で指定されるディレクトリより、ファイルを読み取ります。 518 * 指定方法は、通常の fileURL 属性と同様に、先頭が、'/' (UNIX) または、2文字目が、 519 * ":" (Windows)の場合は、指定のURLそのままのディレクトリに、そうでない場合は、 520 * fileURL = "{@USER.ID}" と指定すると、FILE_URL 属性で指定のフォルダの下に、 521 * さらに、各個人ID別のフォルダの下より、読み取ります。 522 * (初期値:システム定数のFILE_URL[={@og.value org.opengion.hayabusa.common.SystemData#FILE_URL}])。 523 * 524 * @og.rev 4.0.0.0 (2005/01/31) StringUtil.urlAppend メソッドの利用 525 * @og.rev 4.0.0.0 (2007/11/20) 指定されたディレクトリ名の最後が"\"or"/"で終わっていない場合に、"/"を付加する。 526 * 527 * @param url ファイルURL 528 * @see org.opengion.hayabusa.common.SystemData#FILE_URL 529 */ 530 public void setFileURL( final String url ) { 531 String furl = nval( getRequestParameter( url ),null ); 532 if( furl != null ) { 533 char ch = furl.charAt( furl.length()-1 ); 534 if( ch != '/' && ch != '\\' ) { furl = furl + "/"; } 535 fileURL = StringUtil.urlAppend( fileURL,furl ); 536 } 537 } 538 539 /** 540 * 【TAG】ファイルを作成するときのファイル名をセットします 541 * (初期値:FILE_FILENAME[={@og.value org.opengion.hayabusa.common.SystemData#FILE_FILENAME}])。 542 * 543 * @og.tag 544 * ファイルを作成するときのファイル名をセットします。 545 * (初期値:システム定数のFILE_FILENAME[={@og.value org.opengion.hayabusa.common.SystemData#FILE_FILENAME}])。 546 * 547 * @param filename ファイル名 548 * @see org.opengion.hayabusa.common.SystemData#FILE_FILENAME 549 */ 550 public void setFilename( final String filename ) { 551 this.filename = nval( getRequestParameter( filename ),this.filename ); 552 } 553 554 /** 555 * 【TAG】ファイルを作成するときのファイルエンコーディング名をセットします 556 * (初期値:FILE_ENCODE[={@og.value org.opengion.hayabusa.common.SystemData#FILE_ENCODE}])。 557 * 558 * @og.tag 559 * 初期値は、システムパラメータ の FILE_ENCODE 属性で、設定しています。 560 * Shift_JIS,MS932,Windows-31J,UTF-8,ISO-8859-1,UnicodeLittle・・・ 561 * (初期値:システム定数のFILE_ENCODE[={@og.value org.opengion.hayabusa.common.SystemData#FILE_ENCODE}])。 562 * 563 * @param enc ファイルエンコーディング名 564 * @see <a href="http://www.iana.org/assignments/character-sets">IANA Charset Registry</a> 565 * @see org.opengion.hayabusa.common.SystemData#FILE_ENCODE 566 */ 567 public void setEncode( final String enc ) { 568 encode = nval( getRequestParameter( enc ),encode ); 569 } 570 571 /** 572 * 【TAG】query の結果を画面上に表示するメッセージIDを指定します(初期値:MSG0040[ 件登録しました])。 573 * 574 * @og.tag 575 * ここでは、検索結果の件数や登録された件数をまず出力し、 576 * その次に、ここで指定したメッセージをリソースから取得して 577 * 表示します。 578 * 表示させたくない場合は, displayMsg = "" をセットしてください。 579 * 初期値は、検索件数を表示します。 580 * ※ この属性には、リクエスト変数({@XXXX})は使用できません。 581 * 582 * @param id ディスプレイに表示させるメッセージ ID 583 */ 584 public void setDisplayMsg( final String id ) { 585 if( id != null ) { displayMsg = id; } 586 } 587 588 /** 589 * 【TAG】#NAME 属性の代わりとなるファイルのカラム名を CSV形式で指定します。 590 * 591 * @og.tag 592 * データファイルの先頭行に、#NAME 行があり、読み取るべきファイルの 593 * カラム名が記述されています。通常は、このカラム名を取り込んで、 594 * 各データ列のカラムを指定します。 595 * この属性は、ファイルに#NAME 行が存在しない(他システムからの入力ファイル等) 596 * 場合に、#NAME 属性の代わりに、カラム名を外部より指定します。 597 * 598 * @og.rev 3.8.5.1 (2006/05/08) getCSVParameter の使用を中止 599 * 600 * @param clms ファイルのカラム名(カンマ区切り文字) 601 */ 602 public void setColumns( final String clms ) { 603 columns = StringUtil.csv2Array( nval( getRequestParameter( clms ),null ),',' ); 604 } 605 606 /** 607 * 【TAG】指定数毎にコミットを発行します(初期値:0 終了までコミットしません)。 608 * 609 * @og.tag 610 * 通常は、全ての処理が正常に終了するか、なにもしないか(トランザクション) 611 * を判断すべきで、途中でのコミットはしません。 612 * しかし、場合によって、件数が異常に多い場合や、再実行可能な場合は、 613 * 途中でコミットして、都度、処理できるものだけを処理してしまうという方法があります。 614 * また、ロールバックエリアの関係などで、データ量が多い場合に、処理時間が異常に 615 * 長くなる事があり、指定件数ごとのコミット機能を用意しています。 616 * 0 に設定すると、終了までコミットしません。初期値は、0 です。 617 * 618 * @param cmtBat 指定数毎にコミットを発行(初期値:0) 619 */ 620 public void setCommitBatch( final String cmtBat ) { 621 commitBatch = nval( getRequestParameter( cmtBat ),commitBatch ); 622 } 623 624 /** 625 * 【TAG】カラムチェック(DBTypeチェック)を行うかどうかを設定します(初期値:false)。 626 * 627 * @og.tag 628 * カラムの整合性チェックを行う場合、この属性を設定(true)します。 629 * 初期値は、行わない(false)です。 630 * チェックするカラムは、#NAME や columns で指定されたカラムではなく、 631 * BODY部のSQL文で指定されたカラム名( [カラム名] )です。これは、直接、SQL文中に 632 * 記述している値や、{@XXXX}文字等は、チェック出来ない為です。 633 * 634 * @og.rev 3.6.0.2 (2004/10/04) 新規追加 取り込み時全チェック 635 * 636 * @param flag チェックを行うかどうか(true:行う/false:行わない) 637 * @see #setUseColumnAdjust( String ) 638 */ 639 public void setUseColumnCheck( final String flag ) { 640 useColumnCheck = nval( getRequestParameter( flag ),useColumnCheck ); 641 } 642 643 /** 644 * 【TAG】カラム変換(DBType変換)を行うかどうかを設定します(初期値:false)。 645 * 646 * @og.tag 647 * カラムの変換を行う場合、この属性を設定(true)します。 648 * 初期値は、行わない(false)です。 649 * 変換するカラムは、#NAME や columns で指定されたカラムではなく、 650 * BODY部のSQL文で指定されたカラム名[カラム名]です。これは、直接、SQL文中に 651 * 記述している値や、{@XXXX}文字等は、変換出来ない為です。 652 * 653 * @og.rev 3.6.0.2 (2004/10/04) 新規追加 取り込み時変換 654 * 655 * @param flag 変換を行うかどうか(true:行う/false:行わない) 656 * @see #setUseColumnCheck( String ) 657 */ 658 public void setUseColumnAdjust( final String flag ) { 659 useColumnAdjust = nval( getRequestParameter( flag ),useColumnAdjust ); 660 } 661 662 /** 663 * 【TAG】NULL チェックすべきカラム列をカンマ区切り(CSV形式)で指定します。 664 * 665 * @og.tag nullCheck="AAA,BBB,CCC,DDD" 666 * 分解方法は、通常のパラメータ取得後に、CSV分解します。 667 * 668 * @og.rev 3.8.0.2 (2005/06/30) 新規追加 669 * @og.rev 3.8.8.5 (2007/03/09) 通常のパラメータ取得後に、CSV分解に戻します。 670 * 671 * @param clms カラム列(CSV形式) 672 */ 673 public void setNullCheck( final String clms ) { 674 nullCheck = StringUtil.csv2Array( getRequestParameter( clms ) ); 675 if( nullCheck.length == 0 ) { nullCheck = null; } 676 } 677 678 /** 679 * 【TAG】取り込み時に除外する行を指定します(初期値:0)。 680 * 681 * @og.tag 682 * TAB区切りテキストやEXCEL等のデータの読み始めの初期値を指定します。 683 * ファイルの先頭行が、0行としてカウントしますので、設定値は、読み飛ばす 684 * 件数になります。(1と指定すると、1件読み飛ばし、2行目から読み込みます。) 685 * 読み飛ばしは、コメント行などは、無視しますので、実際の行数分読み飛ばします。 686 * #NAME属性や、columns 属性は、有効です。 687 * 688 * @og.rev 5.5.7.1 (2012/10/05) 新規追加 689 * 690 * @param count 先頭行を無視するかどうか(true:無視する/false:無視しない) 691 */ 692 public void setSkipRowCount( final String count ) { 693 skipRowCount = nval( getRequestParameter( count ),skipRowCount ); 694 } 695 696 /** 697 * 【TAG】検索結果が0件のとき処理を続行するかどうか[true/false]を指定します(初期値:false[続行する])。 698 * 699 * @og.tag 700 * 初期値は、false(続行する)です。 701 * 702 * @og.rev 5.7.6.2 (2014/05/16) 新規追加 703 * 704 * @param cmd 検索結果が0件のとき、[true:処理を中止する/false:続行する] 705 */ 706 public void setStopZero( final String cmd ) { 707 stopZero = nval( getRequestParameter( cmd ),stopZero ); 708 } 709 710 /** 711 * カラム変換、カラムチェックを行う内部クラス 712 * 713 * @og.rev 4.0.0.0 (2005/01/31) static クラス化、引数にResourceManager追加 714 * @og.group ファイル入力 715 * 716 * @version 4.0 717 * @author Kazuhiko Hasegawa 718 * @since JDK5.0, 719 */ 720 static class CheckColumnData { 721 private final DBColumn[] dbClm ; 722 private final int[] clmChkNo ; 723 private final int len ; // 長さ0の時は、なにもしない。 724 private final ErrorMessage errMsg = new ErrorMessage( "Check Columns Error!" ); 725 726 /** 727 * コンストラクター 728 * 729 * @param clmNo カラム番号配列 730 * @param chkClm String[] 731 * @param resource ResourceManager 732 */ 733 CheckColumnData( final int[] clmNo, final String[] chkClm,final ResourceManager resource ) { 734 if( clmNo == null || clmNo.length == 0 || 735 chkClm == null || chkClm.length == 0 ) { // return; } // 何もしない 736 737 dbClm = null; 738 clmChkNo = null; 739 len = 0; 740 } 741 else { 742 clmChkNo = clmNo ; 743 len = clmNo.length ; 744 dbClm = new DBColumn[len]; 745 for( int i=0; i<len; i++ ) { 746 dbClm[i] = resource.makeDBColumn( chkClm[i] ); // 4.0.0 (2005/01/31) 747 } 748 } 749 } 750 751 /** 752 * 引数のデータを DBColumn で正規化(valueSetメソッド経由)します。 753 * 754 * @param data 1行分のデータ配列 755 * @return String[] 756 * @see org.opengion.hayabusa.db.DBColumn#valueSet( String ) 757 */ 758 String[] adjustData( final String[] data ) { 759 if( len == 0 ) { return data; } 760 String[] ajstData = new String[len]; 761 for( int i=0; i<len; i++ ) { 762 String val = data[clmChkNo[i]]; 763 ajstData[i] = dbClm[i].valueSet( val ); 764 } 765 return ajstData ; 766 } 767 768 /** 769 * 引数のデータを DBColumn で正規化(valueSetメソッド経由)します。 770 * 771 * @param row 行番号 772 * @param data 1行分のデータ配列 773 * @return ErrorMessage 774 * @see org.opengion.hayabusa.db.DBColumn#valueSet( String ) 775 */ 776 ErrorMessage checkData( final int row,final String[] data ) { 777 for( int i=0; i<len; i++ ) { 778 String val = data[clmChkNo[i]]; 779 errMsg.append( row+1,dbClm[i].valueCheck( val ) ); 780 } 781 return errMsg ; 782 } 783 } 784 785 /** 786 * 【TAG】読み取り元ストレージタイプを設定します。 787 * 788 * @og.tag 789 * ファイルを読み取り元の、ストレージタイプを設定します。 790 * 未設定の場合は、システムリソースの「CLOUD_TARGET」が参照されます。 791 * 自身のサーバを指定する場合は、「default」を設定してください。 792 * 793 * @og.rev 5.10.9.0 (2019/03/01) 新規追加 794 * 795 * @param storage 読み取り元ストレージタイプ 796 */ 797 public void setStorageType( final String storage ) { 798 storageType = nval( getRequestParameter( storage ), storageType ); 799 } 800 801 /** 802 * 【TAG】読み取り元バケット名を設定します。 803 * 804 * @og.tag 805 * ファイルを読み取り元の、バケット名を指定します。 806 * クラウドストレージ利用時のみ有効です。 807 * 未設定の場合は、システムリソースの「CLOUD_BUKET」が参照されます。 808 * 809 * @og.rev 5.10.9.0 (2019/03/01) 新規追加 810 * 811 * @param bucket 読み取り元バケット名 812 */ 813 public void setBucketName( final String bucket ) { 814 bucketName = nval( getRequestParameter( bucket ), bucketName ); 815 } 816 817 /** 818 * このオブジェクトの文字列表現を返します。 819 * 基本的にデバッグ目的に使用します。 820 * 821 * @og.rev 5.10.9.0 (2019/03/01) storageType, bucketNameを出力対象に追加。 822 * 823 * @return このクラスの文字列表現 824 */ 825 @Override 826 public String toString() { 827 return org.opengion.fukurou.util.ToString.title( this.getClass().getName() ) 828 .println( "VERSION" ,VERSION ) 829 .println( "dbid" ,dbid ) 830 .println( "separator" ,separator ) 831 .println( "fileURL" ,fileURL ) 832 .println( "filename" ,filename ) 833 .println( "encode" ,encode ) 834 .println( "displayMsg" ,displayMsg ) 835 .println( "columns" ,columns ) 836 .println( "clmKeys" ,clmKeys ) 837 .println( "sql" ,sql ) 838 .println( "commitBatch" ,commitBatch ) 839 .println( "useColumnCheck" ,useColumnCheck ) 840 .println( "useColumnAdjust" ,useColumnAdjust) 841 .println( "nullCheck" ,nullCheck ) 842 .println( "dyStart" ,dyStart ) 843 .println( "storageType" ,storageType ) 844 .println( "bucketName" ,bucketName ) 845 .println( "Other..." ,getAttributes().getAttribute() ) 846 .fixForm().toString() ; 847 } 848}