datarouter-node/src/main/java/org/onap/dmaap/datarouter/node/LogManager.java

   1 /*******************************************************************************
   2  * ============LICENSE_START==================================================
   3  * * org.onap.dmaap
   4  * * ===========================================================================
   5  * * Copyright © 2017 AT&T Intellectual Property. All rights reserved.
   6  * * ===========================================================================
   7  * * Licensed under the Apache License, Version 2.0 (the "License");
   8  * * you may not use this file except in compliance with the License.
   9  * * You may obtain a copy of the License at
  10  * *
  11  *  *      http://www.apache.org/licenses/LICENSE-2.0
  12  * *
  13  *  * Unless required by applicable law or agreed to in writing, software
  14  * * distributed under the License is distributed on an "AS IS" BASIS,
  15  * * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16  * * See the License for the specific language governing permissions and
  17  * * limitations under the License.
  18  * * ============LICENSE_END====================================================
  19  * *
  20  * * ECOMP is a trademark and service mark of AT&T Intellectual Property.
  21  * *
  22  ******************************************************************************/
  23 package org.onap.dmaap.datarouter.node;
  24
  25 import java.io.BufferedReader;
  26 import java.io.File;
  27 import java.io.FileReader;
  28 import java.io.FileWriter;
  29 import java.io.Writer;
  30 import java.nio.file.Files;
  31 import java.nio.file.Paths;
  32 import java.util.Arrays;
  33 import java.util.TimerTask;
  34 import java.util.regex.Matcher;
  35 import java.util.regex.Pattern;
  36
  37 /**
  38  * Cleanup of old log files.
  39  * <p>
  40  * Periodically scan the log directory for log files that are older than the log file retention interval, and delete
  41  * them.  In a future release, This class will also be responsible for uploading events logs to the log server to
  42  * support the log query APIs.
  43  */
  44
  45 public class LogManager extends TimerTask {
  46
  47     private NodeConfigManager config;
  48     private Matcher isnodelog;
  49     private Matcher iseventlog;
  50     private Uploader worker;
  51     private String uploaddir;
  52     private String logdir;
  53
  54     private class Uploader extends Thread implements DeliveryQueueHelper {
  55
  56         public long getInitFailureTimer() {
  57             return (10000L);
  58         }
  59
  60         public long getWaitForFileProcessFailureTimer() {
  61             return (600000L);
  62         }
  63
  64         public double getFailureBackoff() {
  65             return (2.0);
  66         }
  67
  68         public long getMaxFailureTimer() {
  69             return (150000L);
  70         }
  71
  72         public long getExpirationTimer() {
  73             return (604800000L);
  74         }
  75
  76         public int getFairFileLimit() {
  77             return (10000);
  78         }
  79
  80         public long getFairTimeLimit() {
  81             return (86400000);
  82         }
  83
  84         public String getDestURL(DestInfo destinationInfo, String fileid) {
  85             return (config.getEventLogUrl());
  86         }
  87
  88         public void handleUnreachable(DestInfo destinationInfo) {
  89         }
  90
  91         public boolean handleRedirection(DestInfo destinationInfo, String location, String fileid) {
  92             return (false);
  93         }
  94
  95         public boolean isFollowRedirects() {
  96             return (false);
  97         }
  98
  99         public String getFeedId(String subid) {
 100             return (null);
 101         }
 102
 103         private DeliveryQueue dq;
 104
 105         public Uploader() {
 106             dq = new DeliveryQueue(this,
 107                 new DestInfo("LogUpload", uploaddir, null, null, null, config.getMyName(), config.getMyAuth(), false, false, false, false, false));
 108             setDaemon(true);
 109             setName("Log Uploader");
 110             start();
 111         }
 112
 113         private synchronized void snooze() {
 114             try {
 115                 wait(10000);
 116             } catch (Exception e) {
 117             }
 118         }
 119
 120         private synchronized void poke() {
 121             notify();
 122         }
 123
 124         public void run() {
 125             while (true) {
 126                 scan();
 127                 dq.run();
 128                 snooze();
 129             }
 130         }
 131
 132         private void scan() {
 133             long threshold = System.currentTimeMillis() - config.getLogRetention();
 134             File dir = new File(logdir);
 135             String[] fns = dir.list();
 136             Arrays.sort(fns);
 137             String lastqueued = "events-000000000000.log";
 138             String curlog = StatusLog.getCurLogFile();
 139             curlog = curlog.substring(curlog.lastIndexOf('/') + 1);
 140             try {
 141                 Writer w = new FileWriter(uploaddir + "/.meta");
 142                 w.write("POST\tlogdata\nContent-Type\ttext/plain\n");
 143                 w.close();
 144                 BufferedReader br = new BufferedReader(new FileReader(uploaddir + "/.lastqueued"));
 145                 lastqueued = br.readLine();
 146                 br.close();
 147             } catch (Exception e) {
 148             }
 149             for (String fn : fns) {
 150                 if (!isnodelog.reset(fn).matches()) {
 151                     if (!iseventlog.reset(fn).matches()) {
 152                         continue;
 153                     }
 154                     if (lastqueued.compareTo(fn) < 0 && curlog.compareTo(fn) > 0) {
 155                         lastqueued = fn;
 156                         try {
 157                             String pid = config.getPublishId();
 158                             Files.createLink(Paths.get(uploaddir + "/" + pid), Paths.get(logdir + "/" + fn));
 159                             Files.createLink(Paths.get(uploaddir + "/" + pid + ".M"), Paths.get(uploaddir + "/.meta"));
 160                         } catch (Exception e) {
 161                         }
 162                     }
 163                 }
 164                 File f = new File(dir, fn);
 165                 if (f.lastModified() < threshold) {
 166                     f.delete();
 167                 }
 168             }
 169             try (Writer w = new FileWriter(uploaddir + "/.lastqueued")) {
 170                 (new File(uploaddir + "/.meta")).delete();
 171                 w.write(lastqueued + "\n");
 172             } catch (Exception e) {
 173             }
 174         }
 175     }
 176
 177     /**
 178      * Construct a log manager
 179      * <p>
 180      * The log manager will check for expired log files every 5 minutes at 20 seconds after the 5 minute boundary.
 181      * (Actually, the interval is the event log rollover interval, which defaults to 5 minutes).
 182      */
 183     public LogManager(NodeConfigManager config) {
 184         this.config = config;
 185         try {
 186             isnodelog = Pattern.compile("node\\.log\\.\\d{8}").matcher("");
 187             iseventlog = Pattern.compile("events-\\d{12}\\.log").matcher("");
 188         } catch (Exception e) {
 189         }
 190         logdir = config.getLogDir();
 191         uploaddir = logdir + "/.spool";
 192         (new File(uploaddir)).mkdirs();
 193         long now = System.currentTimeMillis();
 194         long intvl = StatusLog.parseInterval(config.getEventLogInterval(), 30000);
 195         long when = now - now % intvl + intvl + 20000L;
 196         config.getTimer().scheduleAtFixedRate(this, when - now, intvl);
 197         worker = new Uploader();
 198     }
 199
 200     /**
 201      * Trigger check for expired log files and log files to upload
 202      */
 203     public void run() {
 204         worker.poke();
 205     }
 206 }