datarouter-prov/src/main/java/org/onap/dmaap/datarouter/provisioning/StatisticsServlet.java

   1 /*******************************************************************************\r
   2  * ============LICENSE_START==================================================\r
   3  * * org.onap.dmaap\r
   4  * * ===========================================================================\r
   5  * * Copyright © 2017 AT&T Intellectual Property. All rights reserved.\r
   6  * * ===========================================================================\r
   7  * * Licensed under the Apache License, Version 2.0 (the "License");\r
   8  * * you may not use this file except in compliance with the License.\r
   9  * * You may obtain a copy of the License at\r
  10  * *\r
  11  *  *      http://www.apache.org/licenses/LICENSE-2.0\r
  12  * *\r
  13  *  * Unless required by applicable law or agreed to in writing, software\r
  14  * * distributed under the License is distributed on an "AS IS" BASIS,\r
  15  * * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.\r
  16  * * See the License for the specific language governing permissions and\r
  17  * * limitations under the License.\r
  18  * * ============LICENSE_END====================================================\r
  19  * *\r
  20  * * ECOMP is a trademark and service mark of AT&T Intellectual Property.\r
  21  * *\r
  22  ******************************************************************************/\r
  23 \r
  24 package org.onap.dmaap.datarouter.provisioning;\r
  25 \r
  26 import java.io.IOException;\r
  27 import java.sql.Connection;\r
  28 import java.sql.PreparedStatement;\r
  29 import java.sql.ResultSet;\r
  30 import java.sql.SQLException;\r
  31 import java.text.ParseException;\r
  32 import java.text.SimpleDateFormat;\r
  33 import java.util.Calendar;\r
  34 import java.util.Date;\r
  35 import java.util.HashMap;\r
  36 import java.util.Map;\r
  37 import java.util.TimeZone;\r
  38 import javax.servlet.ServletOutputStream;\r
  39 import javax.servlet.http.HttpServletRequest;\r
  40 import javax.servlet.http.HttpServletResponse;\r
  41 import org.json.JSONException;\r
  42 import org.onap.dmaap.datarouter.provisioning.beans.EventLogRecord;\r
  43 import org.onap.dmaap.datarouter.provisioning.utils.DB;\r
  44 import org.onap.dmaap.datarouter.provisioning.utils.LOGJSONObject;\r
  45 \r
  46 import static org.onap.dmaap.datarouter.provisioning.utils.HttpServletUtils.sendResponseError;\r
  47 \r
  48 /**\r
  49  * This Servlet handles requests to the &lt;Statistics API&gt; and  &lt;Statistics consilidated\r
  50  * resultset&gt;,\r
  51  *\r
  52  * @author Manish Singh\r
  53  * @version $Id: StatisticsServlet.java,v 1.11 2016/08/10 17:27:02 Manish Exp $\r
  54  */\r
  55 @SuppressWarnings("serial")\r
  56 \r
  57 public class StatisticsServlet extends BaseServlet {\r
  58 \r
  59   private static final long TWENTYFOUR_HOURS = (24 * 60 * 60 * 1000L);\r
  60   private static final String FMT1 = "yyyy-MM-dd'T'HH:mm:ss'Z'";\r
  61   private static final String FMT2 = "yyyy-MM-dd'T'HH:mm:ss.SSS'Z'";\r
  62 \r
  63 \r
  64 \r
  65   /**\r
  66    * DELETE a logging URL -- not supported.\r
  67    */\r
  68   @Override\r
  69   public void doDelete(HttpServletRequest req, HttpServletResponse resp) {\r
  70     String message = "DELETE not allowed for the logURL.";\r
  71     EventLogRecord elr = new EventLogRecord(req);\r
  72     elr.setMessage(message);\r
  73     elr.setResult(HttpServletResponse.SC_METHOD_NOT_ALLOWED);\r
  74     eventlogger.error(elr.toString());\r
  75     sendResponseError(resp, HttpServletResponse.SC_METHOD_NOT_ALLOWED, message, eventlogger);\r
  76   }\r
  77 \r
  78   /**\r
  79    * GET a Statistics URL -- retrieve Statistics data for a feed or subscription. See the\r
  80    * <b>Statistics API</b> document for details on how this     method should be invoked.\r
  81    */\r
  82   @Override\r
  83   public void doGet(HttpServletRequest req, HttpServletResponse resp) {\r
  84 \r
  85     Map<String, String> map = buildMapFromRequest(req);\r
  86     if (map.get("err") != null) {\r
  87       sendResponseError(resp, HttpServletResponse.SC_BAD_REQUEST, "Invalid arguments: " + map.get("err"), eventlogger);\r
  88       return;\r
  89     }\r
  90     // check Accept: header??\r
  91 \r
  92     resp.setStatus(HttpServletResponse.SC_OK);\r
  93     resp.setContentType(LOGLIST_CONTENT_TYPE);\r
  94 \r
  95     String outputType = "json";\r
  96 \r
  97     if (req.getParameter(FEEDID) == null && req.getParameter(GROUPID) == null) {\r
  98       try {\r
  99         resp.getOutputStream().print("Invalid request, Feedid or Group ID is required.");\r
 100       } catch (IOException ioe) {\r
 101         eventlogger.error("PROV0171 StatisticsServlet.doGet: " + ioe.getMessage(), ioe);\r
 102       }\r
 103     }\r
 104 \r
 105     if (req.getParameter(FEEDID) != null && req.getParameter(GROUPID) == null) {\r
 106       map.put(FEEDIDS, req.getParameter(FEEDID).replace("|", ","));\r
 107     }\r
 108 \r
 109     if (req.getParameter(GROUPID) != null && req.getParameter(FEEDID) == null) {\r
 110       StringBuffer groupid1 = new StringBuffer();\r
 111 \r
 112       try {\r
 113         groupid1 = this.getFeedIdsByGroupId(Integer.parseInt(req.getParameter(GROUPID)));\r
 114         map.put(FEEDIDS, groupid1.toString());\r
 115       } catch (NumberFormatException | SQLException e) {\r
 116         eventlogger.error("PROV0172 StatisticsServlet.doGet: " + e.getMessage(), e);\r
 117       }\r
 118     }\r
 119     if (req.getParameter(GROUPID) != null && req.getParameter(FEEDID) != null) {\r
 120       StringBuffer groupid1 = new StringBuffer();\r
 121 \r
 122       try {\r
 123         groupid1 = this.getFeedIdsByGroupId(Integer.parseInt(req.getParameter(GROUPID)));\r
 124         groupid1.append(",");\r
 125         groupid1.append(req.getParameter(FEEDID).replace("|", ","));\r
 126         map.put(FEEDIDS, groupid1.toString());\r
 127       } catch (NumberFormatException | SQLException e) {\r
 128         eventlogger.error("PROV0173 StatisticsServlet.doGet: " + e.getMessage(), e);\r
 129       }\r
 130     }\r
 131 \r
 132     if (req.getParameter(SUBID) != null && req.getParameter(FEEDID) != null) {\r
 133       StringBuffer subidstr = new StringBuffer();\r
 134       subidstr.append("and e.DELIVERY_SUBID in(");\r
 135 \r
 136       subidstr.append(req.getParameter(SUBID).replace("|", ","));\r
 137       subidstr.append(")");\r
 138       map.put(SUBID, subidstr.toString());\r
 139     }\r
 140     if (req.getParameter(SUBID) != null && req.getParameter(GROUPID) != null) {\r
 141       StringBuffer subidstr = new StringBuffer();\r
 142       subidstr.append("and e.DELIVERY_SUBID in(");\r
 143 \r
 144       subidstr.append(req.getParameter(SUBID).replace("|", ","));\r
 145       subidstr.append(")");\r
 146       map.put(SUBID, subidstr.toString());\r
 147     }\r
 148     if (req.getParameter("type") != null) {\r
 149       map.put(EVENT_TYPE, req.getParameter("type").replace("|", ","));\r
 150     }\r
 151     if (req.getParameter(OUTPUT_TYPE) != null) {\r
 152       map.put(OUTPUT_TYPE, req.getParameter(OUTPUT_TYPE));\r
 153     }\r
 154     if (req.getParameter(START_TIME) != null) {\r
 155       map.put(START_TIME, req.getParameter(START_TIME));\r
 156     }\r
 157     if (req.getParameter(END_TIME) != null) {\r
 158       map.put(END_TIME, req.getParameter(END_TIME));\r
 159     }\r
 160 \r
 161     if (req.getParameter("time") != null) {\r
 162       map.put(START_TIME, req.getParameter("time"));\r
 163       map.put(END_TIME, null);\r
 164     }\r
 165 \r
 166     if (req.getParameter(OUTPUT_TYPE) != null) {\r
 167       outputType = req.getParameter(OUTPUT_TYPE);\r
 168     }\r
 169     try {\r
 170       this.getRecordsForSQL(map, outputType, resp.getOutputStream(), resp);\r
 171     } catch (IOException ioe) {\r
 172       eventlogger.error("PROV0174 StatisticsServlet.doGet: " +  ioe.getMessage(), ioe);\r
 173     }\r
 174 \r
 175   }\r
 176 \r
 177 \r
 178   /**\r
 179    * rsToJson - Converting RS to JSON object\r
 180    *\r
 181    * @param out ServletOutputStream, rs as ResultSet\r
 182    * @throws IOException, SQLException\r
 183    */\r
 184   public void rsToCSV(ResultSet rs, ServletOutputStream out) throws IOException, SQLException {\r
 185     String header = "FEEDNAME,FEEDID,FILES_PUBLISHED,PUBLISH_LENGTH, FILES_DELIVERED, DELIVERED_LENGTH, SUBSCRIBER_URL, SUBID, PUBLISH_TIME,DELIVERY_TIME, AverageDelay\n";\r
 186 \r
 187     out.write(header.getBytes());\r
 188 \r
 189     while (rs.next()) {\r
 190       StringBuffer line = new StringBuffer();\r
 191       line.append(rs.getString("FEEDNAME"));\r
 192       line.append(",");\r
 193       line.append(rs.getString("FEEDID"));\r
 194       line.append(",");\r
 195       line.append(rs.getString("FILES_PUBLISHED"));\r
 196       line.append(",");\r
 197       line.append(rs.getString("PUBLISH_LENGTH"));\r
 198       line.append(",");\r
 199       line.append(rs.getString("FILES_DELIVERED"));\r
 200       line.append(",");\r
 201       line.append(rs.getString("DELIVERED_LENGTH"));\r
 202       line.append(",");\r
 203       line.append(rs.getString("SUBSCRIBER_URL"));\r
 204       line.append(",");\r
 205       line.append(rs.getString("SUBID"));\r
 206       line.append(",");\r
 207       line.append(rs.getString("PUBLISH_TIME"));\r
 208       line.append(",");\r
 209       line.append(rs.getString("DELIVERY_TIME"));\r
 210       line.append(",");\r
 211       line.append(rs.getString("AverageDelay"));\r
 212       line.append(",");\r
 213 \r
 214       line.append("\n");\r
 215       out.write(line.toString().getBytes());\r
 216       out.flush();\r
 217     }\r
 218   }\r
 219 \r
 220   /**\r
 221    * rsToJson - Converting RS to JSON object\r
 222    *\r
 223    * @param out ServletOutputStream, rs as ResultSet\r
 224    * @throws IOException, SQLException\r
 225    */\r
 226   public void rsToJson(ResultSet rs, ServletOutputStream out) throws IOException, SQLException {\r
 227 \r
 228     String[] fields = {"FEEDNAME", "FEEDID", "FILES_PUBLISHED", "PUBLISH_LENGTH", "FILES_DELIVERED",\r
 229         "DELIVERED_LENGTH", "SUBSCRIBER_URL", "SUBID", "PUBLISH_TIME", "DELIVERY_TIME",\r
 230         "AverageDelay"};\r
 231     StringBuffer line = new StringBuffer();\r
 232 \r
 233     line.append("[\n");\r
 234 \r
 235     while (rs.next()) {\r
 236       LOGJSONObject j2 = new LOGJSONObject();\r
 237       for (String key : fields) {\r
 238         Object v = rs.getString(key);\r
 239         if (v != null) {\r
 240           j2.put(key.toLowerCase(), v);\r
 241         } else {\r
 242           j2.put(key.toLowerCase(), "");\r
 243         }\r
 244       }\r
 245       line = line.append(j2.toString());\r
 246       line.append(",\n");\r
 247     }\r
 248     line.append("]");\r
 249     out.print(line.toString());\r
 250   }\r
 251 \r
 252   /**\r
 253    * getFeedIdsByGroupId - Getting FEEDID's by GROUP ID.\r
 254    *\r
 255    * @throws SQLException Query SQLException.\r
 256    */\r
 257   public StringBuffer getFeedIdsByGroupId(int groupIds) throws SQLException {\r
 258 \r
 259     DB db = null;\r
 260     Connection conn = null;\r
 261     ResultSet resultSet = null;\r
 262     String sqlGoupid = null;\r
 263     StringBuffer feedIds = new StringBuffer();\r
 264 \r
 265     try {\r
 266       db = new DB();\r
 267       conn = db.getConnection();\r
 268       sqlGoupid = " SELECT FEEDID from FEEDS  WHERE GROUPID = ?";\r
 269       try(PreparedStatement prepareStatement = conn.prepareStatement(sqlGoupid)) {\r
 270           prepareStatement.setInt(1, groupIds);\r
 271           resultSet = prepareStatement.executeQuery();\r
 272           while (resultSet.next()) {\r
 273               feedIds.append(resultSet.getInt("FEEDID"));\r
 274               feedIds.append(",");\r
 275           }\r
 276           feedIds.deleteCharAt(feedIds.length() - 1);\r
 277           System.out.println("feedIds" + feedIds.toString());\r
 278       }\r
 279     } catch (SQLException e) {\r
 280       eventlogger.error("PROV0175 StatisticsServlet.getFeedIdsByGroupId: " + e.getMessage(), e);\r
 281     } finally {\r
 282       try {\r
 283         if (resultSet != null) {\r
 284           resultSet.close();\r
 285           resultSet = null;\r
 286         }\r
 287           if (conn != null) {\r
 288           db.release(conn);\r
 289         }\r
 290       } catch (Exception e) {\r
 291         eventlogger.error("PROV0176 StatisticsServlet.getFeedIdsByGroupId: " + e.getMessage(), e);\r
 292       }\r
 293     }\r
 294     return feedIds;\r
 295   }\r
 296 \r
 297 \r
 298   /**\r
 299    * queryGeneretor - Generating sql query\r
 300    *\r
 301    * @param map as key value pare of all user input fields\r
 302    */\r
 303   public String queryGeneretor(Map<String, String> map) throws ParseException {\r
 304 \r
 305     String sql = null;\r
 306     String eventType = null;\r
 307     String feedids = null;\r
 308     String start_time = null;\r
 309     String end_time = null;\r
 310     String subid = " ";\r
 311     if (map.get(EVENT_TYPE) != null) {\r
 312       eventType =  map.get(EVENT_TYPE);\r
 313     }\r
 314     if (map.get(FEEDIDS) != null) {\r
 315       feedids = map.get(FEEDIDS);\r
 316     }\r
 317     if (map.get(START_TIME) != null) {\r
 318       start_time = map.get(START_TIME);\r
 319     }\r
 320     if (map.get(END_TIME) != null) {\r
 321       end_time =  map.get(END_TIME);\r
 322     }\r
 323     if ("all".equalsIgnoreCase(eventType)) {\r
 324       eventType = "PUB','DEL, EXP, PBF";\r
 325     }\r
 326     if (map.get(SUBID) != null) {\r
 327       subid = map.get(SUBID);\r
 328     }\r
 329 \r
 330     eventlogger.info("Generating sql query to get Statistics resultset. ");\r
 331 \r
 332     if (end_time == null && start_time == null) {\r
 333 \r
 334       sql = "SELECT (SELECT NAME FROM FEEDS AS f WHERE f.FEEDID in(" + feedids\r
 335           + ") and f.FEEDID=e.FEEDID) AS FEEDNAME, e.FEEDID as FEEDID, (SELECT COUNT(*) FROM LOG_RECORDS AS c WHERE c.FEEDID in("\r
 336           + feedids\r
 337           + ") and c.FEEDID=e.FEEDID AND c.TYPE='PUB') AS FILES_PUBLISHED,(SELECT SUM(content_length) FROM LOG_RECORDS AS c WHERE c.FEEDID in("\r
 338           + feedids\r
 339           + ")  and c.FEEDID=e.FEEDID AND c.TYPE='PUB') AS PUBLISH_LENGTH, COUNT(e.EVENT_TIME) as FILES_DELIVERED,  sum(m.content_length) as DELIVERED_LENGTH,SUBSTRING_INDEX(e.REQURI,'/',+3) as SUBSCRIBER_URL, e.DELIVERY_SUBID as SUBID, e.EVENT_TIME AS PUBLISH_TIME, m.EVENT_TIME AS DELIVERY_TIME,  AVG(e.EVENT_TIME - m.EVENT_TIME)/1000 as AverageDelay FROM LOG_RECORDS e JOIN LOG_RECORDS m ON m.PUBLISH_ID = e.PUBLISH_ID AND e.FEEDID IN ("\r
 340           + feedids + ") " + subid + " AND m.STATUS=204 AND e.RESULT=204  group by SUBID";\r
 341 \r
 342       return sql;\r
 343     } else if (start_time != null && end_time == null) {\r
 344 \r
 345       long inputTimeInMilli = 60000 * Long.parseLong(start_time);\r
 346       Calendar cal = Calendar.getInstance(TimeZone.getTimeZone("GMT"));\r
 347       long currentTimeInMilli = cal.getTimeInMillis();\r
 348       long compareTime = currentTimeInMilli - inputTimeInMilli;\r
 349 \r
 350       sql = "SELECT (SELECT NAME FROM FEEDS AS f WHERE f.FEEDID in(" + feedids\r
 351           + ") and f.FEEDID=e.FEEDID) AS FEEDNAME, e.FEEDID as FEEDID, (SELECT COUNT(*) FROM LOG_RECORDS AS c WHERE c.FEEDID in("\r
 352           + feedids\r
 353           + ") and c.FEEDID=e.FEEDID AND c.TYPE='PUB') AS FILES_PUBLISHED,(SELECT SUM(content_length) FROM LOG_RECORDS AS c WHERE c.FEEDID in("\r
 354           + feedids\r
 355           + ")  and c.FEEDID=e.FEEDID AND c.TYPE='PUB') AS PUBLISH_LENGTH, COUNT(e.EVENT_TIME) as FILES_DELIVERED,  sum(m.content_length) as DELIVERED_LENGTH,SUBSTRING_INDEX(e.REQURI,'/',+3) as SUBSCRIBER_URL, e.DELIVERY_SUBID as SUBID, e.EVENT_TIME AS PUBLISH_TIME, m.EVENT_TIME AS DELIVERY_TIME,  AVG(e.EVENT_TIME - m.EVENT_TIME)/1000 as AverageDelay FROM LOG_RECORDS e JOIN LOG_RECORDS m ON m.PUBLISH_ID = e.PUBLISH_ID AND e.FEEDID IN ("\r
 356           + feedids + ") " + subid + " AND m.STATUS=204 AND e.RESULT=204 and e.event_time>="\r
 357           + compareTime + " group by SUBID";\r
 358 \r
 359       return sql;\r
 360 \r
 361     } else {\r
 362       SimpleDateFormat inFormat = new SimpleDateFormat("yyyy-MM-dd'T'HH:mm:ss");\r
 363       Date startDate = inFormat.parse(start_time);\r
 364       Date endDate = inFormat.parse(end_time);\r
 365 \r
 366       long startInMillis = startDate.getTime();\r
 367       long endInMillis = endDate.getTime();\r
 368 \r
 369       {\r
 370 \r
 371         sql = "SELECT (SELECT NAME FROM FEEDS AS f WHERE f.FEEDID in(" + feedids\r
 372             + ") and f.FEEDID=e.FEEDID) AS FEEDNAME, e.FEEDID as FEEDID, (SELECT COUNT(*) FROM LOG_RECORDS AS c WHERE c.FEEDID in("\r
 373             + feedids\r
 374             + ") and c.FEEDID=e.FEEDID AND c.TYPE='PUB') AS FILES_PUBLISHED,(SELECT SUM(content_length) FROM LOG_RECORDS AS c WHERE c.FEEDID in("\r
 375             + feedids\r
 376             + ")  and c.FEEDID=e.FEEDID AND c.TYPE='PUB') AS PUBLISH_LENGTH, COUNT(e.EVENT_TIME) as FILES_DELIVERED,  sum(m.content_length) as DELIVERED_LENGTH,SUBSTRING_INDEX(e.REQURI,'/',+3) as SUBSCRIBER_URL, e.DELIVERY_SUBID as SUBID, e.EVENT_TIME AS PUBLISH_TIME, m.EVENT_TIME AS DELIVERY_TIME,  AVG(e.EVENT_TIME - m.EVENT_TIME)/1000 as AverageDelay FROM LOG_RECORDS e JOIN LOG_RECORDS m ON m.PUBLISH_ID = e.PUBLISH_ID AND e.FEEDID IN ("\r
 377             + feedids + ") " + subid\r
 378             + " AND m.STATUS=204 AND e.RESULT=204 and e.event_time between " + startInMillis\r
 379             + " and " + endInMillis + " group by SUBID";\r
 380 \r
 381       }\r
 382       return sql;\r
 383     }\r
 384   }\r
 385 \r
 386 \r
 387   /**\r
 388    * PUT a Statistics URL -- not supported.\r
 389    */\r
 390   @Override\r
 391   public void doPut(HttpServletRequest req, HttpServletResponse resp) {\r
 392     String message = "PUT not allowed for the StatisticsURL.";\r
 393     EventLogRecord elr = new EventLogRecord(req);\r
 394     elr.setMessage(message);\r
 395     elr.setResult(HttpServletResponse.SC_METHOD_NOT_ALLOWED);\r
 396     eventlogger.error(elr.toString());\r
 397     sendResponseError(resp, HttpServletResponse.SC_METHOD_NOT_ALLOWED, message, eventlogger);\r
 398   }\r
 399 \r
 400   /**\r
 401    * POST a Statistics URL -- not supported.\r
 402    */\r
 403   @Override\r
 404   public void doPost(HttpServletRequest req, HttpServletResponse resp) {\r
 405     String message = "POST not allowed for the StatisticsURL.";\r
 406     EventLogRecord elr = new EventLogRecord(req);\r
 407     elr.setMessage(message);\r
 408     elr.setResult(HttpServletResponse.SC_METHOD_NOT_ALLOWED);\r
 409     eventlogger.error(elr.toString());\r
 410     sendResponseError(resp, HttpServletResponse.SC_METHOD_NOT_ALLOWED, message, eventlogger);\r
 411   }\r
 412 \r
 413   private Map<String, String> buildMapFromRequest(HttpServletRequest req) {\r
 414     Map<String, String> map = new HashMap<>();\r
 415     String s = req.getParameter("type");\r
 416     if (s != null) {\r
 417       if ("pub".equals(s) || "del".equals(s) || "exp".equals(s)) {\r
 418         map.put("type", s);\r
 419       } else {\r
 420         map.put("err", "bad type");\r
 421         return map;\r
 422       }\r
 423     } else {\r
 424       map.put("type", "all");\r
 425     }\r
 426     map.put("publishSQL", "");\r
 427     map.put("statusSQL", "");\r
 428     map.put("resultSQL", "");\r
 429     map.put(REASON_SQL, "");\r
 430 \r
 431     s = req.getParameter("publishId");\r
 432     if (s != null) {\r
 433       if (s.indexOf("'") >= 0) {\r
 434         map.put("err", "bad publishId");\r
 435         return map;\r
 436       }\r
 437       map.put("publishSQL", " AND PUBLISH_ID = '" + s + "'");\r
 438     }\r
 439 \r
 440     s = req.getParameter("statusCode");\r
 441     if (s != null) {\r
 442       String sql = null;\r
 443       if ("success".equals(s)) {\r
 444         sql = " AND STATUS >= 200 AND STATUS < 300";\r
 445       } else if ("redirect".equals(s)) {\r
 446         sql = " AND STATUS >= 300 AND STATUS < 400";\r
 447       } else if ("failure".equals(s)) {\r
 448         sql = " AND STATUS >= 400";\r
 449       } else {\r
 450         try {\r
 451           Integer n = Integer.parseInt(s);\r
 452           if ((n >= 100 && n < 600) || (n == -1)) {\r
 453             sql = " AND STATUS = " + n;\r
 454           }\r
 455         } catch (NumberFormatException e) {\r
 456         }\r
 457       }\r
 458       if (sql == null) {\r
 459         map.put("err", "bad statusCode");\r
 460         return map;\r
 461       }\r
 462       map.put("statusSQL", sql);\r
 463       map.put("resultSQL", sql.replaceAll("STATUS", "RESULT"));\r
 464     }\r
 465 \r
 466     s = req.getParameter("expiryReason");\r
 467     if (s != null) {\r
 468       map.put("type", "exp");\r
 469       if ("notRetryable".equals(s)) {\r
 470         map.put(REASON_SQL, " AND REASON = 'notRetryable'");\r
 471       } else if ("retriesExhausted".equals(s)) {\r
 472         map.put(REASON_SQL, " AND REASON = 'retriesExhausted'");\r
 473       } else if ("diskFull".equals(s)) {\r
 474         map.put(REASON_SQL, " AND REASON = 'diskFull'");\r
 475       } else if ("other".equals("other")) {\r
 476         map.put(REASON_SQL, " AND REASON = 'other'");\r
 477       } else {\r
 478         map.put("err", "bad expiryReason");\r
 479         return map;\r
 480       }\r
 481     }\r
 482 \r
 483     long stime = getTimeFromParam(req.getParameter("start"));\r
 484     if (stime < 0) {\r
 485       map.put("err", "bad start");\r
 486       return map;\r
 487     }\r
 488     long etime = getTimeFromParam(req.getParameter("end"));\r
 489     if (etime < 0) {\r
 490       map.put("err", "bad end");\r
 491       return map;\r
 492     }\r
 493     if (stime == 0 && etime == 0) {\r
 494       etime = System.currentTimeMillis();\r
 495       stime = etime - TWENTYFOUR_HOURS;\r
 496     } else if (stime == 0) {\r
 497       stime = etime - TWENTYFOUR_HOURS;\r
 498     } else if (etime == 0) {\r
 499       etime = stime + TWENTYFOUR_HOURS;\r
 500     }\r
 501     map.put("timeSQL", String.format(" AND EVENT_TIME >= %d AND EVENT_TIME <= %d", stime, etime));\r
 502     return map;\r
 503   }\r
 504 \r
 505   private long getTimeFromParam(final String s) {\r
 506     if (s == null) {\r
 507       return 0;\r
 508     }\r
 509     try {\r
 510       // First, look for an RFC 3339 date\r
 511       String fmt = (s.indexOf('.') > 0) ? FMT2 : FMT1;\r
 512       SimpleDateFormat sdf = new SimpleDateFormat(fmt);\r
 513       Date d = sdf.parse(s);\r
 514       return d.getTime();\r
 515     } catch (ParseException e) {\r
 516     }\r
 517     try {\r
 518       // Also allow a long (in ms); useful for testing\r
 519       return Long.parseLong(s);\r
 520     } catch (NumberFormatException e) {\r
 521     }\r
 522     intlogger.info("Error parsing time=" + s);\r
 523     return -1;\r
 524   }\r
 525 \r
 526   private void getRecordsForSQL(Map<String, String> map, String outputType, ServletOutputStream out, HttpServletResponse resp) {\r
 527     try {\r
 528 \r
 529       String filterQuery = this.queryGeneretor(map);\r
 530       eventlogger.debug("SQL Query for Statistics resultset. " + filterQuery);\r
 531       intlogger.debug(filterQuery);\r
 532       long start = System.currentTimeMillis();\r
 533       DB db = new DB();\r
 534       try (Connection conn = db.getConnection()) {\r
 535         try (ResultSet rs = conn.prepareStatement(filterQuery).executeQuery()) {\r
 536           if ("csv".equals(outputType)) {\r
 537             resp.setContentType("application/octet-stream");\r
 538             Date date = new Date();\r
 539             SimpleDateFormat dateFormat = new SimpleDateFormat("dd-MM-YYYY HH:mm:ss");\r
 540             resp.setHeader("Content-Disposition",\r
 541                     "attachment; filename=\"result:" + dateFormat.format(date) + ".csv\"");\r
 542             eventlogger.info("Generating CSV file from Statistics resultset");\r
 543 \r
 544             rsToCSV(rs, out);\r
 545           } else {\r
 546             eventlogger.info("Generating JSON for Statistics resultset");\r
 547             this.rsToJson(rs, out);\r
 548           }\r
 549         }\r
 550       } catch (SQLException e) {\r
 551         eventlogger.error("SQLException:" + e);\r
 552       }\r
 553       intlogger.debug("Time: " + (System.currentTimeMillis() - start) + " ms");\r
 554     } catch (IOException e) {\r
 555       eventlogger.error("IOException - Generating JSON/CSV:" + e);\r
 556     } catch (JSONException e) {\r
 557       eventlogger.error("JSONException - executing SQL query:" + e);\r
 558     } catch (ParseException e) {\r
 559       eventlogger.error("ParseException - executing SQL query:" + e);\r
 560     }\r
 561   }\r
 562 }\r
 563 \r