Use ByteStream instead of FileStream
[ccsdk/sli/adaptors.git] / saltstack-adapter / saltstack-adapter-provider / src / main / java / org / onap / ccsdk / sli / adaptors / saltstack / impl / SaltstackAdapterImpl.java
index 84e5d4f..a48b67a 100644 (file)
@@ -1,10 +1,10 @@
 /*-
  * ============LICENSE_START=======================================================
- * ONAP : APPC
+ * ONAP : CCSDK
  * ================================================================================
- * Copyright (C) 2017 AT&T Intellectual Property. All rights reserved.
+ * Copyright (C) 2018 Samsung Electronics. All rights reserved.
  * ================================================================================
- * Copyright (C) 2017 Amdocs
+ *
  * =============================================================================
  * Licensed under the Apache License, Version 2.0 (the "License");
  * you may not use this file except in compliance with the License.
@@ -18,7 +18,7 @@
  * See the License for the specific language governing permissions and
  * limitations under the License.
  *
- * ECOMP is a trademark and service mark of AT&T Intellectual Property.
+ *
  * ============LICENSE_END=========================================================
  */
 
@@ -26,6 +26,8 @@ package org.onap.ccsdk.sli.adaptors.saltstack.impl;
 
 import com.att.eelf.configuration.EELFLogger;
 import com.att.eelf.configuration.EELFManager;
+import org.json.JSONException;
+import org.json.JSONObject;
 import org.onap.ccsdk.sli.adaptors.saltstack.SaltstackAdapter;
 import org.onap.ccsdk.sli.adaptors.saltstack.SaltstackAdapterPropertiesProvider;
 import org.onap.ccsdk.sli.adaptors.saltstack.model.SaltstackMessageParser;
@@ -49,11 +51,6 @@ import java.util.Properties;
  */
 public class SaltstackAdapterImpl implements SaltstackAdapter {
 
-    /**
-     * The constant used to define the service name in the mapped diagnostic context
-     */
-    @SuppressWarnings("nls")
-    public static final String MDC_SERVICE = "service";
     /**
      * The constant for the status code for a failed outcome
      */
@@ -66,28 +63,28 @@ public class SaltstackAdapterImpl implements SaltstackAdapter {
     public static final String OUTCOME_SUCCESS = "success";
     public static final String CONNECTION_RETRY_DELAY = "retryDelay";
     public static final String CONNECTION_RETRY_COUNT = "retryCount";
-    private static final long EXEC_TIMEOUT = 120000;
+    private static final String APPC_EXCEPTION_CAUGHT = "APPCException caught";
     /**
      * Adapter Name
      */
     private static final String ADAPTER_NAME = "Saltstack Adapter";
-    private static final String APPC_EXCEPTION_CAUGHT = "APPCException caught";
     private static final String RESULT_CODE_ATTRIBUTE_NAME = "org.onap.appc.adapter.saltstack.result.code";
     private static final String MESSAGE_ATTRIBUTE_NAME = "org.onap.appc.adapter.saltstack.message";
-    private static final String RESULTS_ATTRIBUTE_NAME = "org.onap.appc.adapter.saltstack.results";
     private static final String ID_ATTRIBUTE_NAME = "org.onap.appc.adapter.saltstack.Id";
-    private static final String LOG_ATTRIBUTE_NAME = "org.onap.appc.adapter.saltstack.log";
     private static final String CLIENT_TYPE_PROPERTY_NAME = "org.onap.appc.adapter.saltstack.clientType";
     private static final String SS_SERVER_HOSTNAME = "org.onap.appc.adapter.saltstack.host";
     private static final String SS_SERVER_PORT = "org.onap.appc.adapter.saltstack.port";
     private static final String SS_SERVER_USERNAME = "org.onap.appc.adapter.saltstack.userName";
-    private static final String SS_SERVER_PASSWORD = "org.onap.appc.adapter.saltstack.userPasswd";
+    private static final String SS_SERVER_PASSWD = "org.onap.appc.adapter.saltstack.userPasswd";
     private static final String SS_SERVER_SSH_KEY = "org.onap.appc.adapter.saltstack.sshKey";
+
+    private static final String COMMAND_IN_JSON_OUT = " --out=json --static ";
+    private static final String COMMAND_CHANGE_DEFAULT_DIR = " cd /srv/salt/ ;";
+
     /**
      * The logger to be used
      */
     private static final EELFLogger logger = EELFManager.getInstance().getLogger(SaltstackAdapterImpl.class);
-    private long timeout = EXEC_TIMEOUT;
     /**
      * Connection object
      **/
@@ -111,11 +108,11 @@ public class SaltstackAdapterImpl implements SaltstackAdapter {
     /**
      * This default constructor is used as a work around because the activator wasn't getting called
      */
-    public SaltstackAdapterImpl() throws SvcLogicException{
+    public SaltstackAdapterImpl() throws SvcLogicException {
         initialize(new SaltstackAdapterPropertiesProviderImpl());
     }
 
-    public SaltstackAdapterImpl(SaltstackAdapterPropertiesProvider propProvider) throws SvcLogicException{
+    public SaltstackAdapterImpl(SaltstackAdapterPropertiesProvider propProvider) throws SvcLogicException {
         initialize(propProvider);
     }
 
@@ -139,18 +136,13 @@ public class SaltstackAdapterImpl implements SaltstackAdapter {
         return ADAPTER_NAME;
     }
 
-    @Override
-    public void setExecTimeout(long timeout) {
-        this.timeout = timeout;
-    }
-
     /**
      * Method posts info to Context memory in case of an error and throws a
      * SvcLogicException causing SLI to register this as a failure
      */
     @SuppressWarnings("static-method")
     private void doFailure(SvcLogicContext svcLogic, int code, String message) throws SvcLogicException {
-
+        logger.error(APPC_EXCEPTION_CAUGHT, message);
         svcLogic.setStatus(OUTCOME_FAILURE);
         svcLogic.setAttribute(RESULT_CODE_ATTRIBUTE_NAME, Integer.toString(code));
         svcLogic.setAttribute(MESSAGE_ATTRIBUTE_NAME, message);
@@ -160,7 +152,7 @@ public class SaltstackAdapterImpl implements SaltstackAdapter {
     /**
      * initialize the Saltstack adapter based on default and over-ride configuration data
      */
-    private void initialize(SaltstackAdapterPropertiesProvider propProvider) throws SvcLogicException{
+    private void initialize(SaltstackAdapterPropertiesProvider propProvider) throws SvcLogicException {
 
 
         Properties props = propProvider.getProperties();
@@ -184,15 +176,15 @@ public class SaltstackAdapterImpl implements SaltstackAdapter {
                 logger.info("Creating ssh client connection");
                 // set path to keystore file
                 String sshHost = props.getProperty(SS_SERVER_HOSTNAME);
-                String sshPort = props.getProperty(SS_SERVER_PORT);
+                String sshPort = reqServerPort(props);
                 String sshUserName = props.getProperty(SS_SERVER_USERNAME);
-                String sshPassword = props.getProperty(SS_SERVER_PASSWORD);
+                String sshPassword = props.getProperty(SS_SERVER_PASSWD);
                 sshClient = new ConnectionBuilder(sshHost, sshPort, sshUserName, sshPassword);
             } else if ("SSH_CERT".equalsIgnoreCase(clientType)) {
                 // set path to keystore file
                 String sshKey = props.getProperty(SS_SERVER_SSH_KEY);
                 String sshHost = props.getProperty(SS_SERVER_HOSTNAME);
-                String sshPort = props.getProperty(SS_SERVER_PORT);
+                String sshPort = reqServerPort(props);
                 logger.info("Creating ssh client with ssh KEY from " + sshKey);
                 sshClient = new ConnectionBuilder(sshHost, sshPort, sshKey);
             } else if ("BOTH".equalsIgnoreCase(clientType)) {
@@ -200,13 +192,10 @@ public class SaltstackAdapterImpl implements SaltstackAdapter {
                 String sshKey = props.getProperty(SS_SERVER_SSH_KEY);
                 String sshHost = props.getProperty(SS_SERVER_HOSTNAME);
                 String sshUserName = props.getProperty(SS_SERVER_USERNAME);
-                String sshPassword = props.getProperty(SS_SERVER_PASSWORD);
-                String sshPort = props.getProperty(SS_SERVER_PORT);
+                String sshPassword = props.getProperty(SS_SERVER_PASSWD);
+                String sshPort = reqServerPort(props);
                 logger.info("Creating ssh client with ssh KEY from " + sshKey);
                 sshClient = new ConnectionBuilder(sshHost, sshPort, sshUserName, sshPassword, sshKey);
-            } else if ("NONE".equalsIgnoreCase(clientType)) {
-                logger.info("No saltstack-adapter.properties defined so reading from DG props");
-                sshClient = null;
             } else {
                 logger.info("No saltstack-adapter.properties defined so reading from DG props");
                 sshClient = null;
@@ -215,13 +204,20 @@ public class SaltstackAdapterImpl implements SaltstackAdapter {
             logger.error("Error Initializing Saltstack Adapter due to Unknown Exception", e);
             throw new SvcLogicException("Saltstack Adapter Property file parsing Error = port in property file has to be an integer.");
         } catch (Exception e) {
-            logger.error("Error Initializing Saltstack Adapter due to Unknown Exception", e);
+            logger.error("Error Initializing Saltstack Adapter due to Exception", e);
             throw new SvcLogicException("Saltstack Adapter Property file parsing Error = " + e.getMessage());
         }
-
         logger.info("Initialized Saltstack Adapter");
     }
 
+    private String reqServerPort(Properties props) {
+        // use default port if null
+        if (props.getProperty(SS_SERVER_PORT) == null) {
+            return "22";
+        }
+        return props.getProperty(SS_SERVER_PORT);
+    }
+
     private void setSSHClient(Map<String, String> params) throws SvcLogicException {
         if (sshClient == null) {
             logger.info("saltstack-adapter.properties not defined so reading saltstack host and " +
@@ -237,9 +233,35 @@ public class SaltstackAdapterImpl implements SaltstackAdapter {
         }
     }
 
+    private String parseEnvParam(JSONObject envParams) {
+        StringBuilder envParamBuilder = new StringBuilder();
+        if (envParams != null) {
+            for (Object key : envParams.keySet()) {
+                if (envParamBuilder.length() > 0) {
+                    envParamBuilder.append(", ");
+                }
+                envParamBuilder.append(key + "=" + envParams.get((String) key));
+                logger.info("EnvParameters : " + envParamBuilder);
+            }
+        }
+        return envParamBuilder.toString();
+    }
+
+    private String parseFileParam(JSONObject fileParams) {
+        StringBuilder fileParamBuilder = new StringBuilder();
+        if (fileParams != null) {
+            for (Object key : fileParams.keySet()) {
+                fileParamBuilder.append("echo -e \"" + fileParams.get((String) key) + "\" > /srv/salt/" + key).append("; ");
+                logger.info("FileParameters : " + fileParamBuilder);
+            }
+        }
+        return fileParamBuilder.toString();
+    }
+
     private String putToCommands(SvcLogicContext ctx, String slsFileName,
-                                    String applyTo) throws SvcLogicException {
-        String constructedCommand = "";
+                                 String applyTo, JSONObject envParams, JSONObject fileParams) throws SvcLogicException {
+
+        StringBuilder constructedCommand = new StringBuilder();
         try {
             File file = new File(slsFileName);
             String slsFile = file.getName();
@@ -254,35 +276,45 @@ public class SaltstackAdapterImpl implements SaltstackAdapter {
             String str = new String(data, "UTF-8");
             in.close();
             String slsWithoutExtn = stripExtension(slsFile);
-            constructedCommand = "echo -e \""+str+"\" > /srv/salt/"+slsFile+"; cd /srv/salt/; salt '"+
-                    applyTo+"' state.apply "+slsWithoutExtn+" --out=json --static";
+            constructedCommand.append(parseFileParam(fileParams)).append("echo -e \"").append(str).append("\" > /srv/salt/").
+                    append(slsFile).append("; ").append(COMMAND_CHANGE_DEFAULT_DIR).append(" salt '").
+                    append(applyTo).append("' state.apply ").append(slsWithoutExtn).append(" ").append(parseEnvParam(envParams)).append(COMMAND_IN_JSON_OUT);
+
+            logger.info("Command to be executed on server : " + constructedCommand.toString());
+
         } catch (FileNotFoundException e) {
             doFailure(ctx, SaltstackResultCodes.IO_EXCEPTION.getValue(), "Input SLS file " +
-                    "not found in path : " + slsFileName+". "+ e.getMessage());
+                    "not found in path : " + slsFileName + ". " + e.getMessage());
         } catch (IOException e) {
             doFailure(ctx, SaltstackResultCodes.IO_EXCEPTION.getValue(), "Input SLS file " +
-                    "error in path : " + slsFileName +". "+ e.getMessage());
+                    "error in path : " + slsFileName + ". " + e.getMessage());
         } catch (StringIndexOutOfBoundsException e) {
             doFailure(ctx, SaltstackResultCodes.IO_EXCEPTION.getValue(), "Input file " +
                     "is not of type .sls");
         }
-        logger.info("Command to be executed on server : " + constructedCommand);
-        return constructedCommand;
+        return constructedCommand.toString();
     }
 
-    private String stripExtension (String str) {
-        if (str == null) return null;
+    private String stripExtension(String str) {
+        if (str == null) {
+            return null;
+        }
         int pos = str.lastIndexOf(".");
-        if (pos == -1) return str;
+        if (pos == -1) {
+            return str;
+        }
         return str.substring(0, pos);
     }
 
-    private String putToCommands(String slsName, String applyTo) {
-        String
-            constructedCommand = "cd /srv/salt/; salt '"+applyTo+"' state.apply "+slsName+" --out=json --static";
+    private String putToCommands(String slsName, String applyTo, JSONObject envParams, JSONObject fileParams) {
+
+        StringBuilder constructedCommand = new StringBuilder();
+
+        constructedCommand.append(parseFileParam(fileParams)).append(COMMAND_CHANGE_DEFAULT_DIR).append(" salt '").append(applyTo)
+                .append("' state.apply ").append(slsName).append(" ").append(parseEnvParam(envParams)).append(COMMAND_IN_JSON_OUT);
 
-        logger.info("Command to be executed on server : " + constructedCommand);
-        return constructedCommand;
+        logger.info("Command to be executed on server : " + constructedCommand.toString());
+        return constructedCommand.toString();
     }
 
     private void checkResponseStatus(SaltstackResult testResult, SvcLogicContext ctx, String reqID, boolean slsExec)
@@ -292,16 +324,10 @@ public class SaltstackAdapterImpl implements SaltstackAdapter {
         if (testResult.getStatusCode() != SaltstackResultCodes.FINAL_SUCCESS.getValue()) {
             ctx.setAttribute(ID_ATTRIBUTE_NAME, reqID);
             doFailure(ctx, testResult.getStatusCode(), "Request for execution of command failed. Reason = " + testResult.getStatusMessage());
-            return;
         } else {
             logger.info(String.format("Execution of request : successful."));
-            if (slsExec) {
-                ctx.setAttribute(RESULT_CODE_ATTRIBUTE_NAME, Integer.toString(testResult.getStatusCode()));
-                ctx.setAttribute(MESSAGE_ATTRIBUTE_NAME, "success");
-            } else {
-                ctx.setAttribute(RESULT_CODE_ATTRIBUTE_NAME, Integer.toString(SaltstackResultCodes.CHECK_CTX_FOR_CMD_SUCCESS.getValue()));
-                ctx.setAttribute(MESSAGE_ATTRIBUTE_NAME, "check context for execution status");
-            }
+            ctx.setAttribute(RESULT_CODE_ATTRIBUTE_NAME, Integer.toString(testResult.getStatusCode()));
+            ctx.setAttribute(MESSAGE_ATTRIBUTE_NAME, OUTCOME_SUCCESS);
             ctx.setAttribute(ID_ATTRIBUTE_NAME, reqID);
         }
     }
@@ -317,12 +343,18 @@ public class SaltstackAdapterImpl implements SaltstackAdapter {
         boolean slsExec;
         SaltstackResult testResult;
         setSSHClient(params);
-        reqID = messageProcessor.reqId(params);
-        String commandToExecute = messageProcessor.reqCmd(params);
-        slsExec = messageProcessor.reqIsSLSExec(params);
-        testResult = execCommand(params, commandToExecute);
-        testResult = messageProcessor.parseResponse(ctx, reqID, testResult, slsExec);
-        checkResponseStatus(testResult, ctx, reqID, slsExec);
+        try {
+            reqID = messageProcessor.reqId(params);
+            String commandToExecute = messageProcessor.reqCmd(params);
+            slsExec = messageProcessor.reqIsSLSExec(params);
+            long execTimeout = messageProcessor.reqExecTimeout(params);
+            testResult = execCommand(ctx, params, commandToExecute, execTimeout);
+            testResult = messageProcessor.parseResponse(ctx, reqID, testResult, slsExec);
+            checkResponseStatus(testResult, ctx, reqID, slsExec);
+        } catch (IOException e) {
+            doFailure(ctx, SaltstackResultCodes.IO_EXCEPTION.getValue(),
+                      "IOException in file stream : " + e.getMessage());
+        }
     }
 
     /**
@@ -338,13 +370,24 @@ public class SaltstackAdapterImpl implements SaltstackAdapter {
         String reqID;
         SaltstackResult testResult;
         setSSHClient(params);
-        reqID = messageProcessor.reqId(params);
-        String slsName = messageProcessor.reqSlsName(params);
-        String applyTo = messageProcessor.reqApplyToDevices(params);
-        String commandToExecute = putToCommands(slsName, applyTo);
-        testResult = execCommand(params, commandToExecute);
-        testResult = messageProcessor.parseResponse(ctx, reqID, testResult, true);
-        checkResponseStatus(testResult, ctx, reqID, true);
+        try {
+            reqID = messageProcessor.reqId(params);
+            String slsName = messageProcessor.reqSlsName(params);
+            String applyTo = messageProcessor.reqApplyToDevices(params);
+            long execTimeout = messageProcessor.reqExecTimeout(params);
+            JSONObject envParams = messageProcessor.reqEnvParameters(params);
+            JSONObject fileParams = messageProcessor.reqFileParameters(params);
+
+            String commandToExecute = putToCommands(slsName, applyTo, envParams, fileParams);
+            testResult = execCommand(ctx, params, commandToExecute, execTimeout);
+            testResult = messageProcessor.parseResponse(ctx, reqID, testResult, true);
+            checkResponseStatus(testResult, ctx, reqID, true);
+        } catch (IOException e) {
+            doFailure(ctx, SaltstackResultCodes.IO_EXCEPTION.getValue(),
+                      "IOException in file stream : " + e.getMessage());
+        } catch (JSONException e) {
+            doFailure(ctx, SaltstackResultCodes.INVALID_COMMAND.getValue(), e.getMessage());
+        }
     }
 
     /**
@@ -360,44 +403,48 @@ public class SaltstackAdapterImpl implements SaltstackAdapter {
         String reqID;
         SaltstackResult testResult;
         setSSHClient(params);
-        reqID = messageProcessor.reqId(params);
-        String slsFile = messageProcessor.reqSlsFile(params);
-        String applyTo = messageProcessor.reqApplyToDevices(params);
-        String commandToExecute = putToCommands(ctx, slsFile, applyTo);
-        testResult = execCommand(params, commandToExecute);
-        testResult = messageProcessor.parseResponse(ctx, reqID, testResult, true);
-        checkResponseStatus(testResult, ctx, reqID, true);
+        try {
+            reqID = messageProcessor.reqId(params);
+            String slsFile = messageProcessor.reqSlsFile(params);
+            String applyTo = messageProcessor.reqApplyToDevices(params);
+            long execTimeout = messageProcessor.reqExecTimeout(params);
+            JSONObject envParams = messageProcessor.reqEnvParameters(params);
+            JSONObject fileParams = messageProcessor.reqFileParameters(params);
+
+            String commandToExecute = putToCommands(ctx, slsFile, applyTo, envParams, fileParams);
+            testResult = execCommand(ctx, params, commandToExecute, execTimeout);
+            testResult = messageProcessor.parseResponse(ctx, reqID, testResult, true);
+            checkResponseStatus(testResult, ctx, reqID, true);
+        } catch (IOException e) {
+            doFailure(ctx, SaltstackResultCodes.IO_EXCEPTION.getValue(),
+                      "IOException in file stream : " + e.getMessage());
+        }
     }
 
-    /**
-     * Public method to get logs from saltState execution for a specific request Posts the following back
-     * to Svc context memory
-     * <p>
-     * It blocks till the Saltstack Server responds or the session times out very similar to
-     * reqExecResult logs are returned in the DG context variable org.onap.appc.adapter.saltstack.log
-     */
-    @Override
-    public void reqExecLog(Map<String, String> params, SvcLogicContext ctx) throws SvcLogicException {
-        //TODO: to implement
-
-    }
+    public SaltstackResult execCommand(SvcLogicContext ctx, Map<String, String> params, String commandToExecute,
+                                       long execTimeout)
+            throws SvcLogicException {
 
-    public SaltstackResult execCommand(Map<String, String> params, String commandToExecute) {
-        SaltstackResult testResult;
-        if (params.get(CONNECTION_RETRY_DELAY) != null && params.get(CONNECTION_RETRY_COUNT) != null) {
-            int retryDelay = Integer.parseInt(params.get(CONNECTION_RETRY_DELAY));
-            int retryCount = Integer.parseInt(params.get(CONNECTION_RETRY_COUNT));
-            if (!testMode) {
-                testResult = sshClient.connectNExecute(commandToExecute, retryCount, retryDelay);
-            } else {
-                testResult = testServer.MockReqExec(params);
-            }
-        } else {
-            if (!testMode) {
-                testResult = sshClient.connectNExecute(commandToExecute);
+        SaltstackResult testResult = new SaltstackResult();
+        try {
+            if (params.get(CONNECTION_RETRY_DELAY) != null && params.get(CONNECTION_RETRY_COUNT) != null) {
+                int retryDelay = Integer.parseInt(params.get(CONNECTION_RETRY_DELAY));
+                int retryCount = Integer.parseInt(params.get(CONNECTION_RETRY_COUNT));
+                if (!testMode) {
+                    testResult = sshClient.connectNExecute(commandToExecute, retryCount, retryDelay, execTimeout);
+                } else {
+                    testResult = testServer.mockReqExec(params);
+                }
             } else {
-                testResult = testServer.MockReqExec(params);
+                if (!testMode) {
+                    testResult = sshClient.connectNExecute(commandToExecute, execTimeout);
+                } else {
+                    testResult = testServer.mockReqExec(params);
+                }
             }
+        } catch (IOException e) {
+            doFailure(ctx, SaltstackResultCodes.IO_EXCEPTION.getValue(),
+                      "IOException in file stream : " + e.getMessage());
         }
         return testResult;
     }