src/main/java/org/onap/aai/datarouter/policy/AbstractSpikeEntityEventProcessor.java

   1 /**
   2  * ============LICENSE_START=======================================================
   3  * org.onap.aai
   4  * ================================================================================
   5  * Copyright © 2017-2018 AT&T Intellectual Property. All rights reserved.
   6  * Copyright © 2017-2018 Amdocs
   7  * ================================================================================
   8  * Licensed under the Apache License, Version 2.0 (the "License");
   9  * you may not use this file except in compliance with the License.
  10  * You may obtain a copy of the License at
  11  *
  12  *       http://www.apache.org/licenses/LICENSE-2.0
  13  *
  14  * Unless required by applicable law or agreed to in writing, software
  15  * distributed under the License is distributed on an "AS IS" BASIS,
  16  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  17  * See the License for the specific language governing permissions and
  18  * limitations under the License.
  19  * ============LICENSE_END=========================================================
  20  */
  21 package org.onap.aai.datarouter.policy;
  22
  23 import java.io.FileNotFoundException;
  24 import java.io.IOException;
  25 import java.security.NoSuchAlgorithmException;
  26 import java.util.ArrayList;
  27 import java.util.Arrays;
  28 import java.util.Collection;
  29 import java.util.HashMap;
  30 import java.util.Iterator;
  31 import java.util.List;
  32 import java.util.Map;
  33
  34 import org.apache.camel.Exchange;
  35 import org.apache.camel.Processor;
  36 import org.apache.http.conn.routing.RouteInfo.LayerType;
  37 import org.eclipse.persistence.dynamic.DynamicType;
  38 import org.eclipse.persistence.internal.helper.DatabaseField;
  39 import org.eclipse.persistence.jaxb.dynamic.DynamicJAXBContext;
  40 import org.eclipse.persistence.oxm.MediaType;
  41 import org.json.JSONException;
  42 import org.json.JSONObject;
  43 import org.onap.aai.cl.api.Logger;
  44 import org.onap.aai.cl.eelf.LoggerFactory;
  45 import org.onap.aai.cl.mdc.MdcContext;
  46 import org.onap.aai.datarouter.schema.OxmModelLoader;
  47 import org.onap.aai.datarouter.entity.DocumentStoreDataEntity;
  48 import org.onap.aai.datarouter.entity.OxmEntityDescriptor;
  49 import org.onap.aai.datarouter.entity.SpikeEventEntity;
  50 import org.onap.aai.datarouter.entity.SpikeEventMeta;
  51 import org.onap.aai.datarouter.entity.SpikeEventVertex;
  52 import org.onap.aai.datarouter.logging.EntityEventPolicyMsgs;
  53 import org.onap.aai.datarouter.util.EntityOxmReferenceHelper;
  54 import org.onap.aai.datarouter.util.ExternalOxmModelProcessor;
  55 import org.onap.aai.datarouter.util.RouterServiceUtil;
  56 import org.onap.aai.datarouter.util.SearchServiceAgent;
  57 import org.onap.aai.datarouter.util.Version;
  58 import org.onap.aai.datarouter.util.VersionedOxmEntities;
  59 import org.onap.aai.restclient.client.Headers;
  60 import org.onap.aai.restclient.client.OperationResult;
  61 import org.onap.aai.restclient.rest.HttpUtil;
  62 import org.slf4j.MDC;
  63
  64 import com.fasterxml.jackson.core.JsonProcessingException;
  65 import com.fasterxml.jackson.databind.JsonNode;
  66 import com.fasterxml.jackson.databind.ObjectMapper;
  67
  68 public abstract class AbstractSpikeEntityEventProcessor implements Processor {
  69
  70   protected static final String additionalInfo = "Response of SpikeEntityEventPolicy";
  71   private Collection<ExternalOxmModelProcessor> externalOxmModelProcessors;
  72
  73   protected final String PROCESS_SPIKE_EVENT = "Process Spike Event";
  74
  75   protected static final String UPDATE_NOTIFICATION = "update-notification";
  76   protected static final String SPIKE = "SPIKE";
  77
  78   protected static final String HEADER_KEY = "header";
  79   protected static final String EVENT_TYPE_KEY = "event-type";
  80   protected static final String SOURCE_NAME_KEY = "source-name";
  81   protected static final String BODY_KEY = "body";
  82   protected static final String OPERATION_KEY = "operation";
  83
  84   protected static final String VERTEX_KEY = "vertex";
  85   protected static final String VERTEX_PROPERTIES_KEY = "properties";
  86   protected static final String VERTEX_KEY_KEY = "key";
  87   protected static final String VERTEX_TYPE_KEY = "type";
  88   protected static final String VERTEX_SCHEMA_VERSION_KEY = "schema-version";
  89
  90   protected static final String CREATE = "create";
  91   protected static final String DELETE = "delete";
  92   protected static final String UPDATE = "update";
  93
  94   protected enum ResponseType {
  95     SUCCESS, PARTIAL_SUCCESS, FAILURE;
  96   }
  97
  98   protected final List<String> SUPPORTED_ACTIONS = Arrays.asList(CREATE, UPDATE, DELETE);
  99
 100   protected Map<String, DynamicJAXBContext> oxmVersionContextMap = new HashMap<>();
 101   protected String oxmVersion = null;
 102
 103   /** Agent for communicating with the Search Service. */
 104   protected SearchServiceAgent searchAgent = null;
 105   protected String searchIndexName;
 106   protected String searchIndexSchema;
 107   protected String createIndexUrl;
 108
 109   protected Logger logger;
 110   protected Logger metricsLogger;
 111   protected ObjectMapper mapper;
 112
 113
 114   public AbstractSpikeEntityEventProcessor(SpikeEventPolicyConfig config)
 115       throws FileNotFoundException {
 116     mapper = new ObjectMapper();
 117     LoggerFactory loggerFactoryInstance = LoggerFactory.getInstance();
 118     logger = loggerFactoryInstance.getLogger(AbstractSpikeEntityEventProcessor.class.getName());
 119     metricsLogger =
 120         loggerFactoryInstance.getMetricsLogger(AbstractSpikeEntityEventProcessor.class.getName());
 121
 122     // Instantiate the agent that we will use for interacting with the Search Service.
 123     searchAgent = new SearchServiceAgent(config.getSearchCertName(), config.getSearchKeystore(),
 124         config.getSearchKeystorePwd(), AbstractSpikeEntityEventProcessor
 125             .concatSubUri(config.getSearchBaseUrl(), config.getSearchEndpoint()),
 126         config.getSearchEndpointDocuments(), logger);
 127
 128     this.externalOxmModelProcessors = new ArrayList<>();
 129     this.externalOxmModelProcessors.add(EntityOxmReferenceHelper.getInstance());
 130     OxmModelLoader.registerExternalOxmModelProcessors(externalOxmModelProcessors);
 131     OxmModelLoader.loadModels();
 132     oxmVersionContextMap = OxmModelLoader.getVersionContextMap();
 133     parseLatestOxmVersion();
 134   }
 135
 136   public String getCreateIndexUrl() {
 137     return createIndexUrl;
 138   }
 139
 140
 141   public void setCreateIndexUrl(String createIndexUrl) {
 142     this.createIndexUrl = createIndexUrl;
 143   }
 144
 145   public String getSearchIndexName() {
 146     return searchIndexName;
 147   }
 148
 149
 150   public void setSearchIndexName(String searchIndexName) {
 151     this.searchIndexName = searchIndexName;
 152   }
 153
 154   public String getSearchIndexSchema() {
 155     return searchIndexSchema;
 156   }
 157
 158
 159   public void setSearchIndexSchema(String searchIndexSchema) {
 160     this.searchIndexSchema = searchIndexSchema;
 161   }
 162
 163   protected void startup() {
 164
 165   }
 166
 167   /*
 168    * Load the UEB JSON payload, any errors would result to a failure case response.
 169    */
 170   protected JSONObject getUebContentAsJson(String payload, String contentKey) {
 171
 172     JSONObject uebJsonObj;
 173     JSONObject uebObjContent;
 174
 175     try {
 176       uebJsonObj = new JSONObject(payload);
 177     } catch (JSONException e) {
 178       logger.debug(EntityEventPolicyMsgs.UEB_INVALID_PAYLOAD_JSON_FORMAT, payload);
 179       logger.error(EntityEventPolicyMsgs.UEB_INVALID_PAYLOAD_JSON_FORMAT, payload);
 180       return null;
 181     }
 182
 183     if (uebJsonObj.has(contentKey)) {
 184       uebObjContent = uebJsonObj.getJSONObject(contentKey);
 185     } else {
 186       logger.debug(EntityEventPolicyMsgs.UEB_FAILED_TO_PARSE_PAYLOAD, contentKey);
 187       logger.error(EntityEventPolicyMsgs.UEB_FAILED_TO_PARSE_PAYLOAD, contentKey);
 188       return null;
 189     }
 190
 191     return uebObjContent;
 192   }
 193   public abstract void process(Exchange exchange) throws Exception;
 194
 195
 196   private void parseLatestOxmVersion() {
 197     int latestVersion = -1;
 198     if (oxmVersionContextMap != null) {
 199       Iterator it = oxmVersionContextMap.entrySet().iterator();
 200       while (it.hasNext()) {
 201         Map.Entry pair = (Map.Entry) it.next();
 202
 203         String version = pair.getKey().toString();
 204         int versionNum = Integer.parseInt(version.substring(1, version.length()));
 205
 206         if (versionNum > latestVersion) {
 207           latestVersion = versionNum;
 208           oxmVersion = pair.getKey().toString();
 209         }
 210
 211         logger.info(EntityEventPolicyMsgs.PROCESS_OXM_MODEL_FOUND, pair.getKey().toString());
 212       }
 213     } else {
 214       logger.error(EntityEventPolicyMsgs.PROCESS_OXM_MODEL_MISSING, "");
 215     }
 216   }
 217
 218
 219
 220   /**
 221    * This will be used in: updateSearchEntityWithCrossEntityReference not this scope Convert object
 222    * to json.
 223    *
 224    * @param object the object
 225    * @param pretty the pretty
 226    * @return the string
 227    * @throws JsonProcessingException the json processing exception
 228    *
 229    *         protected static String convertObjectToJson(Object object, boolean pretty) throws
 230    *         JsonProcessingException { ObjectWriter ow;
 231    *
 232    *         if (pretty) { ow = new ObjectMapper().writer().withDefaultPrettyPrinter();
 233    *
 234    *         } else { ow = new ObjectMapper().writer(); }
 235    *
 236    *         return ow.writeValueAsString(object); }
 237    */
 238
 239   protected void returnWithError(Exchange exchange, String payload, String errorMsg) {
 240     logger.error(EntityEventPolicyMsgs.DISCARD_EVENT_NONVERBOSE, errorMsg);
 241     logger.debug(EntityEventPolicyMsgs.DISCARD_EVENT_VERBOSE, errorMsg, payload);
 242     setResponse(exchange, ResponseType.FAILURE, additionalInfo);
 243   }
 244
 245   private boolean isJSONValid(String test) {
 246     try {
 247       new JSONObject(test);
 248     } catch (JSONException ex) {
 249       return false;
 250     }
 251     return true;
 252   }
 253
 254
 255
 256   protected String getSpikeEventAction(Exchange exchange, String uebPayload) {
 257     JSONObject mainJson = new JSONObject(uebPayload);
 258     String action = mainJson.getString(OPERATION_KEY);
 259     if (action == null || !SUPPORTED_ACTIONS.contains(action.toLowerCase())) {
 260       logger.debug(EntityEventPolicyMsgs.DISCARD_EVENT_VERBOSE,
 261           "Unrecognized action '" + action + "'", uebPayload);
 262       logger.error(EntityEventPolicyMsgs.DISCARD_EVENT_NONVERBOSE,
 263           "Unrecognized action '" + action + "'");
 264       setResponse(exchange, ResponseType.FAILURE, additionalInfo);
 265       return null;
 266     }
 267     return action;
 268   }
 269
 270   protected String getExchangeBody(Exchange exchange) {
 271     String uebPayload = exchange.getIn().getBody().toString();
 272     if (uebPayload == null || !isJSONValid(uebPayload)) {
 273       uebPayload = exchange.getIn().getBody(String.class);
 274       if (uebPayload == null || !isJSONValid(uebPayload)) {
 275         returnWithError(exchange, uebPayload, "Invalid Payload");
 276         return null;
 277       }
 278     }
 279     return uebPayload;
 280   }
 281
 282   protected SpikeEventVertex populateEventVertex(Exchange exchange, String uebPayload)
 283       throws Exception {
 284
 285     // Load the UEB payload data, any errors will result in a failure and discard
 286
 287     JSONObject spikeObjVertex = getUebContentAsJson(uebPayload, VERTEX_KEY);
 288     if (spikeObjVertex == null) {
 289       returnWithError(exchange, uebPayload, "Payload is missing " + VERTEX_KEY);
 290       return null;
 291     }
 292
 293     SpikeEventVertex eventVertex = initializeSpikeEventVertex(spikeObjVertex.toString());
 294     return eventVertex;
 295   }
 296
 297   protected DynamicJAXBContext readOxm(Exchange exchange, String uebPayload) {
 298     DynamicJAXBContext oxmJaxbContext = loadOxmContext(oxmVersion);
 299     if (oxmJaxbContext == null) {
 300       logger.error(EntityEventPolicyMsgs.OXM_VERSION_NOT_SUPPORTED, oxmVersion);
 301       logger.debug(EntityEventPolicyMsgs.DISCARD_EVENT_VERBOSE, "OXM version mismatch", uebPayload);
 302
 303       setResponse(exchange, ResponseType.FAILURE, additionalInfo);
 304       return null;
 305     }
 306     return oxmJaxbContext;
 307   }
 308
 309
 310   protected String getEntityType(Exchange exchange, SpikeEventVertex eventVertex,
 311       String uebPayload) {
 312
 313     String entityType = eventVertex.getType();
 314     if (entityType == null || entityType.isEmpty()) {
 315       logger.debug(EntityEventPolicyMsgs.DISCARD_EVENT_VERBOSE,
 316           "Payload header missing entity type", uebPayload);
 317       logger.error(EntityEventPolicyMsgs.DISCARD_EVENT_NONVERBOSE,
 318           "Payload header missing entity type");
 319
 320       setResponse(exchange, ResponseType.FAILURE, additionalInfo);
 321       return null;
 322     }
 323     return entityType;
 324   }
 325
 326
 327
 328   protected String getEntityLink(Exchange exchange, SpikeEventVertex eventVertex,
 329       String uebPayload) {
 330     String entityKey = eventVertex.getKey();
 331     if (entityKey == null || entityKey.isEmpty()) {
 332       logger.debug(EntityEventPolicyMsgs.DISCARD_EVENT_VERBOSE, "Payload vertex missing entity key",
 333           uebPayload);
 334       logger.error(EntityEventPolicyMsgs.DISCARD_EVENT_NONVERBOSE,
 335           "Payload vertex missing entity key");
 336
 337       setResponse(exchange, ResponseType.FAILURE, additionalInfo);
 338       return null;
 339     }
 340     //EntityLink never can be null if  entityKey is not null. no need to check
 341     return eventVertex.getEntityLink();
 342
 343   }
 344
 345
 346
 347   /*
 348    * Use the OXM Model to determine the primary key field name based on the entity-type
 349    */
 350   protected SpikeEventEntity populateSpikeEventEntity(Exchange exchange,
 351       SpikeEventEntity spikeEventEntity, DynamicJAXBContext oxmJaxbContext, String entityType,
 352       String action, String uebPayload, String oxmEntityType, List<String> searchableAttr) {
 353
 354     String entityPrimaryKeyFieldName =
 355         getEntityPrimaryKeyFieldName(oxmJaxbContext, oxmEntityType, entityType);
 356     if (entityPrimaryKeyFieldName == null) {
 357       logger.error(EntityEventPolicyMsgs.DISCARD_EVENT_NONVERBOSE,
 358           "Payload missing primary key attribute");
 359       logger.debug(EntityEventPolicyMsgs.DISCARD_EVENT_VERBOSE,
 360           "Payload missing primary key attribute", uebPayload);
 361       setResponse(exchange, ResponseType.FAILURE, additionalInfo);
 362       return null;
 363     }
 364     String entityPrimaryKeyFieldValue = lookupValueUsingKey(uebPayload, entityPrimaryKeyFieldName);
 365     if (entityPrimaryKeyFieldValue == null || entityPrimaryKeyFieldValue.isEmpty()) {
 366       logger.error(EntityEventPolicyMsgs.DISCARD_EVENT_NONVERBOSE,
 367           "Payload missing primary value attribute");
 368       logger.debug(EntityEventPolicyMsgs.DISCARD_EVENT_VERBOSE,
 369           "Payload missing primary value attribute", uebPayload);
 370
 371       setResponse(exchange, ResponseType.FAILURE, additionalInfo);
 372       return null;
 373     }
 374
 375
 376     if (!getSearchTags(spikeEventEntity, searchableAttr, uebPayload, action)) {
 377       logger.error(EntityEventPolicyMsgs.DISCARD_EVENT_NONVERBOSE,
 378           "Payload missing searchable attribute for entity type '" + entityType + "'");
 379       logger.debug(EntityEventPolicyMsgs.DISCARD_EVENT_VERBOSE,
 380           "Payload missing searchable attribute for entity type '" + entityType + "'", uebPayload);
 381
 382       setResponse(exchange, ResponseType.FAILURE, additionalInfo);
 383       return null;
 384     }
 385     spikeEventEntity.setEntityPrimaryKeyName(entityPrimaryKeyFieldName);
 386     spikeEventEntity.setEntityPrimaryKeyValue(entityPrimaryKeyFieldName);
 387
 388     try {
 389       spikeEventEntity.deriveFields();
 390
 391     } catch (NoSuchAlgorithmException e) {
 392       logger.error(EntityEventPolicyMsgs.DISCARD_EVENT_VERBOSE, "Cannot create unique SHA digest");
 393       logger.debug(EntityEventPolicyMsgs.DISCARD_EVENT_VERBOSE, "Cannot create unique SHA digest",
 394           uebPayload);
 395
 396       setResponse(exchange, ResponseType.FAILURE, additionalInfo);
 397       return null;
 398     }
 399     return spikeEventEntity;
 400   }
 401
 402   protected void setResponse(Exchange exchange, ResponseType responseType, String additionalInfo) {
 403
 404     exchange.getOut().setHeader("ResponseType", responseType.toString());
 405     exchange.getOut().setBody(additionalInfo);
 406   }
 407
 408
 409  protected String getOxmEntityType(String entityType) {
 410
 411    String[] entityTypeArr = entityType.split("-");
 412    String oxmEntityType = "";
 413    for (String entityWord : entityTypeArr) {
 414      oxmEntityType += entityWord.substring(0, 1).toUpperCase() + entityWord.substring(1);
 415    }
 416    return oxmEntityType;
 417  }
 418
 419  protected List<String> getSearchableAttibutes(DynamicJAXBContext oxmJaxbContext, String oxmEntityType,
 420      String entityType, String uebPayload,Exchange exchange) {
 421    List<String> searchableAttr =
 422        getOxmAttributes(oxmJaxbContext, oxmEntityType, entityType, "searchable");
 423    if (searchableAttr == null) {
 424      logger.error(EntityEventPolicyMsgs.DISCARD_EVENT_NONVERBOSE,
 425          "Searchable attribute not found for payload entity type '" + entityType + "'");
 426      logger.debug(EntityEventPolicyMsgs.DISCARD_EVENT_VERBOSE,
 427          "Searchable attribute not found for payload entity type '" + entityType + "'",
 428          uebPayload);
 429
 430      setResponse(exchange, ResponseType.FAILURE, additionalInfo);
 431      return null;
 432    }
 433    return searchableAttr;
 434  }
 435
 436
 437   private SpikeEventVertex initializeSpikeEventVertex(String payload) {
 438
 439     SpikeEventVertex eventVertex = null;
 440     ObjectMapper mapper = new ObjectMapper();
 441
 442     // Make sure that were were actually passed in a valid string.
 443     if (payload == null || payload.isEmpty()) {
 444       logger.debug(EntityEventPolicyMsgs.UEB_FAILED_TO_PARSE_PAYLOAD, VERTEX_KEY);
 445       logger.error(EntityEventPolicyMsgs.UEB_FAILED_TO_PARSE_PAYLOAD, VERTEX_KEY);
 446
 447       return eventVertex;
 448     }
 449
 450     // Marshal the supplied string into a UebEventHeader object.
 451     try {
 452       eventVertex = mapper.readValue(payload, SpikeEventVertex.class);
 453     } catch (JsonProcessingException e) {
 454       logger.error(EntityEventPolicyMsgs.UEB_FAILED_UEBEVENTHEADER_CONVERSION, e.toString());
 455     } catch (Exception e) {
 456       logger.error(EntityEventPolicyMsgs.UEB_FAILED_UEBEVENTHEADER_CONVERSION, e.toString());
 457     }
 458
 459     if (eventVertex != null) {
 460       logger.debug(EntityEventPolicyMsgs.UEB_EVENT_HEADER_PARSED, eventVertex.toString());
 461     }
 462
 463     return eventVertex;
 464   }
 465
 466
 467   private String getEntityPrimaryKeyFieldName(DynamicJAXBContext oxmJaxbContext,
 468       String oxmEntityType, String entityType) {
 469
 470     DynamicType entity = oxmJaxbContext.getDynamicType(oxmEntityType);
 471     if (entity == null) {
 472       return null;
 473     }
 474
 475     List<DatabaseField> list = entity.getDescriptor().getPrimaryKeyFields();
 476     if (list != null && !list.isEmpty()) {
 477       String keyName = list.get(0).getName();
 478       return keyName.substring(0, keyName.indexOf('/'));
 479     }
 480
 481     return "";
 482   }
 483
 484   private String lookupValueUsingKey(String payload, String key) throws JSONException {
 485     JsonNode jsonNode = convertToJsonNode(payload);
 486     return RouterServiceUtil.recursivelyLookupJsonPayload(jsonNode, key);
 487   }
 488
 489
 490   private JsonNode convertToJsonNode(String payload) {
 491
 492     ObjectMapper mapper = new ObjectMapper();
 493     JsonNode jsonNode = null;
 494     try {
 495       jsonNode = mapper.readTree(mapper.getJsonFactory().createJsonParser(payload));
 496     } catch (IOException e) {
 497       logger.debug(EntityEventPolicyMsgs.FAILED_TO_PARSE_UEB_PAYLOAD, VERTEX_KEY + " missing",
 498           payload);
 499       logger.error(EntityEventPolicyMsgs.FAILED_TO_PARSE_UEB_PAYLOAD, VERTEX_KEY + " missing",
 500           "");
 501     }
 502
 503     return jsonNode;
 504   }
 505
 506
 507   private boolean getSearchTags(SpikeEventEntity spikeEventEntity, List<String> searchableAttr,
 508       String payload, String action) {
 509
 510     boolean hasSearchableAttr = false;
 511     for (String searchTagField : searchableAttr) {
 512       String searchTagValue;
 513       if (searchTagField.equalsIgnoreCase(spikeEventEntity.getEntityPrimaryKeyName())) {
 514         searchTagValue = spikeEventEntity.getEntityPrimaryKeyValue();
 515       } else {
 516         searchTagValue = this.lookupValueUsingKey(payload, searchTagField);
 517       }
 518
 519       if (searchTagValue != null && !searchTagValue.isEmpty()) {
 520         hasSearchableAttr = true;
 521         spikeEventEntity.addSearchTagWithKey(searchTagValue, searchTagField);
 522       }
 523     }
 524     return hasSearchableAttr;
 525   }
 526
 527   /*
 528    * Check if OXM version is available. If available, load it.
 529    */
 530   private DynamicJAXBContext loadOxmContext(String version) {
 531     if (version == null) {
 532       logger.error(EntityEventPolicyMsgs.FAILED_TO_FIND_OXM_VERSION, version);
 533       return null;
 534     }
 535
 536     return oxmVersionContextMap.get(version);
 537   }
 538
 539   private List<String> getOxmAttributes(DynamicJAXBContext oxmJaxbContext, String oxmEntityType,
 540       String entityType, String fieldName) {
 541
 542     DynamicType entity = oxmJaxbContext.getDynamicType(oxmEntityType);
 543     if (entity == null) {
 544       return null;
 545     }
 546
 547     /*
 548      * Check for searchable XML tag
 549      */
 550     List<String> fieldValues = null;
 551     Map<String, String> properties = entity.getDescriptor().getProperties();
 552     for (Map.Entry<String, String> entry : properties.entrySet()) {
 553       if (entry.getKey().equalsIgnoreCase(fieldName)) {
 554         fieldValues = Arrays.asList(entry.getValue().split(","));
 555         break;
 556       }
 557     }
 558
 559     return fieldValues;
 560   }
 561
 562   protected SpikeEventEntity getPopulatedEntity(JsonNode entityNode,
 563       OxmEntityDescriptor resultDescriptor) {
 564     SpikeEventEntity d = new SpikeEventEntity();
 565
 566     d.setEntityType(resultDescriptor.getEntityName());
 567
 568     List<String> primaryKeyValues = new ArrayList<>();
 569     List<String> primaryKeyNames = new ArrayList<>();
 570     String pkeyValue;
 571
 572     for (String keyName : resultDescriptor.getPrimaryKeyAttributeName()) {
 573       pkeyValue = RouterServiceUtil.getNodeFieldAsText(entityNode, keyName);
 574       if (pkeyValue != null) {
 575         primaryKeyValues.add(pkeyValue);
 576         primaryKeyNames.add(keyName);
 577       } else {
 578         // logger.warn("getPopulatedDocument(), pKeyValue is null for entityType = " +
 579         // resultDescriptor.getEntityName());
 580         logger.error(EntityEventPolicyMsgs.PRIMARY_KEY_NULL_FOR_ENTITY_TYPE,
 581             resultDescriptor.getEntityName());
 582       }
 583     }
 584
 585     final String primaryCompositeKeyValue = RouterServiceUtil.concatArray(primaryKeyValues, "/");
 586     d.setEntityPrimaryKeyValue(primaryCompositeKeyValue);
 587     final String primaryCompositeKeyName = RouterServiceUtil.concatArray(primaryKeyNames, "/");
 588     d.setEntityPrimaryKeyName(primaryCompositeKeyName);
 589
 590     final List<String> searchTagFields = resultDescriptor.getSearchableAttributes();
 591
 592     /*
 593      * Based on configuration, use the configured field names for this entity-Type to build a
 594      * multi-value collection of search tags for elastic search entity search criteria.
 595      */
 596
 597
 598     for (String searchTagField : searchTagFields) {
 599       String searchTagValue = RouterServiceUtil.getNodeFieldAsText(entityNode, searchTagField);
 600       if (searchTagValue != null && !searchTagValue.isEmpty()) {
 601         d.addSearchTagWithKey(searchTagValue, searchTagField);
 602       }
 603     }
 604
 605     return d;
 606   }
 607
 608
 609
 610   // put this here until we find a better spot
 611   /**
 612    * Helper utility to concatenate substrings of a URI together to form a proper URI.
 613    *
 614    * @param suburis the list of substrings to concatenate together
 615    * @return the concatenated list of substrings
 616    */
 617   private static String concatSubUri(String... suburis) {
 618     String finalUri = "";
 619
 620     for (String suburi : suburis) {
 621
 622       if (suburi != null) {
 623         // Remove any leading / since we only want to append /
 624         suburi = suburi.replaceFirst("^/*", "");
 625
 626         // Add a trailing / if one isn't already there
 627         finalUri += suburi.endsWith("/") ? suburi : suburi + "/";
 628       }
 629     }
 630
 631     return finalUri;
 632   }
 633
 634
 635
 636   /**
 637    * Perform create, read, update or delete (CRUD) operation on search engine's suggestive search
 638    * index
 639    *
 640    * @param eventEntity Entity/data to use in operation
 641    * @param action The operation to perform
 642    */
 643   protected void handleSearchServiceOperation(DocumentStoreDataEntity eventEntity, String action,
 644       String index) {
 645     try {
 646
 647       Map<String, List<String>> headers = new HashMap<>();
 648       headers.put(Headers.FROM_APP_ID, Arrays.asList("DataLayer"));
 649       headers.put(Headers.TRANSACTION_ID, Arrays.asList(MDC.get(MdcContext.MDC_REQUEST_ID)));
 650
 651       String entityId = eventEntity.getId();
 652
 653       if ((action.equalsIgnoreCase(CREATE) && entityId != null)
 654           || action.equalsIgnoreCase(UPDATE)) {
 655
 656         // Run the GET to retrieve the ETAG from the search service
 657         OperationResult storedEntity = searchAgent.getDocument(index, entityId);
 658
 659         if (HttpUtil.isHttpResponseClassSuccess(storedEntity.getResultCode())) {
 660           List<String> etag = storedEntity.getHeaders().get(Headers.ETAG);
 661
 662           if (etag != null && !etag.isEmpty()) {
 663             headers.put(Headers.IF_MATCH, etag);
 664           } else {
 665             logger.error(EntityEventPolicyMsgs.NO_ETAG_AVAILABLE_FAILURE, index, entityId);
 666           }
 667         }
 668
 669         // Write the entity to the search service.
 670         // PUT
 671         searchAgent.putDocument(index, entityId, eventEntity.getAsJson(), headers);
 672       } else if (action.equalsIgnoreCase(CREATE)) {
 673         // Write the entry to the search service.
 674         searchAgent.postDocument(index, eventEntity.getAsJson(), headers);
 675
 676       } else if (action.equalsIgnoreCase(DELETE)) {
 677         // Run the GET to retrieve the ETAG from the search service
 678         OperationResult storedEntity = searchAgent.getDocument(index, entityId);
 679
 680         if (HttpUtil.isHttpResponseClassSuccess(storedEntity.getResultCode())) {
 681           List<String> etag = storedEntity.getHeaders().get(Headers.ETAG);
 682
 683           if (etag != null && !etag.isEmpty()) {
 684             headers.put(Headers.IF_MATCH, etag);
 685           } else {
 686             logger.error(EntityEventPolicyMsgs.NO_ETAG_AVAILABLE_FAILURE, index, entityId);
 687           }
 688
 689           /*
 690            * The Spring-Boot version of the search-data-service rejects the DELETE operation unless
 691            * we specify a Content-Type.
 692            */
 693
 694           headers.put("Content-Type", Arrays.asList(MediaType.APPLICATION_JSON.getMediaType()));
 695
 696           searchAgent.deleteDocument(index, eventEntity.getId(), headers);
 697         } else {
 698           logger.error(EntityEventPolicyMsgs.NO_ETAG_AVAILABLE_FAILURE, index, entityId);
 699         }
 700       } else {
 701         logger.error(EntityEventPolicyMsgs.ENTITY_OPERATION_NOT_SUPPORTED, action);
 702       }
 703     } catch (IOException e) {
 704       logger.error(EntityEventPolicyMsgs.FAILED_TO_UPDATE_ENTITY_IN_DOCSTORE, eventEntity.getId(),
 705           action);
 706     }
 707   }
 708
 709   protected SpikeEventMeta processSpikeEvent(Exchange exchange) {
 710
 711     SpikeEventMeta meta = new SpikeEventMeta();
 712     Object eventPayloadObj = null;
 713     String eventPayload = null;
 714     try {
 715        eventPayloadObj = exchange.getIn().getBody();
 716
 717       /*
 718        * It is expected that mainJson will have multiple top level objects: - header - body - result
 719        */
 720       if (eventPayloadObj == null) {
 721         returnWithError(exchange, null, "Invalid Payload");
 722         return null;
 723       }
 724
 725       eventPayload = (String)eventPayloadObj;
 726
 727       meta.setEventEntity(new JSONObject(eventPayload));
 728     } catch (JSONException exc) {
 729       returnWithError(exchange, eventPayload, "Invalid Payload");
 730       return null;
 731     }
 732
 733     JSONObject eventHeader = meta.getEventEntity().getJSONObject(HEADER_KEY);
 734
 735     if (eventHeader == null) {
 736       returnWithError(exchange, eventPayload, "Payload is missing " + HEADER_KEY);
 737       return null;
 738     }
 739
 740     meta.setEventHeader(eventHeader);
 741
 742     /*
 743      * Only process SPIKE update-notification events
 744      */
 745
 746     final String sourceName = eventHeader.getString(SOURCE_NAME_KEY);
 747     final String eventType = eventHeader.getString(EVENT_TYPE_KEY);
 748
 749     if (!(SPIKE.equals(sourceName) && UPDATE_NOTIFICATION.equals(eventType))) {
 750       // drop event
 751       logger.debug(EntityEventPolicyMsgs.DISCARD_EVENT_VERBOSE, "Ignoring event with sourceName='"
 752           + sourceName + "' and eventType='" + eventType + "'.  Payload=" + eventPayload);
 753       logger.error(EntityEventPolicyMsgs.DISCARD_EVENT_NONVERBOSE,
 754           "Ignoring event with sourceName='" + sourceName + "' and eventType='" + eventType + "'.");
 755
 756       /*
 757        * I don't think ignoring a non-applicable event constitutes a failure.
 758        */
 759
 760       setResponse(exchange, ResponseType.SUCCESS, additionalInfo);
 761       return null;
 762     }
 763
 764     JSONObject eventBody = meta.getEventEntity().getJSONObject(BODY_KEY);
 765
 766     if (eventBody == null) {
 767       returnWithError(exchange, eventPayload, "Payload is missing " + BODY_KEY);
 768       return null;
 769     }
 770
 771     meta.setEventBody(eventBody);
 772
 773     String action = eventBody.getString(OPERATION_KEY);
 774     if (action == null || !SUPPORTED_ACTIONS.contains(action.toLowerCase())) {
 775       logger.debug(EntityEventPolicyMsgs.DISCARD_EVENT_VERBOSE,
 776           "Unrecognized action '" + action + "'", eventPayload);
 777       logger.error(EntityEventPolicyMsgs.DISCARD_EVENT_NONVERBOSE,
 778           "Unrecognized action '" + action + "'");
 779       setResponse(exchange, ResponseType.FAILURE, additionalInfo);
 780       return null;
 781     }
 782     meta.setBodyOperationType(action);
 783
 784     // Load the event body data, any errors will result in a failure and discard
 785
 786     JSONObject spikeVertex = eventBody.getJSONObject(VERTEX_KEY);
 787     if (spikeVertex == null) {
 788       returnWithError(exchange, eventPayload, "Payload is missing " + VERTEX_KEY);
 789       return null;
 790     }
 791
 792     meta.setSpikeVertex(spikeVertex);
 793
 794     SpikeEventVertex spikeEventVertex = null;
 795     try {
 796       spikeEventVertex = initializeSpikeEventVertex(spikeVertex);
 797     } catch (JSONException exc) {
 798       logger.debug(EntityEventPolicyMsgs.DISCARD_EVENT_VERBOSE,
 799           "Error initializating spike event.  Error: " + exc.getMessage(), eventPayload);
 800       logger.error(EntityEventPolicyMsgs.DISCARD_EVENT_NONVERBOSE,
 801           "Error initializating spike event.  Error: " + exc.getMessage());
 802
 803       setResponse(exchange, ResponseType.FAILURE, additionalInfo);
 804       return null;
 805     }
 806
 807     meta.setSpikeEventVertex(spikeEventVertex);
 808
 809     DynamicJAXBContext oxmJaxbContext = loadOxmContext(oxmVersion);
 810     if (oxmJaxbContext == null) {
 811       logger.error(EntityEventPolicyMsgs.OXM_VERSION_NOT_SUPPORTED, oxmVersion);
 812       logger.debug(EntityEventPolicyMsgs.DISCARD_EVENT_VERBOSE, "OXM version mismatch",
 813           eventPayload);
 814
 815       setResponse(exchange, ResponseType.FAILURE, additionalInfo);
 816       return null;
 817     }
 818
 819     meta.setOxmJaxbContext(oxmJaxbContext);
 820
 821     String entityType = spikeEventVertex.getType();
 822     if (entityType == null || entityType.isEmpty()) {
 823       logger.debug(EntityEventPolicyMsgs.DISCARD_EVENT_VERBOSE,
 824           "Payload header missing entity type", eventPayload);
 825       logger.error(EntityEventPolicyMsgs.DISCARD_EVENT_NONVERBOSE,
 826           "Payload header missing entity type");
 827
 828       setResponse(exchange, ResponseType.FAILURE, additionalInfo);
 829       return null;
 830     }
 831
 832     /*
 833      * test if entityType is in the model
 834      */
 835
 836     VersionedOxmEntities oxmEntities =
 837     EntityOxmReferenceHelper.getInstance().getVersionedOxmEntities(Version.valueOf(oxmVersion.toLowerCase()));
 838
 839     if (oxmEntities != null && !oxmEntities.getEntityTypeLookup().containsKey(entityType)) {
 840       logger.debug(EntityEventPolicyMsgs.DISCARD_EVENT_VERBOSE, "No matching OXM Descriptor for entity-type='" + entityType + "'",
 841           eventPayload);
 842       logger.error(EntityEventPolicyMsgs.DISCARD_EVENT_NONVERBOSE,
 843           "No matching OXM Descriptor for entity-type='" + entityType + "'");
 844
 845       setResponse(exchange, ResponseType.FAILURE, additionalInfo);
 846       return null;
 847     }
 848
 849
 850     String entityKey = spikeEventVertex.getKey();
 851     if (entityKey == null || entityKey.isEmpty()) {
 852       logger.debug(EntityEventPolicyMsgs.DISCARD_EVENT_VERBOSE, "Payload vertex missing entity key",
 853           eventPayload);
 854       logger.error(EntityEventPolicyMsgs.DISCARD_EVENT_NONVERBOSE,
 855           "Payload vertex missing entity key");
 856
 857       setResponse(exchange, ResponseType.FAILURE, additionalInfo);
 858       return null;
 859     }
 860     String entityLink = spikeEventVertex.getEntityLink();
 861     if (entityLink == null || entityLink.isEmpty()) {
 862       logger.debug(EntityEventPolicyMsgs.DISCARD_EVENT_VERBOSE,
 863           "Payload header missing entity link", eventPayload);
 864       logger.error(EntityEventPolicyMsgs.DISCARD_EVENT_NONVERBOSE,
 865           "Payload header missing entity link");
 866
 867       setResponse(exchange, ResponseType.FAILURE, additionalInfo);
 868       return null;
 869     }
 870
 871     JSONObject vertexProperties = null;
 872     try {
 873
 874       vertexProperties = spikeVertex.getJSONObject(VERTEX_PROPERTIES_KEY);
 875
 876     } catch (JSONException exc) {
 877       logger.debug(EntityEventPolicyMsgs.DISCARD_EVENT_VERBOSE,
 878           "Payload header missing " + VERTEX_PROPERTIES_KEY, eventPayload);
 879       logger.error(EntityEventPolicyMsgs.DISCARD_EVENT_NONVERBOSE,
 880           "Payload header missing " + VERTEX_PROPERTIES_KEY);
 881
 882       setResponse(exchange, ResponseType.FAILURE, additionalInfo);
 883       return null;
 884     }
 885
 886     meta.setVertexProperties(vertexProperties);
 887
 888     // log the fact that all data are in good shape
 889     logger.info(EntityEventPolicyMsgs.PROCESS_ENTITY_EVENT_POLICY_NONVERBOSE, action, entityType);
 890     logger.debug(EntityEventPolicyMsgs.PROCESS_ENTITY_EVENT_POLICY_VERBOSE, action, entityType,
 891         eventPayload);
 892
 893     return meta;
 894
 895   }
 896
 897   protected SpikeEventVertex initializeSpikeEventVertex(JSONObject vertexObject) throws JSONException {
 898
 899     /*
 900      * These are all critical keys
 901      */
 902
 903     final String vertexType = vertexObject.getString(VERTEX_TYPE_KEY);
 904     final String vertexKey = vertexObject.getString(VERTEX_KEY_KEY);
 905     final String vertexSchemaVersion = vertexObject.getString(VERTEX_SCHEMA_VERSION_KEY);
 906
 907     SpikeEventVertex eventVertex = new SpikeEventVertex(vertexType, vertexKey);
 908     eventVertex.setSchemaVersion(vertexSchemaVersion);
 909     logger.debug(EntityEventPolicyMsgs.UEB_EVENT_HEADER_PARSED, eventVertex.toString());
 910
 911     return eventVertex;
 912
 913   }
 914
 915 }