src/main/java/org/onap/aai/sparky/dal/aai/ActiveInventoryAdapter.java

   1 /**
   2  * ============LICENSE_START=======================================================
   3  * org.onap.aai
   4  * ================================================================================
   5  * Copyright © 2017 AT&T Intellectual Property. All rights reserved.
   6  * Copyright © 2017 Amdocs
   7  * ================================================================================
   8  * Licensed under the Apache License, Version 2.0 (the "License");
   9  * you may not use this file except in compliance with the License.
  10  * You may obtain a copy of the License at
  11  *
  12  *       http://www.apache.org/licenses/LICENSE-2.0
  13  *
  14  * Unless required by applicable law or agreed to in writing, software
  15  * distributed under the License is distributed on an "AS IS" BASIS,
  16  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  17  * See the License for the specific language governing permissions and
  18  * limitations under the License.
  19  * ============LICENSE_END=========================================================
  20  *
  21  * ECOMP is a trademark and service mark of AT&T Intellectual Property.
  22  */
  23 package org.onap.aai.sparky.dal.aai;
  24
  25 import java.io.IOException;
  26 import java.net.URLEncoder;
  27 import java.nio.ByteBuffer;
  28 import java.util.List;
  29 import java.util.NoSuchElementException;
  30
  31 import org.apache.http.client.utils.URIBuilder;
  32 import org.onap.aai.sparky.config.oxm.OxmEntityDescriptor;
  33 import org.onap.aai.sparky.config.oxm.OxmModelLoader;
  34 import org.onap.aai.sparky.dal.aai.config.ActiveInventoryConfig;
  35 import org.onap.aai.sparky.dal.aai.config.ActiveInventoryRestConfig;
  36 import org.onap.aai.sparky.dal.aai.enums.RestAuthenticationMode;
  37 import org.onap.aai.sparky.dal.exception.ElasticSearchOperationException;
  38 import org.onap.aai.sparky.dal.rest.OperationResult;
  39 import org.onap.aai.sparky.dal.rest.RestClientBuilder;
  40 import org.onap.aai.sparky.dal.rest.RestfulDataAccessor;
  41 import org.onap.aai.sparky.logging.AaiUiMsgs;
  42 import org.onap.aai.sparky.security.SecurityContextFactory;
  43 import org.onap.aai.sparky.util.NodeUtils;
  44 import org.onap.aai.cl.api.Logger;
  45 import org.onap.aai.cl.eelf.LoggerFactory;
  46
  47 import com.sun.jersey.api.client.Client;
  48 import com.sun.jersey.api.client.WebResource.Builder;
  49
  50
  51 /**
  52  * The Class ActiveInventoryAdapter.
  53  */
  54
  55 /**
  56  * @author davea
  57  *
  58  */
  59 public class ActiveInventoryAdapter extends RestfulDataAccessor
  60     implements ActiveInventoryDataProvider {
  61
  62   private static final Logger LOG =
  63       LoggerFactory.getInstance().getLogger(ActiveInventoryAdapter.class);
  64
  65   private static final String HEADER_TRANS_ID = "X-TransactionId";
  66   private static final String HEADER_FROM_APP_ID = "X-FromAppId";
  67   private static final String HEADER_AUTHORIZATION = "Authorization";
  68
  69   private static final String TRANSACTION_ID_PREFIX = "txnId-";
  70   private static final String UI_APP_NAME = "AAI-UI";
  71
  72
  73   private ActiveInventoryConfig config;
  74
  75   /**
  76    * Instantiates a new active inventory adapter.
  77    *
  78    * @param restClientBuilder the rest client builder
  79    * @throws ElasticSearchOperationException the elastic search operation exception
  80    * @throws IOException Signals that an I/O exception has occurred.
  81    */
  82   public ActiveInventoryAdapter(RestClientBuilder restClientBuilder)
  83       throws ElasticSearchOperationException, IOException {
  84     super(restClientBuilder);
  85
  86     try {
  87       this.config = ActiveInventoryConfig.getConfig();
  88     } catch (Exception exc) {
  89       throw new ElasticSearchOperationException("Error getting active inventory configuration",
  90           exc);
  91     }
  92
  93     clientBuilder.setUseHttps(true);
  94
  95     clientBuilder.setValidateServerHostname(config.getAaiSslConfig().isValidateServerHostName());
  96
  97     SecurityContextFactory sslContextFactory = clientBuilder.getSslContextFactory();
  98
  99     sslContextFactory.setServerCertificationChainValidationEnabled(
 100         config.getAaiSslConfig().isValidateServerCertificateChain());
 101
 102     if (config.getAaiRestConfig().getAuthenticationMode() == RestAuthenticationMode.SSL_CERT) {
 103       sslContextFactory.setClientCertFileName(config.getAaiSslConfig().getKeystoreFilename());
 104       sslContextFactory.setClientCertPassword(config.getAaiSslConfig().getKeystorePassword());
 105       sslContextFactory.setTrustStoreFileName(config.getAaiSslConfig().getTruststoreFilename());
 106     }
 107
 108     clientBuilder.setConnectTimeoutInMs(config.getAaiRestConfig().getConnectTimeoutInMs());
 109     clientBuilder.setReadTimeoutInMs(config.getAaiRestConfig().getReadTimeoutInMs());
 110
 111   }
 112
 113   /*
 114    * (non-Javadoc)
 115    *
 116    * @see
 117    * org.onap.aai.sparky.dal.rest.RestfulDataAccessor#setClientDefaults(com.sun.jersey.api.client.
 118    * Client, java.lang.String, java.lang.String, java.lang.String)
 119    */
 120   @Override
 121   protected Builder setClientDefaults(Client client, String url, String payloadContentType,
 122       String acceptContentType) {
 123     Builder builder = super.setClientDefaults(client, url, payloadContentType, acceptContentType);
 124
 125     builder = builder.header(HEADER_FROM_APP_ID, UI_APP_NAME);
 126     byte bytes[] = new byte[6];
 127     txnIdGenerator.nextBytes(bytes);
 128     builder =
 129         builder.header(HEADER_TRANS_ID, TRANSACTION_ID_PREFIX + ByteBuffer.wrap(bytes).getInt());
 130
 131     if (config.getAaiRestConfig().getAuthenticationMode() == RestAuthenticationMode.SSL_BASIC) {
 132       builder = builder.header(HEADER_AUTHORIZATION,
 133           config.getAaiSslConfig().getBasicAuthenticationCredentials());
 134     }
 135
 136     return builder;
 137   }
 138
 139   /**
 140    * Gets the full url.
 141    *
 142    * @param resourceUrl the resource url
 143    * @return the full url
 144    * @throws Exception the exception
 145    */
 146   private String getFullUrl(String resourceUrl) throws Exception {
 147     ActiveInventoryRestConfig aaiRestConfig = ActiveInventoryConfig.getConfig().getAaiRestConfig();
 148     final String host = aaiRestConfig.getHost();
 149     final String port = aaiRestConfig.getPort();
 150     final String basePath = aaiRestConfig.getResourceBasePath();
 151     return String.format("https://%s:%s%s%s", host, port, basePath, resourceUrl);
 152   }
 153
 154   public String getGenericQueryForSelfLink(String startNodeType, List<String> queryParams)
 155       throws Exception {
 156
 157     URIBuilder urlBuilder = new URIBuilder(getFullUrl("/search/generic-query"));
 158
 159     for (String queryParam : queryParams) {
 160       urlBuilder.addParameter("key", queryParam);
 161     }
 162
 163     urlBuilder.addParameter("start-node-type", startNodeType);
 164     urlBuilder.addParameter("include", startNodeType);
 165
 166     final String constructedLink = urlBuilder.toString();
 167
 168     // TODO: debug log for constructed link
 169
 170     return constructedLink;
 171
 172   }
 173
 174
 175   /*
 176    * (non-Javadoc)
 177    *
 178    * @see
 179    * org.onap.aai.sparky.dal.aai.ActiveInventoryDataProvider#getSelfLinksByEntityType(java.lang.
 180    * String)
 181    */
 182   @Override
 183   public OperationResult getSelfLinksByEntityType(String entityType) throws Exception {
 184
 185     /*
 186      * For this one, I want to dynamically construct the nodes-query for self-link discovery as a
 187      * utility method that will use the OXM model entity data to drive the query as well.
 188      */
 189
 190     if (entityType == null) {
 191       throw new NullPointerException(
 192           "Failed to getSelfLinksByEntityType() because entityType is null");
 193     }
 194
 195     OxmEntityDescriptor entityDescriptor =
 196         OxmModelLoader.getInstance().getEntityDescriptor(entityType);
 197
 198     if (entityDescriptor == null) {
 199       throw new NoSuchElementException("Failed to getSelfLinksByEntityType() because could"
 200           + " not find entity descriptor from OXM with type = " + entityType);
 201     }
 202
 203     String link = null;
 204     final String primaryKeyStr =
 205         NodeUtils.concatArray(entityDescriptor.getPrimaryKeyAttributeName(), "/");
 206
 207     link = getFullUrl("/search/nodes-query?search-node-type=" + entityType + "&filter="
 208         + primaryKeyStr + ":EXISTS");
 209
 210
 211
 212     return doGet(link, "application/json");
 213
 214   }
 215
 216   /*
 217    * (non-Javadoc)
 218    *
 219    * @see
 220    * org.onap.aai.sparky.dal.aai.ActiveInventoryDataProvider#getSelfLinkForEntity(java.lang.String,
 221    * java.lang.String, java.lang.String)
 222    */
 223   @Override
 224   public OperationResult getSelfLinkForEntity(String entityType, String primaryKeyName,
 225       String primaryKeyValue) throws Exception {
 226
 227     if (entityType == null) {
 228       throw new NullPointerException("Failed to getSelfLinkForEntity() because entityType is null");
 229     }
 230
 231     if (primaryKeyName == null) {
 232       throw new NullPointerException(
 233           "Failed to getSelfLinkForEntity() because primaryKeyName is null");
 234     }
 235
 236     if (primaryKeyValue == null) {
 237       throw new NullPointerException(
 238           "Failed to getSelfLinkForEntity() because primaryKeyValue is null");
 239     }
 240
 241
 242     /*
 243      * Try to protect ourselves from illegal URI formatting exceptions caused by characters that
 244      * aren't natively supported in a URI, but can be escaped to make them legal.
 245      */
 246
 247     String encodedEntityType = URLEncoder.encode(entityType, "UTF-8");
 248     String encodedPrimaryKeyName = URLEncoder.encode(primaryKeyName, "UTF-8");
 249     String encodedPrimaryKeyValue = URLEncoder.encode(primaryKeyValue, "UTF-8");
 250
 251     String link = null;
 252
 253     if ("service-instance".equals(entityType)) {
 254
 255       link = getFullUrl("/search/generic-query?key=" + encodedEntityType + "."
 256           + encodedPrimaryKeyName + ":" + encodedPrimaryKeyValue + "&start-node-type="
 257           + encodedEntityType + "&include=customer&depth=2");
 258
 259     } else {
 260
 261       link =
 262           getFullUrl("/search/generic-query?key=" + encodedEntityType + "." + encodedPrimaryKeyName
 263               + ":" + encodedPrimaryKeyValue + "&start-node-type=" + encodedEntityType);
 264
 265     }
 266
 267     return queryActiveInventoryWithRetries(link, "application/json",
 268         this.config.getAaiRestConfig().getNumRequestRetries());
 269
 270   }
 271
 272
 273   /**
 274    * Our retry conditions should be very specific.
 275    *
 276    * @param r the r
 277    * @return true, if successful
 278    */
 279   private boolean shouldRetryRequest(OperationResult r) {
 280
 281     if (r == null) {
 282       return true;
 283     }
 284
 285     int rc = r.getResultCode();
 286
 287     if (rc == 200) {
 288       return false;
 289     }
 290
 291     if (rc == 404) {
 292       return false;
 293     }
 294
 295     return true;
 296
 297   }
 298
 299   /**
 300    * Query active inventory.
 301    *
 302    * @param url the url
 303    * @param acceptContentType the accept content type
 304    * @return the operation result
 305    */
 306   // package protected for test classes instead of private
 307   OperationResult queryActiveInventory(String url, String acceptContentType) {
 308     return doGet(url, acceptContentType);
 309   }
 310
 311   /*
 312    * (non-Javadoc)
 313    *
 314    * @see
 315    * org.onap.aai.sparky.dal.aai.ActiveInventoryDataProvider#queryActiveInventoryWithRetries(java.
 316    * lang.String, java.lang.String, int)
 317    */
 318   @Override
 319   public OperationResult queryActiveInventoryWithRetries(String url, String responseType,
 320       int numRetries) {
 321
 322     OperationResult result = null;
 323
 324     for (int x = 0; x < numRetries; x++) {
 325
 326       LOG.debug(AaiUiMsgs.QUERY_AAI_RETRY_SEQ, url, String.valueOf(x + 1));
 327
 328       result = queryActiveInventory(url, responseType);
 329
 330       /**
 331        * Record number of times we have attempted the request to later summarize how many times we
 332        * are generally retrying over thousands of messages in a sync.
 333        *
 334        * If the number of retries is surprisingly high, then we need to understand why that is as
 335        * the number of retries is also causing a heavier load on AAI beyond the throttling controls
 336        * we already have in place in term of the transaction rate controller and number of
 337        * parallelized threads per task processor.
 338        */
 339
 340       result.setNumRequestRetries(x);
 341
 342       if (!shouldRetryRequest(result)) {
 343
 344         /*
 345          * if (myConfig.getAaiRestConfig().isCacheEnabled()) {
 346          *
 347          * CachedHttpRequest cachedRequest = new CachedHttpRequest();
 348          * cachedRequest.setHttpRequestMethod("GET"); cachedRequest.setPayload("");
 349          * cachedRequest.setPayloadMimeType(""); cachedRequest.setUrl(url);
 350          * cachedRequest.setOperationType( TransactionStorageType.ACTIVE_INVENTORY_QUERY.getIndex()
 351          * );
 352          *
 353          * CachedHttpResponse cachedResponse = new CachedHttpResponse();
 354          * cachedResponse.setPayload(result.getResult());
 355          * cachedResponse.setPayloadMimeType("application/json");
 356          * cachedResponse.setStatusCode(result.getResultCode());
 357          *
 358          * CachedHttpTransaction txn = new CachedHttpTransaction(cachedRequest, cachedResponse);
 359          * storageProvider.persistTransaction(txn);
 360          *
 361          * }
 362          */
 363
 364
 365         result.setResolvedLinkFromServer(true);
 366         LOG.debug(AaiUiMsgs.QUERY_AAI_RETRY_DONE_SEQ, url, String.valueOf(x + 1));
 367
 368         return result;
 369       }
 370
 371       try {
 372         /*
 373          * Sleep between re-tries to be nice to the target system.
 374          */
 375         Thread.sleep(50);
 376       } catch (InterruptedException exc) {
 377         LOG.error(AaiUiMsgs.QUERY_AAI_WAIT_INTERRUPTION, exc.getLocalizedMessage());
 378         break;
 379       }
 380       LOG.error(AaiUiMsgs.QUERY_AAI_RETRY_FAILURE_WITH_SEQ, url, String.valueOf(x + 1));
 381     }
 382
 383
 384     result.setResolvedLinkFailure(true);
 385     LOG.info(AaiUiMsgs.QUERY_AAI_RETRY_MAXED_OUT, url);
 386
 387     return result;
 388
 389   }
 390
 391   /*
 392    * (non-Javadoc)
 393    *
 394    * @see org.onap.aai.sparky.dal.rest.RestfulDataAccessor#shutdown()
 395    */
 396   @Override
 397   public void shutdown() {
 398     // TODO Auto-generated method stub
 399
 400     if (entityCache != null) {
 401       entityCache.shutdown();
 402     }
 403
 404   }
 405
 406
 407 }