64d111f993b00b0de5d6771ea8b110f83b34a324
[cps.git] / cps-ncmp-service / src / main / java / org / onap / cps / ncmp / api / inventory / sync / ModuleSyncWatchdog.java
1 /*
2  *  ============LICENSE_START=======================================================
3  *  Copyright (C) 2022 Nordix Foundation
4  *  Modifications Copyright (C) 2022 Bell Canada
5  *  ================================================================================
6  *  Licensed under the Apache License, Version 2.0 (the "License");
7  *  you may not use this file except in compliance with the License.
8  *  You may obtain a copy of the License at
9  *
10  *        http://www.apache.org/licenses/LICENSE-2.0
11  *
12  *  Unless required by applicable law or agreed to in writing, software
13  *  distributed under the License is distributed on an "AS IS" BASIS,
14  *  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
15  *  See the License for the specific language governing permissions and
16  *  limitations under the License.
17  *
18  *  SPDX-License-Identifier: Apache-2.0
19  *  ============LICENSE_END=========================================================
20  */
21
22 package org.onap.cps.ncmp.api.inventory.sync;
23
24 import java.util.Collection;
25 import java.util.HashSet;
26 import java.util.List;
27 import java.util.Map;
28 import java.util.concurrent.BlockingQueue;
29 import java.util.concurrent.TimeUnit;
30 import java.util.concurrent.atomic.AtomicInteger;
31 import lombok.Getter;
32 import lombok.RequiredArgsConstructor;
33 import lombok.extern.slf4j.Slf4j;
34 import org.onap.cps.ncmp.api.impl.yangmodels.YangModelCmHandle;
35 import org.onap.cps.ncmp.api.inventory.sync.executor.AsyncTaskExecutor;
36 import org.onap.cps.spi.model.DataNode;
37 import org.springframework.scheduling.annotation.Scheduled;
38 import org.springframework.stereotype.Service;
39
40 @Slf4j
41 @RequiredArgsConstructor
42 @Service
43 public class ModuleSyncWatchdog {
44
45     private final SyncUtils syncUtils;
46     private final BlockingQueue<DataNode> moduleSyncWorkQueue;
47     private final Map<String, Object> moduleSyncStartedOnCmHandles;
48     private final ModuleSyncTasks moduleSyncTasks;
49     private final AsyncTaskExecutor asyncTaskExecutor;
50     private static final int MODULE_SYNC_BATCH_SIZE = 100;
51     private static final long PREVENT_CPU_BURN_WAIT_TIME_MILLIS = 10;
52     private static final String VALUE_FOR_HAZELCAST_IN_PROGRESS_MAP = "Started";
53     private static final long ASYNC_TASK_TIMEOUT_IN_MILLISECONDS = TimeUnit.MINUTES.toMillis(5);
54     @Getter
55     private AtomicInteger batchCounter = new AtomicInteger(1);
56
57     /**
58      * Check DB for any cm handles in 'ADVISED' state.
59      * Queue and create batches to process them asynchronously.
60      * This method will only finish when there are no more 'ADVISED' cm handles in the DB.
61      * This method wil be triggered on a configurable interval
62      */
63     @Scheduled(fixedDelayString = "${timers.advised-modules-sync.sleep-time-ms:5000}")
64     public void moduleSyncAdvisedCmHandles() {
65         log.info("Processing module sync watchdog waking up.");
66         populateWorkQueueIfNeeded();
67         final int asyncTaskParallelismLevel = asyncTaskExecutor.getAsyncTaskParallelismLevel();
68         while (!moduleSyncWorkQueue.isEmpty()) {
69             if (batchCounter.get() <= asyncTaskParallelismLevel) {
70                 final Collection<DataNode> nextBatch = prepareNextBatch();
71                 log.debug("Processing module sync batch of {}. {} batch(es) active.",
72                         nextBatch.size(), batchCounter.get());
73                 asyncTaskExecutor.executeTask(() ->
74                                 moduleSyncTasks.performModuleSync(nextBatch, batchCounter),
75                         ASYNC_TASK_TIMEOUT_IN_MILLISECONDS
76                 );
77                 batchCounter.getAndIncrement();
78             } else {
79                 preventBusyWait();
80             }
81         }
82     }
83
84     /**
85      * Find any failed (locked) cm handles and change state back to 'ADVISED'.
86      */
87     @Scheduled(fixedDelayString = "${timers.locked-modules-sync.sleep-time-ms:300000}")
88     public void resetPreviouslyFailedCmHandles() {
89         log.info("Processing module sync retry-watchdog waking up.");
90         final List<YangModelCmHandle> failedCmHandles = syncUtils.getModuleSyncFailedCmHandles();
91         moduleSyncTasks.resetFailedCmHandles(failedCmHandles);
92     }
93
94     private void preventBusyWait() {
95         try {
96             TimeUnit.MILLISECONDS.sleep(PREVENT_CPU_BURN_WAIT_TIME_MILLIS);
97         } catch (final InterruptedException e) {
98             Thread.currentThread().interrupt();
99         }
100     }
101
102     private void populateWorkQueueIfNeeded() {
103         if (moduleSyncWorkQueue.isEmpty()) {
104             final List<DataNode> advisedCmHandles = syncUtils.getAdvisedCmHandles();
105             log.info("Processing module sync fetched {} advised cm handles from DB", advisedCmHandles.size());
106             for (final DataNode advisedCmHandle : advisedCmHandles) {
107                 if (!moduleSyncWorkQueue.offer(advisedCmHandle)) {
108                     log.warn("Unable to add cm handle {} to the work queue", advisedCmHandle.getLeaves().get("id"));
109                 }
110             }
111         }
112     }
113
114     private Collection<DataNode> prepareNextBatch() {
115         final Collection<DataNode> nextBatchCandidates = new HashSet<>(MODULE_SYNC_BATCH_SIZE);
116         final Collection<DataNode> nextBatch = new HashSet<>(MODULE_SYNC_BATCH_SIZE);
117         moduleSyncWorkQueue.drainTo(nextBatchCandidates, MODULE_SYNC_BATCH_SIZE);
118         log.debug("nextBatchCandidates size : {}", nextBatchCandidates.size());
119         for (final DataNode batchCandidate : nextBatchCandidates) {
120             final String cmHandleId = String.valueOf(batchCandidate.getLeaves().get("id"));
121             final boolean alreadyAddedToInProgressMap = VALUE_FOR_HAZELCAST_IN_PROGRESS_MAP
122                 .equals(moduleSyncStartedOnCmHandles.putIfAbsent(cmHandleId, VALUE_FOR_HAZELCAST_IN_PROGRESS_MAP));
123             if (alreadyAddedToInProgressMap) {
124                 log.debug("module sync for {} already in progress by other instance", cmHandleId);
125             } else {
126                 nextBatch.add(batchCandidate);
127             }
128         }
129         log.debug("nextBatch size : {}", nextBatch.size());
130         return nextBatch;
131     }
132
133 }