test/mocks/datafilecollector-testharness/dr-sim/README.md

   1 ###Run DR simulators as docker container
   2 1. Build docker container with ```docker build -t drsim_common:latest .```
   3 2. Run the container ```docker-compose up```
   4 3. For specific behavior of of the simulators, add arguments to the `command` entries in the `docker-compose.yml`.
   5 For example `command: node dmaapDR.js --tc no_publish` . (No argument will assume '--tc normal'). Run `node dmaapDR.js --printtc`
   6 and `node dmaapDR-redir.js --printtc` for details or see further below for the list of possible arg to the simulator
   7
   8 ###Run DR simulators and all other simulators as one group
   9 See the README in the 'simulator-group' dir.
  10
  11 ###Run DR simulators from cmd line
  12 1. install nodejs
  13 2. install npm
  14 Make sure that you run these commands in the application directory "dr-sim"
  15 3. `npm install express`
  16 4. `npm install argparse`
  17 5. `node dmaapDR.js`   #keep it in the foreground, see below for a list for arg to the simulator
  18 6. `node dmaapDR_redir.js`  #keep it in the foreground, see below for a list for arg to the simulator
  19
  20 ###Arg to control the behavior of the simulators
  21
  22 **DR**
  23
  24         --tc tc_normal                      Normal case, query response based on published files. Publish respond with ok/redirect depending on if file is published or not.</br>
  25         --tc tc_none_published              Query respond 'ok'. Publish respond with redirect.</br>
  26         --tc tc_all_published               Query respond with filename. Publish respond with 'ok'.</br>
  27         --tc tc_10p_no_response             10% % no response for query and publish. Otherwise normal case.</br>
  28         --tc tc_10first_no_response         10 first queries and requests gives no response for query and publish. Otherwise normal case.</br>
  29         --tc tc_100first_no_response        100 first queries and requests gives no response for query and publish. Otherwise normal case.</br>
  30         --tc tc_all_delay_1s                All responses delayed 1s (both query and publish).</br>
  31         --tc tc_all_delay_10s               All responses delayed 10s (both query and publish).</br>
  32         --tc tc_10p_delay_10s               10% of responses delayed 10s, (both query and publish).</br>
  33         --tc tc_10p_error_response          10% error response for query and publish. Otherwise normal case.</br>
  34         --tc tc_10first_error_response      10 first queries and requests gives no response for query and publish. Otherwise normal case.</br>
  35         --tc tc_100first_error_response     100 first queries and requests gives no response for query and publish. Otherwise normal case.</br>
  36
  37
  38 **DR Redirect**
  39
  40         --tc_normal                         Normal case, all files publish and DR updated.</br>
  41         --tc_no_publish                     Ok response but no files published.</br>
  42         --tc_10p_no_response                10% % no response (file not published).</br>
  43         --tc_10first_no_response            10 first requests give no response (files not published).</br>
  44         --tc_100first_no_response           100 first requests give no response (files not published).</br>
  45         --tc_all_delay_1s                   All responses delayed 1s, normal publish.</br>
  46         --tc_all_delay_10s                  All responses delayed 10s, normal publish.</br>
  47         --tc_10p_delay_10s                  10% of responses delayed 10s, normal publish.</br>
  48         --tc_10p_error_response             10% error response (file not published).</br>
  49         --tc_10first_error_response         10 first requests give error response (file not published).</br>
  50         --tc_100first_error_response        100 first requests give error responses (file not published).</br>
  51
  52
  53 ###Needed environment
  54
  55 DR
  56
  57         DRR_SIM_IP     Set to host name of the DR Redirect simulator "drsim_redir" if running the simulators in a docker private network. Otherwise to "localhost"
  58         DR_FEEDS       A comma separated list of configured feednames and filetypes. Example "1:A,2:B:C" - Feed 1 for filenames beginning with A and feed2 for filenames beginning with B or C.
  59
  60 `DRR_SIM_IP` is needed for the redirected publish request to be redirected to the DR redirect server.
  61
  62 DR Redirect (DRR for short)
  63
  64         DR_SIM_IP      Set to host name of the DR simulator "drsim" if running the simulators in a docker private network. Otherwise to "localhost"
  65         DR_REDIR_FEEDS Same contentd as DR_FEEDS for DR.
  66
  67 The DR Redirect server send callback to DR server to update the list of successfully published files.
  68 When running as container (using an ip address from the `dfc_net` docker network) the env shall be set to 'drsim'. . When running the servers from command line, set the env variable `DR_SIM_IP=localhost`
  69
  70 ###APIs for statistic readout
  71 The simulator can be queried for statistics (use curl from cmd line or open in browser, curl used below):
  72
  73 DR
  74
  75
  76 `curl localhost:3906/` - returns 'ok'
  77
  78 `curl localhost:3906/tc_info` - returns the tc id
  79
  80 `curl localhost:3906/execution_time` - returns the execution time in the format mm_ss
  81
  82 `curl localhost:3906/feeds` - returns the list of configured feeds
  83
  84 `curl localhost:3906/ctr_publish_query` - returns the number of publish queries for all feeds
  85
  86 `curl localhost:3906/feeds/ctr_publish_query` -returns a list of number of publish queries in each feed
  87
  88 `curl localhost:3906/ctr_publish_query/<feed>` - returns the number of publish queries for a feed
  89
  90 `curl localhost:3906/ctr_publish_query_published` - returns the number of query responses for all feeds where the files were published
  91
  92 `curl localhost:3906/feeds/ctr_publish_query_published` - returns a list of the number of query responses for each feed where the files were published
  93
  94 `curl localhost:3906/ctr_publish_query_published/<feed>` - returns the number of query responses for a feed where the files were published
  95
  96 `curl localhost:3906/ctr_publish_query_not_published` - returns the number of query responses for all feed where the files were not published
  97
  98 `curl localhost:3906/feeds/ctr_publish_query_not_published` - returns a list of the number of query responses for each feed where the files were not published
  99
 100 `curl localhost:3906/ctr_publish_query_not_published/<feed>` - returns the number of query responses for a feed where the files were not published
 101
 102 `curl localhost:3906/ctr_publish_req` - returns the number of publish requests for all feeds
 103
 104 `curl localhost:3906/feeds/ctr_publish_req` - returns a list of the number of publish requests for each feed
 105
 106 `curl localhost:3906/ctr_publish_req/<feed>` - returns the number of publish requests for feed
 107
 108 `curl localhost:3906/ctr_publish_req_redirect` - returns the number of publish responses with redirect for all feeds
 109
 110 `curl localhost:3906/feeds/ctr_publish_req_redirect` - returns a list of the number of publish responses with redirect for each feed
 111
 112 `curl localhost:3906/ctr_publish_req_redirect/<feed>` - returns the number of publish responses with redirect for a feed
 113
 114 `curl localhost:3906/ctr_publish_req_published` - returns the number of publish responses where files have been published (no redirect) for all feeds
 115
 116 `curl localhost:3906/feeds/ctr_publish_req_published` - returns a list of the number of publish responses where files have been published (no redirect) for each feeds
 117
 118 `curl localhost:3906/ctr_publish_req_published/<feed>` - returns the number of publish responses where files have been published (no redirect) for a feed
 119
 120 `curl localhost:3906/ctr_published_files` - returns the number of published files for all feeds
 121
 122 `curl localhost:3906/feeds/ctr_published_files` -  returns  a list of the number of published files for each feed
 123
 124 `curl localhost:3906/ctr_published_files/<feed>` - returns the number of published files for a feed
 125
 126 `curl localhost:3906/ctr_double_publish` - returns the number of double published files for all feeds
 127
 128 `curl localhost:3906/feeds/ctr_double_publish` -  returns  a list of the number of double published files for each feed
 129
 130 `curl localhost:3906/ctr_double_publish/<feed>` -  returns  a list of the number of double published files for a feed
 131
 132 `curl localhost:3906/ctr_publish_query_bad_file_prefix` - returns the number of publish queries with bad file prefix for all feeds
 133
 134 `curl localhost:3906/feeds/ctr_publish_query_bad_file_prefix` -  returns  a list of the number of publish queries with bad file prefix for each feed
 135
 136 `curl localhost:3906/ctr_publish_query_bad_file_prefix/<feed>` -  returns  a list of the number of publish queries with bad file prefix for a feed
 137
 138
 139 DR Redirect
 140
 141
 142 `curl localhost:3908/` - returns 'ok'
 143
 144 `curl localhost:3908/tc_info` - returns the tc id
 145
 146 `curl localhost:3908/execution_time` - returns the execution time in the format mm:ss
 147
 148 `curl localhost:3908/feeds` - returns the list of configured feeds
 149
 150 `curl localhost:3908/speed` - returns the speed in published files per second
 151
 152 `curl localhost:3908/ctr_publish_requests` - returns the number of publish requests for all feeds
 153
 154 `curl localhost:3908/feeds/ctr_publish_requests` - returns a list of the number of publish requests for each feed
 155
 156 `curl localhost:3908/ctr_publish_requests/<feed>` - returns the number of publish requests for a feed
 157
 158 `curl localhost:3908/ctr_publish_requests_bad_file_prefix` - returns the number of publish requests with bad file prefix for all feeds
 159
 160 `curl localhost:3908/feeds/ctr_publish_requests_bad_file_prefix` - returns a list of the number of publish requests with bad file prefix for each feed
 161
 162 `curl localhost:3908/ctr_publish_requests_bad_file_prefix/<feed>` - returns the number of publish requests with bad file prefix for a feed
 163
 164 `curl localhost:3908/ctr_publish_responses` - returns the number of publish responses for all feeds
 165
 166 `curl localhost:3908/feeds/ctr_publish_responses` - returns a list of the number of publish responses for each feed
 167
 168 `curl localhost:3908/ctr_publish_responses/<feed>` - returns the number of publish responses for a feed
 169
 170 `curl localhost:3908/time_lastpublish` - returns the time of the last successful publish in the format mm:ss for any feed
 171
 172 `curl localhost:3908/feeds/time_lastpublish` - returns a list of the time of the last successful publish in the format mm:ss for each feed
 173
 174 `curl localhost:3908/time_lastpublish/<feed>` - returns the time of the last successful publish in the format mm:ss for a feed
 175
 176 `curl localhost:3908/dwl_volume` - returns the number of bytes of published files for all feeds
 177
 178 `curl localhost:3908/feeds/dwl_volume` - returns a list of the number of bytes of the published files for each feed
 179
 180 `curl localhost:3908/dwl_volume/<feed>` - returns the number of bytes of the published files for a feed
 181
 182
 183