Release image version 1.12.2
[testsuite.git] / robot / testsuites / vnfsdk_validation.robot
index 993efca..12e3df3 100644 (file)
@@ -5,21 +5,23 @@ Test Timeout      1m
 Resource          ../resources/test_templates/vnfsdk_validation_template.robot
 Library           String
 Test Template     Validate Onboarding Package
-Default Tags      vnfsdk
+Default Tags      vnfsdk  pnf_preonboarding_onboarding
 
 
 *** Variables ***
-@{allMandatoryEntriesDefinedInTOSCAMeta}       r146092
-@{no_pnfd_release_date_time_error}       r57019
-@{non_mano_artifact_sets_is_mandatory}   r146092
-@{noETSI-Entry-ManifestOrETSI-Entry-Change-Log}  r293901
-@{PNFD_missing}  SOL004  r10087  r87234  r35854  r15837  r17852  r293901  r146092  r57019  r787965
-@{allMandatoryEntriesDefinedInTOSCAMeta_sdc_message}  Following entry not supported in TOSCA.meta Entry-Tests=Artifacts/Tests  Manifest contains invalid line : #The manifest file shall include a list of all files contained in or referenced from the VNF package with their location
-@{no_pnfd_release_date_time_error_sdc_message}  Following entry not supported in TOSCA.meta Entry-Tests=Artifacts/Tests  Manifest contains invalid line : #The manifest file shall include a list of all files contained in or referenced from the VNF package with their location
-@{non_mano_artifact_sets_is_mandatory_sdc_message}  Following entry not supported in TOSCA.meta Entry-Tests=Artifacts/Tests  Manifest contains invalid line : #The manifest file shall include a list of all files contained in or referenced from the VNF package with their location
-@{noETSI-Entry-ManifestOrETSI-Entry-Change-Log_sdc_message}   Manifest contains invalid line : #The manifest file shall include a list of all files contained in or referenced from the VNF package with their location
+@{allMandatoryEntriesDefinedInTOSCAMeta}       r146092   r816745  r01123
+@{no_pnfd_release_date_time_error}       r57019  r01123  r816745
+@{non_mano_artifact_sets_is_mandatory}   r146092  r01123
+@{noETSI-Entry-ManifestOrETSI-Entry-Change-Log}  r293901  r01123  r130206
+@{PNFD_missing}  SOL004  r10087  r87234  r35854  r15837  r17852  r293901  r146092  r57019  r787965    r972082  r01123  r130206  r816745
+@{missing_entry_in_manifest}
+@{allMandatoryEntriesDefinedInTOSCAMeta_sdc_message}   Manifest contains invalid line: 7: #The manifest file shall include a list of all files contained in or referenced from the VNF package with their location
+@{no_pnfd_release_date_time_error_sdc_message}    Invalid Manifest metadata entry: '#The manifest file shall include a list of all files contained in or referenced from the VNF package with their location'.;\nAt line 6: '#The manifest file shall include a list of all files contained in or referenced from the VNF package with their location'.
+@{non_mano_artifact_sets_is_mandatory_sdc_message}   Manifest contains invalid line: 7: #The manifest file shall include a list of all files contained in or referenced from the VNF package with their location
+@{noETSI-Entry-ManifestOrETSI-Entry-Change-Log_sdc_message}   Manifest contains invalid line: 7: #The manifest file shall include a list of all files contained in or referenced from the VNF package with their location   Manifest contains invalid line: 7: #The manifest file shall include a list of all files contained in or referenced from the VNF package with their location
 @{PNFD_missing_sdc_message}   TOSCA.meta file in TOSCA-metadata directory missing entry Created-By
 @{invalid_certificate}  Could not verify signature!
+@{missing_entry_in_manifest_sdc_message}  'pnf_main_descriptor.cert' artifact is not being referenced in manifest file
 
 
 *** Test Cases ***
@@ -28,6 +30,8 @@ Validate Onboarding allMandatoryEntriesDefinedInTOSCAMeta
      ...  This test case creates TOSCA csar software package for PNF, based on /var/opt/ONAP/demo/tosca/vnfsdk/allMandatoryEntriesDefinedInTOSCAMeta
      ...  Imports it as csar VSP package to SDC and comapres with list of expected errors.
      ...  Runs VNFSDK validation and comapres with list of expected errors.
+     ...  Expected failed requirements from VNFSDK  @{allMandatoryEntriesDefinedInTOSCAMeta}
+     ...  Expected errors from SDC Onboarding  @{allMandatoryEntriesDefinedInTOSCAMeta_sdc_message}
      allMandatoryEntriesDefinedInTOSCAMeta   failed_vnfreqNames=@{allMandatoryEntriesDefinedInTOSCAMeta}  sdc_response=@{allMandatoryEntriesDefinedInTOSCAMeta_sdc_message}
 
 Validate Onboarding non_mano_artifact_sets_is_mandatory
@@ -35,6 +39,8 @@ Validate Onboarding non_mano_artifact_sets_is_mandatory
      ...  This test case creates TOSCA csar software package for PNF, based on /var/opt/ONAP/demo/tosca/vnfsdk/non_mano_artifact_sets_is_mandatory
      ...  Imports it as csar VSP package to SDC and comapres with list of expected errors.
      ...  Runs VNFSDK validation and comapres with list of expected errors.
+     ...  Expected failed requirements from VNFSDK  @{non_mano_artifact_sets_is_mandatory}
+     ...  Expected errors from SDC Onboarding  @{non_mano_artifact_sets_is_mandatory_sdc_message}
      non_mano_artifact_sets_is_mandatory   failed_vnfreqNames=@{non_mano_artifact_sets_is_mandatory}  sdc_response=@{non_mano_artifact_sets_is_mandatory_sdc_message}
 
 Validate Onboarding no_pnfd_release_date_time_error
@@ -42,6 +48,8 @@ Validate Onboarding no_pnfd_release_date_time_error
      ...  This test case creates TOSCA csar software package for PNF, based on /var/opt/ONAP/demo/tosca/vnfsdk/no_pnfd_release_date_time_error
      ...  Imports it as csar VSP package to SDC and comapres with list of expected errors.
      ...  Runs VNFSDK validation and comapres with list of expected errors.
+     ...  Expected failed requirements from VNFSDK  @{no_pnfd_release_date_time_error}
+     ...  Expected errors from SDC Onboarding  @{no_pnfd_release_date_time_error_sdc_message}
      no_pnfd_release_date_time_error   failed_vnfreqNames=@{no_pnfd_release_date_time_error}  sdc_response=@{no_pnfd_release_date_time_error_sdc_message}
 
 Validate Onboarding noETSI-Entry-ManifestOrETSI-Entry-Change-Log
@@ -49,6 +57,8 @@ Validate Onboarding noETSI-Entry-ManifestOrETSI-Entry-Change-Log
      ...  This test case creates TOSCA csar software package for PNF, based on /var/opt/ONAP/demo/tosca/vnfsdk/noETSI-Entry-ManifestOrETSI-Entry-Change-Log
      ...  Imports it as csar VSP package to SDC and comapres with list of expected errors.
      ...  Runs VNFSDK validation and comapres with list of expected errors.
+     ...  Expected failed requirements from VNFSDK  @{noETSI-Entry-ManifestOrETSI-Entry-Change-Log}
+     ...  Expected errors from SDC Onboarding  @{noETSI-Entry-ManifestOrETSI-Entry-Change-Log_sdc_message}
      noETSI-Entry-ManifestOrETSI-Entry-Change-Log   failed_vnfreqNames=@{noETSI-Entry-ManifestOrETSI-Entry-Change-Log}  sdc_response=@{noETSI-Entry-ManifestOrETSI-Entry-Change-Log_sdc_message}
 
 Validate Onboarding PNFD_missing
@@ -56,44 +66,53 @@ Validate Onboarding PNFD_missing
      ...  This test case creates TOSCA csar software package for PNF, based on /var/opt/ONAP/demo/tosca/vnfsdk/PNFD_missing
      ...  Imports it as csar VSP package to SDC and comapres with list of expected errors.
      ...  Runs VNFSDK validation and comapres with list of expected errors.
+     ...  Expected failed requirements from VNFSDK  @{PNFD_missing}
+     ...  Expected errors from SDC Onboarding  @{PNFD_missing_sdc_message}
      PNFD_missing   failed_vnfreqNames=@{PNFD_missing}  sdc_response=@{PNFD_missing_sdc_message}
 
-Validate Onboarding test_SDC_and_VNFSDK_API
+Validate Onboarding test_SDC_and_VNFSDK_API, integrity_check CMS_with_cert
      [Documentation]
      ...  This test case creates TOSCA csar software package for PNF, based on /var/opt/ONAP/demo/tosca/vnfsdk/test_SDC_and_VNFSDK_API
      ...  Imports it as csar VSP package to SDC and expects success.
      ...  Runs VNFSDK validation and and expects success.
-     test_SDC_and_VNFSDK_API   negative_test_case=FALSE
+     test_SDC_and_VNFSDK_API_with_hash_cert_in_CMS   negative_test_case=FALSE   integrity_check=CMS_with_cert
 
-Validate Onboarding test_SDC_and_VNFSDK_API, secured csar, CMS only, valid certificate
+Validate Onboarding test_SDC_and_VNFSDK_API, integrity_check CMS_without_cert
+     [Documentation]
+     ...  This test case creates TOSCA csar software package for PNF, based on /var/opt/ONAP/demo/tosca/vnfsdk/test_SDC_and_VNFSDK_API
+     ...  Imports it as csar VSP package to SDC and expects success.
+     ...  Runs VNFSDK validation and and expects success.
+     test_SDC_and_VNFSDK_API_with_hash   negative_test_case=FALSE   integrity_check=CMS_without_cert
+
+Validate Onboarding test_SDC_and_VNFSDK_API, secured csar - CMS only - sdc valid certificate, integrity_check CMS_without_cert
      [Documentation]
      ...  This test case creates TOSCA csar software package for PNF, based on /var/opt/ONAP/demo/tosca/vnfsdk/test_SDC_and_VNFSDK_API
      ...  Next sign with certificate that is imported to SDC onabarding POD using CMS only method (CMS file signs csar, zip contains only csar and cms files )
      ...  Imports it as zip VSP package to SDC and expects success.
      ...  Runs VNFSDK validation and and expects success.
-     test_SDC_and_VNFSDK_API   secured_package=TRUE   negative_test_case=FALSE  secure_type=CMS  sdc_cert=sdc-valid
+     test_SDC_and_VNFSDK_API_with_hash   secured_package=TRUE   negative_test_case=FALSE  integrity_check=CMS_without_cert  secure_type=CMS  sdc_cert=sdc-valid
 
-Validate Onboarding test_SDC_and_VNFSDK_API, secured csar, CMS and CERT, valid certificate
+Validate Onboarding test_SDC_and_VNFSDK_API, secured csar - CMS and CERT - sdc valid certificate, integrity_check CMS_with_cert
      [Documentation]
      ...  This test case creates TOSCA csar software package for PNF, based on /var/opt/ONAP/demo/tosca/vnfsdk/test_SDC_and_VNFSDK_API
      ...  Next sign with certificate that is imported to SDC onabarding POD using CMS and CERT  method (CMS file signs csar, zip contains csar, certificate and cms files )
      ...  Imports it as zip VSP package to SDC and expects success.
      ...  Runs VNFSDK validation and and expects success.
-     test_SDC_and_VNFSDK_API   secured_package=TRUE   negative_test_case=FALSE  secure_type=CMS_AND_CERT  sdc_cert=sdc-valid
+     test_SDC_and_VNFSDK_API_with_hash_cert_in_CMS   secured_package=TRUE   negative_test_case=FALSE  integrity_check=CMS_with_cert  secure_type=CMS_AND_CERT  sdc_cert=sdc-valid
 
-Validate Onboarding test_SDC_and_VNFSDK_API secured csar, CMS only, invalid certificate
+Validate Onboarding test_SDC_and_VNFSDK_API, secured csar - CMS only - sdc invalid certificate, integrity_check CMS_without_cert
      [Documentation]
      ...  This test case creates TOSCA csar software package for PNF, based on /var/opt/ONAP/demo/tosca/vnfsdk/test_SDC_and_VNFSDK_API
      ...  Next sign with certificate that is not imported to SDC onabarding POD using CMS only method (CMS file signs csar, zip contains only csar and cms files )
      ...  Imports it as zip VSP package to SDC and expects error due to issues with certificate validation.
      ...  Runs VNFSDK validation and and expects success.
-     test_SDC_and_VNFSDK_API   secured_package=TRUE   negative_test_case=FALSE  sdc_response=@{invalid_certificate}  secure_type=CMS  sdc_cert=sdc-invalid
+     test_SDC_and_VNFSDK_API_with_hash   secured_package=TRUE   negative_test_case=FALSE  integrity_check=CMS_without_cert  sdc_response=@{invalid_certificate}  secure_type=CMS  sdc_cert=sdc-invalid
 
-Validate Onboarding test_SDC_and_VNFSDK_API secured csar, CMS and CERT, invalid certificate
+Validate Onboarding test_SDC_and_VNFSDK_API, secured csar - CMS and CERT - sdc invalid certificate, integrity_check CMS_with_cert
      [Documentation]
      ...  This test case creates TOSCA csar software package for PNF, based on /var/opt/ONAP/demo/tosca/vnfsdk/test_SDC_and_VNFSDK_API
      ...  Next sign with certificate that is not imported to SDC onabarding POD using CMS and CERT  method (CMS file signs csar, zip contains csar, certificate and cms files )
      ...  Imports it as zip VSP package to SDC and expects error due to issues with certificate validation.
      ...  Runs VNFSDK validation and and expects success
-     test_SDC_and_VNFSDK_API   secured_package=TRUE   negative_test_case=FALSE  sdc_response=@{invalid_certificate}  secure_type=CMS_AND_CERT  sdc_cert=sdc-invalid
+     test_SDC_and_VNFSDK_API_with_hash_cert_in_CMS   secured_package=TRUE   negative_test_case=FALSE  integrity_check=CMS_with_cert  sdc_response=@{invalid_certificate}  secure_type=CMS_AND_CERT  sdc_cert=sdc-invalid