HCE Project Python language Distributed Tasks Manager Application, Distributed Crawler Application and client API bindings.  2.0.0-chaika
Hierarchical Cluster Engine Python language binding
Namespaces | Variables
Consts.py File Reference

Go to the source code of this file.

Namespaces

 app.Consts
 

Variables

int app.Consts.NEW_TASK_HANDLER = 1
 
string app.Consts.VERSION_STRING = "2.0.0-chaika"
 
string app.Consts.LOGGER_NAME = "hce"
 
string app.Consts.LOGGER_NAME_PROFILER = "profiler"
 
string app.Consts.LOGGER_NAME_TRACEBACK = "traceback"
 
string app.Consts.START_DATE_NAME = "START_DATE"
 
int app.Consts.EXIT_SUCCESS = 0
 
int app.Consts.EXIT_FAILURE = 1
 
int app.Consts.ERROR_OK = 0
 
int app.Consts.ERROR_BAD_URL = 1
 
int app.Consts.ERROR_REQUEST_TIMEOUT = 1 << 1
 
int app.Consts.ERROR_HTTP_ERROR = 1 << 2
 
int app.Consts.ERROR_EMPTY_RESPONSE = 1 << 3
 
int app.Consts.ERROR_WRONG_MIME = 1 << 4
 
int app.Consts.ERROR_CONNECTION_ERROR = 1 << 5
 
int app.Consts.ERROR_PAGE_CONVERT_ERROR = 1 << 6
 
int app.Consts.ERROR_MACRO = 1 << 7
 
int app.Consts.ERROR_RESPONSE_SIZE_ERROR = 1 << 8
 
int app.Consts.ERROR_AUTH_ERROR = 1 << 9
 
int app.Consts.ERROR_WRITE_FILE_ERROR = 1 << 10
 
int app.Consts.ERROR_ROBOTS_NOT_ALLOW = 1 << 11
 
int app.Consts.ERROR_PARSE_ERROR = 1 << 12
 
int app.Consts.ERROR_BAD_ENCODING = 1 << 13
 
int app.Consts.ERROR_SITE_MAX_ERRORS = 1 << 14
 
int app.Consts.ERROR_SYNCHRONIZE_URL_WITH_DB = 1 << 15
 
int app.Consts.ERROR_CRAWLER_FILTERS_BREAK = 1 << 16
 
int app.Consts.ERROR_MAX_ALLOW_HTTP_REDIRECTS = 1 << 17
 
int app.Consts.ERROR_MAX_ALLOW_HTML_REDIRECTS = 1 << 18
 
int app.Consts.ERROR_GENERAL_CRAWLER = 1 << 19
 
int app.Consts.ERROR_DTD_INVALID = 1 << 20
 
int app.Consts.ERROR_MACRO_DESERIALIZATION = 1 << 21
 
int app.Consts.ERROR_FETCH_AMBIGUOUS_REQUEST = 1 << 22
 
int app.Consts.ERROR_FETCH_CONNECTION_ERROR = 1 << 23
 
int app.Consts.ERROR_FETCH_HTTP_ERROR = 1 << 24
 
int app.Consts.ERROR_FETCH_INVALID_URL = 1 << 25
 
int app.Consts.ERROR_FETCH_TOO_MANY_REDIRECTS = 1 << 26
 
int app.Consts.ERROR_FETCH_CONNECTION_TIMEOUT = 1 << 27
 
int app.Consts.ERROR_FETCH_READ_TIMEOUT = 1 << 28
 
int app.Consts.ERROR_FETCH_TIMEOUT = 1 << 29
 
int app.Consts.ERROR_FETCHER_INTERNAL = 1 << 30
 
int app.Consts.ERROR_MASK_SITE_MAX_RESOURCES_NUMBER = 1 << 31
 
int app.Consts.ERROR_DATABASE_ERROR = 1 << 32
 
int app.Consts.ERROR_MASK_SITE_MAX_RESOURCES_SIZE = 1 << 33
 
int app.Consts.ERROR_MASK_SITE_UNSUPPORTED_CONTENT_TYPE = 1 << 34
 
int app.Consts.ERROR_MASK_URL_ENCODING_ERROR = 1 << 35
 
int app.Consts.ERROR_MASK_SCRAPER_ERROR = 1 << 36
 
int app.Consts.ERROR_MASK_MISSED_RAW_CONTENT_ON_DISK = 1 << 37
 
int app.Consts.ERROR_RE_ERROR = 1 << 38
 
int app.Consts.ERROR_MANDATORY_TEMPLATE = 1 << 39
 
int app.Consts.ERROR_PROCESSOR_FILTERS_BREAK = 1 << 40
 
int app.Consts.ERROR_MASK_SITE_STATE = 1 << 41
 
int app.Consts.ERROR_MAX_ITEMS = 1 << 42
 
int app.Consts.ERROR_MAX_URLS_FROM_PAGE = 1 << 43
 
int app.Consts.ERROR_TEMPLATE_SOURCE = 1 << 44
 
int app.Consts.ERROR_RSS_EMPTY = 1 << 45
 
int app.Consts.ERROR_URLS_SCHEMA_EXTERNAL = 1 << 46
 
int app.Consts.ERROR_NOT_EXIST_ANY_VALID_PROXY = 1 << 47
 
int app.Consts.ERROR_FETCH_FORBIDDEN = 1 << 48
 
int app.Consts.ERROR_NO_TIME_WINDOW = 1 << 49
 
int app.Consts.ERROR_CRAWLER_FATAL_INITIALIZATION_PROJECT_ERROR = 1 << 50
 
int app.Consts.ERROR_PROCESSOR_BATCH_ITEM_PROCESS = 1 << 51
 
int app.Consts.ERROR_MAX_EXECUTION_TIME = 1 << 52
 
string app.Consts.CONFIG_APPLICATION_SECTION_NAME = "Application"
 
string app.Consts.CONFIG_PROFILER_SECTION_NAME = "Profiler"
 
string app.Consts.LOGGER_DELIMITER_LINE = "============================================\n"
 
int app.Consts.APP_USAGE_MODEL_PROCESS = 0
 
int app.Consts.APP_USAGE_MODEL_MODULE = 1
 
string app.Consts.URLS_TO_BATCH_TASK_APP_NAME = "UrlsToBatchTask"
 
string app.Consts.URLS_FETCH_JSON_TO_DBTASK_APP_NAME = "URLFetchToJsonDBTaskConvertor"
 
string app.Consts.SOCIAL_TASK_APP_NAME = "SocialTask"
 
string app.Consts.CONTENT_UPDATER_APP_NAME = "ContentUpdater"
 
string app.Consts.POST_PROCESSOR_APP_NAME = "PostprocessorTask"
 
string app.Consts.SOCIAL_PROFILES_VERIFIER_APP_NAME = "SocialProfilesVerifier"
 
string app.Consts.SOCIAL_DATA_GET_API_APP_NAME = "SocialDataGetApi"
 
string app.Consts.SOCIAL_DATA_UPDATER_APP_NAME = "SocialDataUpdater"
 
string app.Consts.PDATE_SOURCES_MASK_PROP_NAME = "PDATE_SOURCES_MASK"
 
string app.Consts.PDATE_SOURCES_MASK_OVERWRITE_PROP_NAME = "PDATE_SOURCES_MASK_OVERWRITE"
 
string app.Consts.PDATE_SOURCES_EXPRESSION_PROP_NAME = "PDATE_SOURCES_EXPRESSION"
 
string app.Consts.SQL_EXPRESSION_FIELDS_UPDATE_CRAWLER = 'SQL_EXPRESSION_FIELDS_UPDATE_CRAWLER'
 
string app.Consts.SQL_EXPRESSION_FIELDS_UPDATE_PROCESSOR = 'SQL_EXPRESSION_FIELDS_UPDATE_PROCESSOR'
 
string app.Consts.SQL_EXPRESSION_FIELDS_PDATE_TIME = 'PDATE_TIME'
 
string app.Consts.REPLACEMENT_CONTENT_DATA = 'REPLACE'
 
string app.Consts.URL_NORMALIZE = 'URL_NORMALIZE'
 
int app.Consts.PDATE_SOURCES_MASK_URL_NAME = 1
 
int app.Consts.PDATE_SOURCES_MASK_RSS_FEED = 1 << 1
 
int app.Consts.PDATE_SOURCES_MASK_HTTP_DATE = 1 << 2
 
int app.Consts.PDATE_SOURCES_MASK_HTTP_LAST_MODIFIED = 1 << 3
 
int app.Consts.PDATE_SOURCES_MASK_DC_DATE = 1 << 4
 
int app.Consts.PDATE_SOURCES_MASK_PUBDATE = 1 << 5
 
int app.Consts.PDATE_SOURCES_MASK_NOW = 1 << 6
 
int app.Consts.PDATE_SOURCES_MASK_SQL_EXPRESSION = 1 << 7
 
int app.Consts.PDATE_SOURCES_MASK_BIT_DEFAULT = 255
 
int app.Consts.PDATE_SOURCES_MASK_OVERWRITE_DEFAULT = 192