Переменные используемые для настройки AW BI¶
Переменная | Описание | Настраивает сервис | Значение по умолчанию |
---|---|---|---|
SERVER_TIMEZONE | Таймзона сервера | etl-api, etl-stats, etl-airflow | Europe/Moscow |
AW_FRONTEND_HTTP_PORT | Внешний порт | frontend | 80 |
BACKEND_URL | Адрес по которому доступен backend | backend, widget-export, clear-storage, model-changes, model-sync, create-cache-dir, etl-api, etl-stats, auth-bridge, data-master, sender, file-builder | http://frontend/api |
FRONTEND_URL | URL-адрес системы (должен совпадать с адресом указанным в лицензии) | backend, widget-export, clear-storage, model-changes, model-sync, create-cache-dir, sender, file-builder | http://localhost |
FRONTEND_BASE_HREF | Относительный путь, на котором развернута система | frontend, backend, puppeteer | '/' |
YII_DEBUG | Включить режим отладки | backend, widget-export, clear-storage, model-changes, model-sync, create-cache-dir, sender, file-builder, websocket | flase |
YII_ENV | Среда выполения | backend, widget-export, clear-storage, model-changes, model-sync, create-cache-dir, sender, file-builder, websocket | prod |
GII_ENABLE | Подключение GII | backend, widget-export, clear-storage, model-changes, model-sync, create-cache-dir, sender, file-builder, websocket | false |
AW_WIDGET_QUERY_TIMEOUT | Максимальное время выполнения запроса в clickhouse | backend, widget-export. model-sync | 30 |
AW_CLICK_DATE | Дата является датой, а не строкой (для live-подключений) | backend, create-cache-dir, widget-export, model-sync | false |
BACKEND_SESSION_EXPIRED_TIME | Время истечения действия токена | backend | 86400 |
CLICK_TIMEOUT | Таймаут соединения с сервером clickhouse | backend, widget-export, model-changes, mode-sync, create-cache-dir | 36000 |
INTERNAL_API_TOKEN | Токен авторизации для внутренних коммуникаций системы | backend | 1 |
TRIAL_USER_ACTIVE_DAY_COUNT | Количество активных дней в системе для триального пользователя | backend | 14 |
TRIAL_CLEAR_DATA_DAY_COUNT | Количество дней до очистки данных триального пользователя в системе, после истечения активных дней | backend | 7 |
TRIAL_USER_MODEL_COUNT | Максимальное количество моделей, которое может создать триальный пользователь | backend | 5 |
TRIAL_USER_FILE_DATA_SOURCE_COUNT | Максимальное количество файловых источников, которое может создать триальный пользователь | backend | 20 |
TRIAL_FILE_DATA_SOURCE_SIZE | Максимальный размер файловых источников для триального пользователя | backend | 50 |
TRIAL_MODEL_SIZE | Максимальный размер(в мегабайтах) модели для триального пользователя | backend, etl-pusher, etl-airflow | 0 |
TRIAL_USER_SHARE | Может ли триальный пользователь делиться объектами | backend | false |
CAN_SHARE_PUBLIC_LINKS_FOR_TRIAL_USERS | Может ли триальный пользователь создавать публичные ссылки | backend | true |
AW_SWAGGER_PORT_EXPORTED | Порт, по которому доступен swagger | swagger | 85 |
MAIL_DEBUG | Включить режим отладки почты, при этом все письма записываются в файлы в папке @runtime/mail | backend, sender | false |
BACKEND_REDIS_HOST | Хост для редиса | backend | etl-broker |
BACKEND_REDIS_PORT | Порт для редиса | backend | 6379 |
BACKEND_REDIS_DATABASE | База для редиса. etl использует базы 0 и 2, их использовать нельзя | backend | 1 |
BACKEND_REDIS_CONNECTION_TIMEOUT | Параметр для connectionTimeout в Redis. Измеряется в секундах. | backend | 5 |
BACKEND_REDIS_DATA_TIMEOUT | Параметр для dataTimeout в Redis. Измеряется в секундах | backend | 5 |
BACKEND_LIVE_WIDGET_DATA_CACHE_DURATION | Время жизни кеширования данных виджета, построенных на live-модели. Измеряется в секундах. | backend | 3600 |
DB_USERNAME | Имя пользователя БД | backend, widget-export, clear-storage, model-changes, model-sync, create-cache-dir, sender, file-builder, websocket | analytic |
DB_PASSWORD | Пароль пользователя БД | backend, widget-export, clear-storage, model-changes, model-sync, create-cache-dir, sender, file-builder, websocket, pgbouncer | enter4z |
DB_NAME | Имя базы данных | pgbouncer | workspace |
DB_PORT_EXPORTED | Внешний порт | db | 0 |
DB_DSN | Строка подключения для сервисов backend | backend, widget-export, clear-storage, model-changes, model-sync, create-cache-dir, sender, file-builder, websocket | pgsql:host=pgbouncer;port=6432;dbname=workspace |
PGB_POSTGRESQL_HOST | Адрес, по которому доступен postgres | pgbouncer | db |
PGB_POSTGRESQL_PORT | Порт, по которому доступен postgres | pgbouncer | 5432 |
PGB_POOL_MODE | pgbouncer | transaction | |
PGB_MAX_CLIENT_CONN | Максимальное количество клиентов | pgbouncer | 1100 |
PGB_MAX_DB_CONNECTIONS | Максимальное количество соединений | pgbouncer | 300 |
PGB_DEFAULT_POOL_SIZE | Максимальное количество соединений, для связки user/db | pgbponcer | 50 |
PGB_PORT_EXPORTED | Внешний порт | pgbouncer | 6432 |
CLICK_HOST | Адрес, по которому доступен clickhouse-server | backend, widget-export, model-cahges, model-sync, create-cache-dir, java-puller, etl-pusher, data-master | clickhouse-server |
CLICK_PORT | HTTP-порт, по которому доступен clickhouse-server | backend, widget-export, model-cahges, model-sync, create-cache-dir | 8123 |
CLICK_TCP_PORT | TCP-порт, по которому доступен clickhouse-server | backend, widget-export, model-cahges, model-sync, create-cache-dir, java-puller, etl-pusher, data-master | 9000 |
CLICK_MYSQL_PORT | Порт, для взаимодействия по протоколу MySQL | backend, widget-export, model-cahges, model-sync, create-cache-dir | 9004 |
CLICK_POSTGRESQL_PORT | Порт, для взаимодействия по протоколу Postgres | backend, widget-export, model-cahges, model-sync, create-cache-dir | 9005 |
CLICK_DB | Наименование базы данных | backend, widget-export, model-cahges, model-sync, create-cache-dir, java-puller, etl-pusher, data-master | default |
CLICK_USER | Имя пользователя | backend, widget-export, model-cahges, model-sync, create-cache-dir, java-puller, etl-pusher, data-master | default |
CLICK_PASS | Пароль пользователя | backend, widget-export, model-cahges, model-sync, create-cache-dir, java-puller, etl-pusher, data-master | enter4z |
CLICK_SSL | Использовать SSL при подключении | backend, widget-export, model-cahges, model-sync, create-cache-dir, java-puller, etl-pusher, data-master | false |
CLICK_ISCLUSTER | Флаг кластерного режима. Возможные значения: NO/YES | backend, widget-export, model-cahges, model-sync, create-cache-dir, java-puller, etl-pusher | NO |
CLICK_CLUSTER | Наименование кластера | backend, widget-export, model-cahges, model-sync, create-cache-dir, java-puller, etl-pusher | cluster |
CLICK_HOSTS | Список адресов, по которым доступны сервера clickhouse. Только если CLICK_ISCLUSTER=true | etl-pusher | |
AW_CLICKHOUSE_HTTP_PORT_EXPORTED | Внешний HTTP-порт | clickhouse-server | 0 |
AW_CLICKHOUSE_TCP_PORT_EXPORTED | Внешний TCP-порт | clickhouse-server | 0 |
AW_CLICKHOUSE_REPLICATION_PORT_EXPORTED | Внешний порт для репликаций | clickhouse-server | 0 |
AW_CLICKHOUSE_METRICS_PORT_EXPORTED | Внешний порт для метрик | clickhouse-server | 0 |
AW_CLICKHOUSE_MYSQL_PORT_EXPORTED | Внешний порт для взаимодействия по протоколу MySQL | clickhouse-server | 0 |
AW_CLICKHOUSE_POSTGRESQL_PORT_EXPORTED | Внешний порт для взаимодействия по протоколу PostgreSQL | clickhouse-server | 0 |
JAVA_PULLER_HOST | Адрес, по которому доступен java-puller | backend, model-sync, etl-api, etl-data-preview, etl-tasks, etl-stats | java-puller |
JAVA_PULLER_PORT | Порт, по которому доступен java-puller | backend, model-sync, etl-api, etl-data-preview, etl-tasks, etl-stats | 8081 |
JAVA_PULLER_PORT_EXPORTED | Внешний порт java-puller | java-puller | 8081 |
JAVA_PULLER_OPTIONS | Настройки JVM для java-puller | java-puller | -Xms256m -Xmx4g -XX:+PrintFlagsFinal |
AW_FILE_PULLER_URL | Адрес, по которому доступен file-puller | backend, etl-api, etl-data-preview, etl-tasks, etl-stats | http://file-puller |
AW_FILE_PULLER_WEB_CONCURRENCY | file-puller | 1 | |
AW_FILE_PULLER_WORKER_CONCURRENCY | file-puller | 4 | |
AW_FILE_PULLER_LOG_LEVEL | Уровень журналирования событий | file-puller | INFO |
AW_FILE_PULLER_PORT_EXPORTED | Внешний порт | file-puller | 0 |
AW_ODATA_PULLER_URL | Адрес, по которому доступен odata-puller | backend, etl-api, etl-data-preview, etl-tasks, etl-stats | http://odata-puller |
AW_ODATA_PULLER_PORT_EXPORTED | Внешний порт | odata-puller | 0 |
AW_ODATA_PULLER_LOG_LEVEL | Уровень журналирования событий | odata-puller | INFO |
AW_ODATA_PULLER_S3_URL | Путь (url+auth) к бакету, в который odata-пуллер будет хранить свои артефакты | odata-puller | http://minio_user:minio_access_pass@minio:9000/aw-odata |
AW_ODATA_METADATA_TTL | Время кеширования метаданных | odata-puller | 3600 |
ETL_S3_URL | Путь (url+auth) к бакету, через который пуллер будет обмениваться с ETL parquet-файлами при синхронизации модели | java-puller, odata-puller, etl-pusher | http://minio_user:minio_access_pass@minio:9000/aw-etl |
CLICK_PARSER_HOST | Адрес, по которому доступен clickhouse-parser | backend, widget-export, model-sync, create-cache-dir | clickhouse-parser |
CLICK_PARSER_PORT | Порт, по которому доступен clickhouse-parser | backend, widget-export, model-sync, create-cache-dir | 8082 |
CLICK_PARSER_TIMEOUT | Таймаут соединения с сервисом clickhouse-parser | backend, widget-export, model-sync | 15 |
CLICK_PARSER_OPTIONS | Настройки JVM для clickhouse-parser | clickhouse-parser | -Xms256m -Xmx2048m |
ETL_MODEL_STORAGE_S3_URL | URL+auth к S3 бакету, в котором хранятся артефакты моделей | etl-airflow, etl-api, etl-data-preview, etl-tasks, etl-stats | http://minio_user:minio_access_pass@minio:9000/aw-etl |
ETL_PULLER_TIMEOUT | Таймаут на обращение к пуллеру (в секундах) | etl-airflow, etl-data-preview | |
ETL_BROKER_URL | Адрес брокера ETL | etl-api, etl-data-preview, etl-stats, etl-airflow | redis://etl-broker:6379/0 |
ETL_EXTRA_PYWHEELS | Путь к хостовой папке, в которой располагаются дополнительно устанавливаемые py-библиотеки | etl-airflow, etl-data-preview | |
ETL_EXTRA_PYLIBS_INSTALL | Перечисление дополнительно устанавливаемых py-библиотек | etl-airflow, etl-data-preview | |
ETL_EXTRA_PYLIBS_ALLOW | Перечисление библиотек, импорт которых разрешен в etl-скриптах | etl-airflow, etl-data-preview | |
ETL_EXTRA_PYBUILTINS_ALLOW | Перечисление дополнительных стандартных функций, которые можно использовать в etl-скриптах | etl-airflow, etl-data-preview | |
ETL_SYNC_SERVER_HOST | Адрес, по которому доступен etl-api | backend, data-master | etl-api |
ETL_SYNC_SERVER_PORT | Порт, по которому доступен etl-api | backend, data-master | 80 |
AW_ETL_API_PORT_EXPORTED | Внешний порт etl-api | etl-api | 0 |
ETL_XSQL_QUERY_TIMEOUT | Таймаут на операцию выполнения SQL запроса над файлами | etl-api | |
ETL_API_URL | URL для etl-api | auth-bridge | http://etl-api |
ETL_API_WORKERS | Количество web-воркеров для etl-api | etl-api | 1 |
ETL_API_START_PREVIEW_TIMEOUT | Таймаут взятие в работу rpc-задач etl-data-preview в секундах | etl-api | 10 |
ETL_AIRFLOW_HOST | URL Airflow Webserver | auth-bridge | http://etl-airflow-webserver:8080 |
ETL_AIRFLOW_API_URL | URL Airflow Webserver API | etl-api, etl-tasks | http://etl-airflow-webserver:8080/airflow/ |
ETL_AIRFLOW_USER | Логин пользователя-администратора Airflow | etl-airflow, etl-api, etl-tasks, etl-stats, auth-bridge | admin |
ETL_AIRFLOW_PASSWORD | Пароль пользователя-администратора Airflow | etl-airflow, etl-api, etl-tasks, etl-stats, auth-bridge | 1 |
ETL_AIRFLOW_AW_USER | Логин служебного пользователя Airflow | etl-airflow, auth-bridge | aw |
ETL_AIRFLOW_AW_PASSWORD | Пароль служебного пользователя Airflow | etl-airflow, auth-bridge | 1 |
ETL_AIRFLOW_LOG_LEVEL | Уровень журналирования Airflow | etl-airflow | INFO |
ETL_AIRFLOW_PARALLELISM | Максимальное количество одновременно выполняемых задач во всех активных DAG | etl-airflow | 32 |
ETL_AIRFLOW_MAX_ACTIVE_TASKS_PER_DAG | Максимальное количество одновременно выполняемых задач внутри одного DAG | etl-airflow | 16 |
ETL_AIRFLOW_TRIGGER_DAG_TIMEOUT | Время ожидания запуска DAG'а Airflow (в секундах) | etl-airflow | 60 |
ETL_AIRFLOW_DB_CONNECTION | Строка подключения к БД Airflow | etl-airflow | postgresql+psycopg2://airflow:airflow@etl-airflow-db:5432/airflow |
AW_ETL_AIRFLOW_WEB_PORT_EXPORTED | Внешний порт Airflow Webserver | etl-airflow | 0 |
ETL_AIRFLOW_WORKERS | Количество воркеров для Airflow | etl-airflow | 16 |
ETL_AIRFLOW_WORKERS_AUTOSCALE | Автоматическое маштабирование воркеров от min до max | etl-airflow | |
ETL_AIRFLOW_WEBSERBER_WORKERS | Количество воркеров для web-сервера Airflow, в т.ч. для API | etl-airflow | 4 |
ETL_AIRFLOW_SCHEDULER_LOG_LEVEL | Уровень журналирования событий у Airflow Scheduler | etl-airflow | ERROR |
ETL_AIRFLOW_SCHEDULER_PARSING_PROCESSES | # Количество процессов, которые используюся для парсинга DAG | etl-airflow | 2 |
ETL_SPARK_MASTER_URL | Адрес, по которому доступен spark | etl-api | spark://etl-spark:7077 |
ETL_SPARK_WEB_URL | Адрес, по которому доступен UI spark | auth-bridge | http://etl-spark:8080 |
ETL_SPARK_EXECUTOR_MEMORY | Максимальное количество памяти, потребляемое каждым исполнителем Spark | etl-airflow | 4G |
AW_ETL_SPARK_MASTER_PORT_EXPORTED | Внешний порт Spark мастера | etl-spark | 0 |
ETL_SPARK_MAX_CORES | Максимальное количество ядер, выделяемое на синхронизацию одной модели | etl-airflow | |
ETL_LOGGING_LEVEL | etl-api, etl-data-preview, etl-stats | INFO | |
ETL_STATS_RUN_WINDOW | ВременнОе окно для запуска статистики | etl-stats | |
ETL_STATS_DEFAULT_DATASOURCE_QUOTA | Дефолтное значение | etl-stats | |
ETL_STATS_WORKERS | Количество воркеров для обработки stats-задач | etl-stats | 2 |
ETL_STATS_MAX_WORKER_THREADS | Сколько максимально тредов можно запускать в одно и то же время. Каждый тред используется для обработки статистики одного источника из модели | etl-stats | 2 |
ETL_STATS_REDIS_DB_URL | URL базы в etl-broker | etl-stats | redis://etl-broker:6379/2 |
ETL_STATS_TASKS_BROKER_URL | etl-stats | redis://etl-broker:6379/3 | |
ETL_STATS_S3_URL | URL до бакета (вместе с auth), где статистика будет хранить свои артефакты | etl-airflow, etl-api, etl-data-preview, etl-tasks, etl-stats | http://minio_user:minio_access_pass@minio:9000/aw-etl |
ETL_BLOCKS_REPOSITORY | URL к репозиторию ETL-блоков, устанавливаемых в систему дополнительно к основным блокам | etl-tasks | |
ETL_DATA_PREVIEW_SPARK_CORES | Количество ядер, которое выделяется на задачи предпросмотра | etl-data-preview | |
ETL_DATA_PREVIEW_SPARK_MEMORY | Количество памяти, которое выделяется на задачи предпросмотра | etl-data-preview | |
ETL_DATA_PREVIEW_WORKERS | Количество web-воркеров | etl-data-preview | |
ETL_DATA_PREVIEW_MAX_REQUESTS | Количество запросов, после которых нужно перегружать воркер | etl-data-preview | 1000 |
ETL_DATA_PREVIEW_MAX_TASK_DURATION | Макс. время на выполнение задачи в etl-data-preview в секундах | etl-data-preview | 900 |
ETL_DATA_PREVIEW_WARMUP_SPARK_SESSION | Выполнять ли прогрев Spark-сессии при старте воркера | etl-data-preview | |
ETL_KEEP_FILES_DAYS | Через столько дней будут удаляться неиспользуемые файлы в папке запуска etl | etl-tasks, etl-stats | |
ETL_KEEP_DAGS_DAYS | Через столько дней будут удаляться неиспользуемые модели | etl-tasks, etl-stats | |
ETL_TASKS_LOG_LEVEL | Уровень журналировани для сервиса ETL_TASKS | etl-tasks | |
AW_DATA_MASTER_WORKERS | Количество web-воркеров | data-master | 2 |
AW_DATA_MASTER_EXPORT_MODEL_DATA | Управляет возможностью выгрузки данных моделей | data_master | ALLOW |
AUTH_BRIDGE_LOGGING_LEVEL | Уровень журналирования | auth-bridge | INFO |
AUTH_BRIDGE_DEBUG | Включить отладочный режим. В отладочном режиме реальных запросов аутентификации в backend не происходит. Настоятельно не рекомендуется включать на продуктовой установке! | auth-bridge | false |
AUTH_BRIDGE_SECRET | JWT secret, используемый для генерации токенов доступа к внутренним ресурсам | auth-bridge, data-master | a7f67106d9234324b3a28cb618e78fc0 |
ML_FLOW_S3_ENDPOINT_URL | etl-mlflow | ||
ML_FLOW_PORT_EXPORTED | Внешний порт ml-flow | etl-mlflow | |
ETL_MLFLOW_WORKERS | Количество воркеров | etl-mlflow | 4 |
ETL_MLFLOW_URL | URL-адрес, по которому доступен mlflow | etl-airflow, etl-spark, etl-data-preview, auth-bridge, data-master | http://etl-mlflow |
AW_WIDGET_EXPORT_MAX_FILE_SIZE | Максимальный размер экспортируемого файла | backend | 8GiB |
AW_WIDGET_EXPORT_SCALE | Количество реплик сервиса widget-export | widget-export | 4 |
MODEL_SYNC_COUNT | Максимальное количество таблиц в clickhouse, для синхронизируемых моделей | etl-pusher | 2 |
AW_MODEL_SYNC_SCALE | Количество реплик сервиса model-sync | model-sync | 4 |
AW_MODEL_CACHE_DIR_SCALE | Количество реплик сервиса create-cache-dir | create-cache-dir | 4 |
MEMCACHED_HOST | Адрес, по которому доступен memcached | backend, widget-export, clear-storage, model-changes, model-sync, create-cache-dir, websocket | memcached |
MEMCACHED_PORT | Порт, по которому доступен memcached | backend, widget-export, clear-storage, model-changes, model-sync, create-cache-dir, websocket | 11211 |
AW_MEMCACHED_PORT_EXPORTED | Внешний порт memcached | memcached | 0 |
RABBIT_HOST | Адрес, по которому доступен rabbitmq | backend, widget-export, clear-storage, model-changes, model-sync, create-cache-dir, sender, file-builder, etl-api | rabbitmq |
RABBIT_PORT | Порт, по которому доступен rabbitmq | backend, widget-export, clear-storage, model-changes, model-sync, create-cache-dir, sender, file-builder, etl-api | 5672 |
RABBIT_USER | Имя пользователя для подключения к RabbitMQ | backend, widget-export, clear-storage, model-changes, model-sync, create-cache-dir, sender, file-builder, etl-api | guest |
RABBIT_PASS | Пароль пользователя для подключения к RabbitMQ | backend, widget-export, clear-storage, model-changes, model-sync, create-cache-dir, sender, file-builder, etl-api | guest |
AW_RABBIT_PORT_EXPORTED | Внешний порт RabbitMQ | rabbitmq | 0 |
AW_RABBIT_UI_PORT_EXPORTED | Внешний порт для UI RabbitMQ | rabbitmq | 0 |
MODEL_SYNC_QUEUE | Имя очереди синхронизации моделей | backend, model_sync | etl_model_sync |
CREATE_CACHE_DIR_QUEUE | Создание кеш директорий | backend, model-sync, create-cache-dir | create_cache_dir |
MODEL_CHANGES_QUEUE | Изменения структуры модели | backend, model-cachenges, etl-api | etl_model_changes |
MESSAGE_SENDER_QUEUE | Отправка email сообщения | backend, widget-export, sender, file-builder | message-sender |
FILE_BUILDER_QUEUE | Создание файла | file-builder, sender | file-builder |
MINIO_CONTAINER | Адрес, по которому доступен minio | backend, widget_export, clear-storage, model-sync, create-cache-dir, puppeteer, data-master, sender, file-builder | minio |
MINIO_PORT_S3 | Порт, по которому доступен minio извне | minio | 8181 |
MINIO_PORT_WEB | Порт, по которому доступен UI minio | minio | 8182 |
MINIO_USERNAME | Имя пользователя для доступа к S3 | backend, widget_export, clear-storage, model-sync, create-cache-dir, puppeteer, data-master, sender, file-builder | minio_user |
MINIO_PASSWORD | Пароль пользователя для доступа к S3 | backend, widget_export, clear-storage, model-sync, create-cache-dir, puppeteer, data-master, sender, file-builder | minio_access_pass |
MINIO_BUCKET | Наименование bucket'а для backend | backend, widget_export, clear-storage, model-sync, create-cache-dir, puppeteer, sender, file-builder | aw-bucket |
AW_S3_URL | URL к S3-хранилищу в AW (без указания бакета) | file-puller | http://minio_user:minio_access_pass@minio:9000 |
AW_FILE_STORAGE_DIR | Директории файлов | backend, widget_export, clear-storage, model-sync, create-cache-dir, websocket, etl-api, etl-tasks, java-puller, file-puller | ../file_storage |
AW_MINIO_DIR | Директория для хранения файлов minio | minio | ./../file_storage/minio |
AW_DB_POSTGRES_DIR | Директория для хранения файлов db (PostgreSQL) | db | ../db/postgres |
AW_DB_CLICKHOUSE_DIR | Директория для хранения файлов ClicKHouse | clickhouse-server | ../db/clickhouse |
AW_DB_RABBITMQ_DIR | Директория для хранения файлов RabbitMQ | rabbitmq | ../db/rabbitmq |
AW_DB_ETL_REDIS_DIR | Директория для хранения файлов Redis | etl-broker | ../db/etl_broker |
AW_DB_AIRFLOW_POSTGRES_DIR | Директория для хранения файлов БД Airflow | etl-airflow-db | ../db/airflow |
AW_LOGS_RABBITMQ_DIR | rabbitmq | ../logs/rabbitmq | |
AW_LOGS_AIRFLOW_DIR | etl-airflow | ../logs/airflow |