스냅샷
금액 정보 : Archive Amazon EBS snapshots - Amazon Elastic Compute Cloud
테라폼 코딩 / 꼼수 / 트릭 /
다음 module code를 보다가 궁금한게 생겼다.
resource "aws_lb_listener_rule" "redirect_to_https" {
# rules = { <each.key> = each.value }
for_each = local.rules
...
dynamic "condition" {
for_each = try(each.value.conditions, [])
content {
dynamic "host_header" {
for_each = try([condition.value.host_header], [])
content {
values = host_header.value.values
}
}
}
}
...
}위코드의 input은 다음과 같다.
...
conditions = [{
host_header = {
values = ["/onboarding", "/docs"]
}
}]
...여기서 왜 아래처럼 condition.value.host_header를 iterate
할 때, condition.value.host_header 를 로
감쌌는지 궁금했다.
...
dynamic "host_header" {
for_each = try([condition.value.host_header], [])
# 여기서 host header 는 아래와 같다.
# host_header = { values = ["/onboarding", "/docs"] },
content {
values = host_header.value.values
}
}
...아래처럼 바로 map 을 이용할 수도 있는데 말이다.
...
dynamic "host_header" {
for_each = try(condition.value.host_header, {})
# 여기서 host header 는 아래와 같다.
# host_header.key = values, host_header.value = ["/onboarding", "/docs"]
content {
values = host_header.value
}
}
...이것은 host_header.values 를 명시적으로 하기 위함인 듯
하다. 아래 input 값을 가지고 test 를 해보면 이해가 쉽다.
...
conditions = [{
path_pattern = {
vals = ["/onboarding", "/docs"]
}
}]
...만약 map을 그대로 이용한 경우에는 values를 사용하지
않아도, 첫번째 item 이 가지고 있는 값을 사용하게 된다. 하지만 list 로
감싸면, iterate 에서 map 을 그대로 사용하게 되기때문에, 명시적으로
values 를 사용해줘야만 한다.
그로인해 input 은 ’values’라는 key 를 사용해야 만 한다.
ref.1 은 infinte scroll 과 pagination 의 비교한 글이다.
일부를 정리하면 다음과 같다.
좀 더 목적이 있는 글에는 pagination 이 낫다.
유저가 빠르게 소비하는 content 에는 infinite 이 낫다.
구글 search 의 결과는 pagination 이지만, google image 의 결과는 infinite 인 이유가 image 를 보는 속도가 빠르기 때문이다.
모든 페이지의 모습이 ref.1 의 글안에 들어맞는 것은 아니다.
몇몇 무한스크롤은 명시적으로 콘텐츠를 더 불러오기 위해 클릭을 필요로 한다.
개인적으로 무한스크롤의 가장 큰 단점은 명시적으로 그 곳을 찾아가기가 어렵다는 것이라고 생각한다.
그것을 극복하는 방법중에 각 글에 대한 url을 제공하는 것이 의미가 있다고 본다. 이 경우 viewer에 대한 구현은 2가지가 있을 수 있다.
"You do not have the SUPER privilege and binary logging is enabled" 자동 백업 기능(automated backups)은 MySQL에 대해 바이너리 로깅(binary logging)을 켤지, 끌지를 결정한다.
- 바이너리 로깅 on: 백업 보존 기간(backup retention period)을 0이 아닌 양수 값으로 설정한다.
- 바이너리 로깅 off: 백업 보존 기간을 0으로 설정한다.
자동백업을 활성화하는 법: Working with backups - Amazon Relational Database Service
log_bin_trust_function_creators를 true로 설정하려면 새
DB parameter group을 생성하거나 기존 DB parameter group을 수정하면
된다.현재 RDS 의 binray logging 이 활성화됐는지는 다음 query 로 알 수 있다.
show global variables like 'log_bin'; 참고로 binary log 가 활성됐을 때 db version 을 확인하면 아래처럼 ‘-log’ 가 붙어서 보인다.
-- binary loggin on
> select version();
'10.6.10-MariaDB-log'
-- binary loggin off
> select version();
'10.6.10-MariaDB'디버그 요령 / 테라폼 요령 /
data "template_file" "my_user_data" {
# template = file("../../scripts/init-fish.yml")
template = templatefile(
"../../scripts/init-fish.tftpl",
{
bashrc = "${indent(6, file("../../scripts/.bashrc"))}"
}
)
}
output "debug_user_data_output" {
value = data.template_file.my_user_data.rendered
}
resource "aws_instance" "stage_a" {
...
user_data = data.template_file.my_user_data.rendered
}
resource "aws_ebs_volume" "stage_a" {
availability_zone = "ap-northeast-2a"
size = 10 # GB
iops = 3000
type = "gp3"
}
resource "aws_volume_attachment" "ebs_att" {
device_name = "/dev/sdf"
volume_id = aws_ebs_volume.stage_a.id
instance_id = aws_instance.stage_a.id
}#cloud-config
packages:
- curl
# .bashrc file
write_files:
- path: /home/admin/.bashrc
content: |
"${bashrc}"
- path: /home/admin/.profile
content: |
if [ -n "$BASH_VERSION" ]; then
# include .bashrc if it exists
if [ -f "$HOME/.bashrc" ]; then
. "$HOME/.bashrc"
fi
fi
bootcmd:
# format 하고
- test -z "$(blkid /dev/nvme1n1)" && mkfs -t ext4 -L home_admin /dev/nvme1n1
- mkdir -p /home/myuser
mounts:
# mount
- [ "/dev/nvme1n1", "/home/myuser", "ext4", "defaults,nofail", "0", "2" ]
runcmd:
# set .bashrc
- cp -f /home/bashrc_template_by_cloud_init /home/myuser/.bashrc
- chown admin:admin /home/admin/.bashrc
# .bashrc, ${}를 사용하려면 $${} 를 사용해야 한다. terraform 에서도 ${} 를 사용하기 때문에. 나머지 $ 들은 괜찮다.
if [ -n "$force_color_prompt" ]; then
if [ -x /usr/bin/tput ] && tput setaf 1 >&/dev/null; then
# We have color support; assume it's compliant with Ecma-48
# (ISO/IEC-6429). (Lack of such support is extremely rare, and such
# a case would tend to support setf rather than setaf.)
color_prompt=yes
else
color_prompt=
fi
fi
if [ "$color_prompt" = yes ]; then
PS1='$${debian_chroot:+($debian_chroot)}\[\033[01;32m\]\u@\h\[\033[00m\]:\[\033[01;34m\]\w\[\033[00m\]\$$ '
else
PS1='$${debian_chroot:+($debian_chroot)}\u@\h:\w\$ '
fi
다음 처럼 output 을 추가하고, terraform plan 을 하면
output 이 template_file이 어떤 모습으로 생성되는지 확인할 수 있다.
...
output "debug_user_data_output" {
value = data.template_file.my_user_data.rendered
}Actions -> Instance settings -> Edit user data 를
하자.cat /var/log/cloud-init-output.log/var/log/cloud-init-output.logaws 에서 cloud init 에 대한 log는
/var/log/cloud-init-output.log 에서 확인할 수 있다.
aws 에서 ebs block 을 attach 하는 경우, instance 가 생성된 후 로그인을 하고, mkfs 를 해줘야 한다.
이것을 cloud-init 을 통해 해보려 했다.
ref. 2 에서 이야기처럼, 문제는 instance 가 run 되고 나서 ebs 가 인식되는 듯 하다. 그래서 cloud-init 시점에 mount 나 mkfs 명령어가 제대로 동작하지 않았다.
그래서 결론은 runcmd 에 sleep 을 주는 것으로
해결했다.
disk_setup, fs_setupfs_setup을 통한 방법은 ref.1 을 보면, 이제 amazon linux
에서도 지원한다고 한다. 그래서 일단 시도해봤다. 아래 cloud-config 에서
‘2nd Attempt’ 대신 1st Attempt 를 사용했다.
이 경우에는 처음 실행후, 다시 cloud-init 을 하는 경우에 mount 가 됐다.
#cloud-config
packages:
- curl
bootcmd:
- mkdir -p /services
# ----------------
#
# 1st Attempt
#
# ----------------
# disk_setup:
# /dev/nvme1n1:
# table_type: gpt
# layout: true
# overwrite: false
#
# fs_setup:
# - label: fs1
# filesystem: ext4
# device: /dev/nvme1n1
# partition: auto
# cmd: mkfs -t %(filesystem)s -L %(label)s %(device)s
#
# mounts:
# - [ "/dev/nvme1n1", "/services"]
# ----------------
#
# 2nd Attempt
#
# ----------------
runcmd:
- chown -R admin:admin /home/admin/
- sleep 1m
- test -z "$(blkid /dev/nvme1n1)" && mkfs -t ext4 -L fds1 /dev/nvme1n1
- mount /dev/nvme1n1 /services
- echo '/dev/nvme1n1 /services auto defaults,nofail,comment=cloudconfig 0 2' >> /etc/fstab
sleep 1m약 1분 정도 sleep 을 줬다. 참고로 sleep 중에도 ssh login 은 가능했다.
이 경우 정상적으로 mount 를 완료했다.
fs_setup이 가능한 듯
보인다.fs_setup을 지원하지 않았다,
참고: linux
- How To Use Cloud Init To mount an unformatted EBS volume - Stack
Overflowfs_setup을 위해서 reboot 을 하게 하는
cloud-config 를 보여준다. sleep 에 대한 이야기도 여기에 있다.
테라폼 / 사용법 / common / global variable /
How to define global variables in terraform? - Stack Overflow
linux 에서 ln 을 사용하는 법:
ln -s ../../variables.tf ./global_variables.tf
Ansible 사용
global_vars directory 만들고 그 안에 output 들을
정의한다. 그리고 그값이 .tfstate에 있으니, 그 값을
data 를 통해 가져온다.
data "terraform_remote_state" "global" {
backend = "local"
config {
path = "../global_vars/terraform.tfstate"
}
}환경 변수를 이용하는 법
TF_VAR_name 형식이 아닌 environment variable
을 .tf 에서 사용하는 방법export TF_VAR_test_var="testvar"
terraform에서 다음처럼 변수를 선언하고 사용하면 된다.
variable "test_var" {
type = string
description = "This is an example input variable using env variables."
default = "testvar"
}
resource "aws_instance" "tf-dev-auth-c" {
tag = {
test = var.test_var
}
...
}
log retention / 보존기간 설정 /
기본적으로 airflow 에서 지원하는 retention 설정은 없는 듯 하다. 다음 글들에서는 airflow 를 이용해서 주기적으로 airflow 의 log 를 지우는 방법을 보여준다.
airflow.cfg
를 변경후 server restart설정에 따라 다르다는 듯, 어떤 값들은 reload 하려면 airflow 를 restart 해야 한다.
kill -HUP <scheduler_process_id>
kill -HUP <webserver_process_id>
nohup airflow webserver --port 8080 1> /dev/null 2>&1 &
nohup airflow scheduler 1> /dev/null 2>&1 &airflow scheduler -- DagFileProcessorManager 이 죽지
않는 경우가 있다. 이 경우는 수동으로 kill 해주자. 참고로 scheduler 가 떠
있으면, ‘DagFileProcessorManager’
를 kill 해도 다시 실행된다.
aws iam 정책 설정
IAM policy 를 설정은 AWS management console 에 대한 세부적인 제어는 어렵다.
현재 시도해본 바로는 list 에 대한 설정은 힘들다. 즉, 같은 region 에 있는 ec2 나 rds 등의 list 를 보여줄때 내가 원하는 것만 보여주도록 하고 싶었으나, 실패했다.
시도해 보진 않았으나, region 으로 구분해서 작업하면 좋은 결과가 나올 수도 있을 듯 싶다.
내가 원하는 service에만 권한을 주면 list 가 보이지 않았다.
여기에서도 이야기지만, 모든 action 이 resource level 로 되어 있지 않아서 쉽지 않은 듯 하다.
자세한 사항은 Example policies for working in the Amazon EC2 console - Amazon Elastic Compute Cloud 를 읽어보는 것이 도움이 될 듯 하다.
debzium /
분산시스템에서 2번 write 되는 상황을 해결해준다.
예를 들어, 하나의 작업(operation) 이 ‘db write opertion’ 과 ‘message notification’ 을 갖고 있는 작업이라면, db 에 한번, message 쪽에 이렇게 두번의 write 를 해야 한다.
이 경우 failure(실패)가 날 때 data 의 일관성이 깨진다.(inconsistent), 그래서 이 작업은 atomically 하게 이뤄져야 한다.
예를 들어보자, 만약 가입을 완료하면, 가입완료 email을 보내는 작업이 있다고 하자.
우리는 user 가 생성됐다면, email 이 나갔다고 확신하고 싶지만, 위 2개중 1개가 실패하면 data 가 inconsistent 하게 된다.
outbox table 을 하나 만들고, email event 를 저장한다.(timestamp, sequence number), 그리고 이 table 의 변동사항을 보고, kafka event 를 보내는 것이다.(당연히, 이 작업을 하는 worker가 필요하다.)
여긴 outbox 에 표시를 하고, 그러면 그것이 transaction 이 log 에 기록되고, 이 log 의 Change Data Capture(CDC)를 보고, kafak event 를 보내는 방법을 취한다.
다만 위 2개의 글에서 이야기하는 방식은 ref.1 에서 이야기하는 Using CDC 와 조금 차이를 보인다.
ref.1 에서는 user table 의 row 가 만들어지면, 그것에 대한 binary log 등을 CDC로 사용해서 kafka 에 event 를 보내도록 한다. 하지만 위의 2개의 글에서는 user table 에 insert 가 끝나고, outbox table 에 다시 insert 를 하게 하고, 그 outbox table 의 CDC 를 이용해서 kafka를 보낸다.
둘다 틀린 접근은 아니다. db 에 기록을 남기느냐 마느냐는 선택의 문제인듯 하다.
’kafka 에 send 를 확인하고 나서, user table 을 insert 하는 방식’은 어떨까 ?
이것의 문제는 kafka send 가 성공하고나서, user table의 insert 가 실패하는 경우다. 이 경우 rollback 이 불가능하다.
wasmedge, rust llama-chat 을 실행하는 이야기다. ref. 2 를 확인하면 된다.
여기서는 ref.2 의 내용을 직접 해봤다.
wsl2 여서 그런지 gpu 인식을 제대로 안됐다. 그래서 CPU 만으로 추론(inference)이 된다.
개인적으로 wsl2의 memory 는 대략 8GB까지 올라갔다.
1번째 질문은 1분내에 응답을 했다. 다만 2번째 질문부터는 5분정도 기다려도 답변이 나오지 않았다.
curl -sSf https://raw.githubusercontent.com/WasmEdge/WasmEdge/master/utils/install.sh | bash -s -- --plugin wasi_nn-ggml
# After installing the wasmedge, you have to activate the environment.
# Assuming you use bash (the default shell on Ubuntu), you will need to run the following command
source $HOME/.bashrcpre-built Wasm app
curl -LO https://github.com/second-state/llama-utils/raw/main/chat/llama-chat.wasmsudo apt update
sudo apt install -y libopenblas-devwasmedge --dir .:. --nn-preload default:GGML:AUTO:llama-2-7b-chat-q5_k_m.gguf llama-chat.wasmsecurity credential, IAM role
AWS의 instance에서 IAM role 을 사용할 수 있다. 예를 들어 EC2에서 s3를 사용할때 access key 를 발급받고, 그것을 instance 에 넣고, 그것을 application 이 사용하게 된다. 그런데 이 IAM role 을 사용하면, 실제적으로 application 이 access key 를 사용하는 것과 비슷하게 주기적으로 refresh 되는 security token 을 사용하게 된다.
그래서 IAM 을 사용하는 것은 이전에 access key 를 만들고, 그것을 넣어주는 작업을 좀 더 간편하게 해준다.
+-------------------------------------------+
| EC2 instance |
| - iam/security-credentials/<role-name> |
| +-------------+ |
| | Application | |
| +-------------+ |
+----------|---^----------------------------+
| | |
| | V
| | +---------+ +------------+
| | | Profile |---> | IAM role |
role name | | +---------+ | + policy |
| | | + policy |
| | +------------+
V |
+------------------------------+
| Security Token Service(STS) |
+------------------------------+
iam/security-credentials/<role-name>) 을 보고 해당하는 security credential 을 retrieve 한다.Retrieve instance metadata - Amazon Elastic Compute Cloud : aws는
http://169.254.169.254/latest/meta-data/에 각 instance 들의 meta-data들이 있다.
아래는 s3access 라는 IAM role 에 대한 security credential 을 요청하는 command이다.
# s3access 라는 IAM role 에 대한 security credential 을 요청하는 command
#
TOKEN=`curl -X PUT "http://169.254.169.254/latest/api/token" -H "X-aws-ec2-metadata-token-ttl-seconds: 21600"` \
&& curl -H "X-aws-ec2-metadata-token: $TOKEN" -v http://169.254.169.254/latest/meta-data/iam/security-credentials/s3access
{
"Code" : "Success",
"LastUpdated" : "2012-04-26T16:39:16Z",
"Type" : "AWS-HMAC",
"AccessKeyId" : "ASIAIOSFODNN7EXAMPLE",
"SecretAccessKey" : "wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY",
"Token" : "token",
"Expiration" : "2017-05-17T15:09:54Z"
}만약 instance 에서 AWS SDK를 사용해서 application 을 만들었다면, AWS SDK 가 자동으로 credential 들을 ec2 instance metadata service 로 부터 가져가서 사용하게 된다. (iam/security-credentials/<role-name>)
이 api 는 STS(security token service) 에서 제공한다.
이 api 를 호출하면 credential 을 return 해준다.
sts_client = boto3.client('sts')
assumed_role_object=sts_client.assume_role(
RoleArn="arn:aws:iam::account-of-role-to-assume:role/name-of-role",
RoleSessionName="AssumeRoleSession1"
)
credentials=assumed_role_object['Credentials']
s3_resource=boto3.resource(
's3',
aws_access_key_id=credentials['AccessKeyId'],
aws_secret_access_key=credentials['SecretAccessKey'],
aws_session_token=credentials['SessionToken'],
)
terraform 으로 구성하면 아래와 같다.
설명:
// ----------------------------
//
// IAM Role
//
// ----------------------------
resource "aws_iam_role" "tf-myapp-s3" {
name = "myapp-s3"
assume_role_policy = jsonencode({
Version = "2012-10-17",
Statement = [
{
Sid = "exmyapp"
Action = "sts:AssumeRole",
Effect = "Allow",
Principal = {
// entities that can use this role
Service = "ec2.amazonaws.com"
}
}
]
})
tags = {
Name = "my-app"
}
}
resource "aws_iam_role_policy" "tf-myapp-s3" {
name = "myapp-s3"
role = aws_iam_role.tf-myapp-s3.name
policy = jsonencode({
Version = "2012-10-17",
Statement = [
{
Action = "s3:ListBucket",
Effect = "Allow",
Resource = [
"arn:aws:s3:::mycorp-myapp",
"arn:aws:s3:::mycorp-myapp/*"
],
},
{
Action = [
"s3:DeleteBucket",
],
Effect = "Deny",
Resource = [
"arn:aws:s3:::mycorp-myapp",
]
}
]
})
}
// ----------------------------
//
// instance profile
//
// ----------------------------
resource "aws_iam_instance_profile" "tf-myapp-s3" {
name = "myapp-s3"
role = aws_iam_role.tf-myapp-s3.name
}
// ----------------------------
//
// EC2
//
// ----------------------------
resource "aws_instance" "tf-myapp" {
...
iam_instance_profile = aws_iam_instance_profile.tf-myapp-s3.name
...
}가격 / rds 가격 / multi az 가격
2가지 종류가 있다. 1개의 standby DB instance 가 있는것과 2개의 standby DB instances 가 있는 경우.
1개가 있는 경우는 ‘Multi-AZ DB instance deployment’ 라 부르고 2개가 있는 경우 ’Multi-AZ DB cluster deployment’라고 부른다.
multi-az 를 사용하면 1개의 standby 를 사용하는 것도 사용하지 않는 것보다 비싸다. 대략 2배가 된다.
데이터 정제 / refine / 값 변경 / 보안 / 가공 / data refine
원하는 데이터를 불러서 이것의 일부내용을 변경할 수 있다. 변경된 data 는 excel, sql, csv 등 여러 형태로 추출할 수 있다.
이것은 local 에서 test 할 때 실데이터를 사용하는 것은 보안이슈가 있다. 그런 문제의 소지가 있는 값들(예를들어, 이름, 전화번호등)을 이상한 값으로 변경해서 저장후 테스트용 data 로 배포할 때 쓸 수 있을 듯 하다.
이글은 필자의 이해를 바탕으로 재작성했다. 틀린 부분이 있을 수 있다.
보통 우리의 검색은 indexing 된 정보를 가져다 준다. 그래서 A라는 키워드를 넣으면, 그에 맞는 값들을 던져준다. 이것을 chatgpt 에게 대신할 수 있다. 다만 chatgpt 는 blog 의 모든 글을 읽고 그것을 재구성해서 우리에게 던져줄 수 있다.
이 e5-large-v2 모델은 질문을 던지면, 가지고 있는 답변 문장중에 가장 근접한 것을 던져준다.
ML(machine learning)방법중 Contrastive Learning(대조적 학습)이 있다. self-supervised learning의 일종이다.
이 학습은 positive pair(양성쌍), negative pair(음성쌍)의 data 를 만들고, 이러한 쌍들을 이용해서 모델을 학습시키는 방법이다.
이 data pair 는 사람이 labeling 해서 줄 수도 있고, AI 가 특정 알고리즘을 이용해서 스스로 할 수 도 있다. 이렇게 얻어진 data 로 model 을 학습하게 되면, 이를 통해 이 model 은 데이터 간의 비슷한점(similarity)과 차이점(difference)을 이해하고 패턴을 학습하게 된다.
E5-large-v2 model 은 질문(query)과 그에 맞는 답변(passage)를 가지고 학습한 model이다.(query, passage 의 pair) 그래서 질문을 던지는 경우, 그 질문을 embdding 하고, 그 값을 현재 저장된 embedding 에서 similarity 가 높은 것들을 가져온다.
query 에 대한 embedding 을 뽑고, 이것을 저장된 embedding 인 blog-paragraphs 에서 찾아 본다. 그러면 유사한 query 를 찾아낼 수 있다. 그러면 그 query 에 딸려있는 passage 를 결과로 주면 된다.
llm similar blog-paragraphs -c 'query: what is LLM?'https://huggingface.co/intfloat/e5-large-v2 에서 ‘Inference API’ 로 테스트를 해보면 이 모델이 질문을 던질때 어떤 답변을 줄지 확인해 볼 수 있다.
값을 넣으면 된다.
pip install llm
llm install llm-sentence-transformers자신이 쓰려는 model 을 local 에 설치한다.
llm sentence-transformers register intfloat/e5-large-v2 -a lv2embedding들을 위한 python framework 이다. 기술적인 문장(state-of-the-art sentence), 문서, 이미지에 대해 embedding 을 해준다. 원하는 model 을 선택하고, 그 model 을 기준으로 한 embedding 을 얻을 수 있다.
여기서 사용하는 pretrained model 은 HuggingFace 같은 곳에서 serve 하는 model들이다.
SentenceTransformer는 아래 예시를 보면 이해가 될 것이다.
#
# source from : [Usage](https://www.sbert.net/#usage)
#
from sentence_transformers import SentenceTransformer
model = SentenceTransformer('all-MiniLM-L6-v2')
#Our sentences we like to encode
sentences = ['This framework generates embeddings for each input sentence',
'Sentences are passed as a list of string.',
'The quick brown fox jumps over the lazy dog.']
#Sentences are encoded by calling model.encode()
embeddings = model.encode(sentences)
#Print the embeddings
for sentence, embedding in zip(sentences, embeddings):
print("Sentence:", sentence)
print("Embedding:", embedding)
print("")intfloat/e5-large-v2 · Hugging Face
from sentence_transformers import SentenceTransformer
model = SentenceTransformer('intfloat/e5-large-v2')
input_texts = [
'query: how much protein should a female eat',
'query: summit define',
"passage: As a general guideline, the CDC's average requirement of protein for women ages 19 to 70 is 46 grams per day. But, as you can see from this chart, you'll need to increase that if you're expecting or training for a marathon. Check out the chart below to see how much protein you should be eating each day.",
"passage: Definition of summit for English Language Learners. : 1 the highest point of a mountain : the top of a mountain. : 2 the highest level. : 3 a meeting or series of meetings between the leaders of two or more governments."
]
embeddings = model.encode(input_texts, normalize_embeddings=True)
local 의 model 을 이용하려면 local 에 model 을 다운로드 하고, local path 를 적어주면 된다. (참고: How to load huggingface model/resource from local disk? - Stack Overflow)
huggingface 를 git clone 하면, model file들이 download 된다. 이것을 SentenceTransformer에서 사용하면 된다.
구글 / 레슨 / lesson /
20년전 구글:
현재:
YouTube’s distributed memory caching system 으로 글로벌한 중단(global outage)를 15분간 경험으로 얻은 3가지 교훈
OAuth token 이 사용불가 되자 많은 기기가 logout 하고, OnHub 및 google wifi 기기가 공장초기화를 수행했다. 수동 계정복구 요청이 10배 급증.
COMMUNICATION CHANNELS! AND BACKUP CHANNELS!! AND BACKUPS FOR THOSE BACKUP CHANNELS!!!
Intentionally degrade performance modes (의도적인 성능저하 모드)
diff / policy / CloudWatchFullAccess / CloudWatchFullAccessV2
kubernetes dashboard 접근방법 / 사용법 / 쿠베 / 쿠버네티스
sudo apt update && sudo apt upgrade -y
sudo snap install microk8s --classic
sudo usermod -a -G microk8s ${USER}
microk8s.kubectl get nodemicrok8s enable dns dashboard storage
microk8s.kubectl get all --all-namespacescurl https://10.152.183.192 --insecure 로 접근하면
된다.
windows 에서 wsl2 에 접근하려면 kubectl proxy 를
이용하면 된다.
# wsl2 에서 proxy 를 띄운다.
$ kubectl proxywindows에서 다음 url 로 접근한다.
http://localhost:8001/api/v1/namespaces/kube-system/services/https:kubernetes-dashboard:/proxy/#/login
kubernetes dashboard의 login 에서 token 으로 login 하는 option 이 있다. 그것으로 login 하면 된다.
token 생성은 wsl2 에서 다음처럼 하면 된다.
token=$(microk8s.kubectl -n kube-system get secret | grep default-token | cut -d " " -f1) microk8s.kubectl -n kube-system describe secret $tokenkubernetes 실행/ 쿠베 / 쿠버네티스 실행 / dev local / k8s windows
필요한 package설치
sudo apt-get install -y \
apt-transport-https \
ca-certificates \
curl \
software-properties-commonadd official Docker PGP key
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -add repo
add repo:
sudo add-apt-repository \
"deb [arch=amd64] https://download.docker.com/linux/ubuntu \
$(lsb_release -cs) \
stable"package update:
sudo apt-get update -yinstall docker community edition :
sudo apt-get install -y docker-cedocker group 에 추가
sudo usermod -aG docker $USER && newgrp dockergit clone https://github.com/DamionGans/ubuntu-wsl2-systemd-script.git
cd ubuntu-wsl2-systemd-script/
bash ubuntu-wsl2-systemd-script.sh
sudo apt install -y conntrackminikube 설치:
# Download the latest Minikube
curl -Lo minikube https://storage.googleapis.com/minikube/releases/latest/minikube-linux-amd64
# Make it executable
chmod +x ./minikube
# Move it to your user's executable PATH
sudo mv ./minikube /usr/local/bin/
#Set the driver version to Docker
minikube config set driver dockerkubectl 설치:
이것이 필요한지는 확인이 필요
curl -LO "https://dl.k8s.io/release/$(curl -L -s https://dl.k8s.io/release/stable.txt)/bin/linux/amd64/kubectl"
# Make it executable
chmod +x ./kubectl
# Move it to your user's executable PATH
sudo mv ./minikube /usr/local/bin/namh@DESKTOP-H:~$ minikube start
😄 minikube v1.31.2 on Ubuntu 20.04 (amd64)
✨ Using the docker driver based on user configuration
📌 Using Docker driver with root privileges
👍 Starting control plane node minikube in cluster minikube
🚜 Pulling base image ...
💾 Downloading Kubernetes v1.27.4 preload ...
> preloaded-images-k8s-v18-v1...: 393.21 MiB / 393.21 MiB 100.00% 10.18 M
> gcr.io/k8s-minikube/kicbase...: 447.62 MiB / 447.62 MiB 100.00% 10.86 M
🔥 Creating docker container (CPUs=2, Memory=3900MB) ...
❗ This container is having trouble accessing https://registry.k8s.io
💡 To pull new external images, you may need to configure a proxy: https://minikube.sigs.k8s.io/docs/reference/networking/proxy/
🐳 Preparing Kubernetes v1.27.4 on Docker 24.0.4 ...
▪ Generating certificates and keys ...
▪ Booting up control plane ...
▪ Configuring RBAC rules ...
🔗 Configuring bridge CNI (Container Networking Interface) ...
▪ Using image gcr.io/k8s-minikube/storage-provisioner:v5
🔎 Verifying Kubernetes components...
🌟 Enabled addons: storage-provisioner, default-storageclass
🏄 Done! kubectl is now configured to use "minikube" cluster and "default" namespace by default$ kubectl get nodes -o wide
NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME
minikube Ready control-plane 7m50s v1.27.4 192.168.49.2 <none> Ubuntu 22.04.2 LTS 5.15.133.1-microsoft-standard-WSL2 docker://24.0.4
$ minikube stop
https://m.clien.net/service/board/news/18370348?od=T31&po=1&category=0&groupCd= 유리 가 저장장치로 쓰인다.
disk / storage / 영구적인 저장소 / 디스크 / 스토리지 / ssd / cd / 테이프 / 데이터센터 저장