Bash

• Bash общая информация
• Bash скрипты
• Примеры скриптов
• Регулярные выражения
• Grep, awk, sed

Bash общая информация

Консоль работает с текстом, поэтому центральная задача - обработка текста.

Поиск приложения: whereis name

~ - домашняя директория, ~sergey домашняя директория пользователя sergey

cd без аргументов в домашнюю, cd - в предыдущую

Маски для ls 

Утилиты фильтрации текста

grep -r "поисковой_запрос" /путь/к/директории/

${BIN_PATH}ndiff $BASE_RESULTS $NEW_RESULTS > $NDIFF_RESULTS

[
  {
    "plugins": {
      "HTTPServer": {
        "string": [
          "Werkzeug/3.0.1 Python/3.12.3"
        ]
      }
    }
  }
]

curl -X POST -H "Content-Type: application/json" \
     -d '{"name":"Alice"}' https://api.example.com/users

curl -H "Authorization: Bearer TOKEN" https://api.example.com

Редиректы

Вывод в файл:

Вывод из файла:

Фоновые задачи

Фоновые задачи не получают данные от клавиатуры

Задачи завершаются при закрытии сессии. Через команду nohup можно сделать задачу, работающую после закрытия сессии. 

nohup ./myscript.sh &

История ввода команд

Хранится где-то в сессии, сохраняется в .bash_history при закрытии сессии. Для просмотра введенных команд в пределах сессии используется утилита fc

!! исполнение предыдущей команды

Специальные файлы

.bash_profile, .bash_logout, .bashrc Если отсутствуют - используются файл /etc/profile и файлы из /etc/profile.d

.bash_profile - сейчас не используется. 

В .profile переменные окружения, .bashrc - скрипты. .bash_login при входе. Но идея осталась.

Последовательность поиска при авторизации, исполняется первый найденный 

• ~/.bash_profile

• ~/.bash_login

• ~/.profile

Исполняет команды при каждом входе в систему.

Итого: 

~/.bashrc

Используется в интерактивных (обычных) shell-ах. Сюда кладём то, что нужно только в терминале:

• алиасы (alias ll='ls -lh')
• функции (mkcd() { mkdir -p "$1" && cd "$1"; })
• настройки PS1 (prompt, цвета)
• shopt и настройки истории (HISTSIZE, HISTCONTROL)
• подключение fzf, автодополнений и прочих «тюнингов»

~/.profile

Используется при login-shell (и не только Bash, а sh/dash/zsh тоже могут его читать). Сюда кладём:

• переменные окружения (PATH, EDITOR, LANG, JAVA_HOME)
• настройки, которые должны работать и в GUI-программах (например, экспорт GTK_THEME или XMODIFIERS)
• запуск программ при логине (например, ssh-agent или gnome-keyring-daemon)

~/.bash_profile или ~/.bash_login 

Сегодня почти не нужны. Если они есть, то Bash не будет читать ~/.profile. 

source .profile - перечитать файл

Alias, options и переменные окружения

Алиасы для команд. Создание алиасов: alias cdvoy='cd sipp/demo/animation/voyager'

Пробел перед закрывающей ' означает ожидание ввода пользователя.

unalias name - удаление 

set +o optionname установить опцию, -o убрать. Фиксированный набор. Не впечатлило.

Переменные

Синтаксис: varname='something', использование $varname удаление unset varname

Формат timestamp:

Строка приглашения

PS1 - основное приглашение

PS2 - при незавершенной строке

В переменной PS1

Пример: PS1="\u@\h:\w\$ "

PATH

Просмотр последовательно всех путей.

Добавление в пути: PATH=$PATH":/home/you/bin"

Для ускорения поиска пути к приложениям хранятся в хэш таблице в каждой сессии. 

hash -r очищает таблицу хэшей путей.

CDPATH

Аналог path для директорий поиска при использовании cd. 

Переменные окружения

Вызванная программа не знает переменных консоли. Для видимости нужно экспортировать переменную в переменную окружения.

source .envfile догружает переменные из файла

Переменные по умолчанию

Периферийные функции

Bash скрипты

При запуске скрипта создается дочерняя консоль, в ней выполняется скрипт и результат возвращается в консоль.

Можно запускать через source, имя (если . в PATH), ./... , и ./ ... & С фоновой задачей аккуратно с объемом вывода, ^C не работает.

Shebang

Лучше использовать shebang в начале (указатель, какую консоль использовать)

#!/bin/bash

Параметры можно указывать при запуске скрипта, тогда shebang работать не будет.

Удобства

Комментарии #

bash -n script.sh проверка синтаксиса без исполнения скрипта

Внутри можно использовать следующую конструкцию для вывода части скрипта: 

#!/bin/bash
...
set -x
...potentially error part...
set +x

Операция ; запускает несколько команд независимо от их статуса завершения 

ls; ps; whoami

выполнит все команды

Перенаправления результата выполнения 

Номера потоков

0 - stdin, 1 - stdout, 2 - stderr

lzl -l 1> stdout.txt 2>stderr.txt

выведет в stderr.txt

Функции

function functname{
shell commands
}

functname(){
shell commands
}

Используют позиционные переменные. 

functname "one" $7

Если внутри функции нужна локальная переменная, то local var1="something", иначе используется глобальная переменная.

Статус возврата из функции перезаписывается после каждого вызова команды, поэтому при необходимости возврата статуса некоторой функции внутри нужно сохранять статус.

cd baddir
echo $?

По умолчанию возвращается статус вызова последней команды. Либо через return N 

builtin mkdir "/var/first"
es=$?
echo "$OLDPWD --> $PWD"
return $es

Желательно возвращать код результата, а не просто цифру.

Программы для работы с функциями

Приоритет при вызове из консоли

1. Aliases
2. Служебные слова типа if, ...
3. Функции
4. Встроенные команды типа cd, type, ...
5. Скрипты и исполняемые команды

Переменные

Строковые (по умолчанию)

Описывается $varname или ${varname} Например есть переменная UID. Для вывода 0_ нужно использовать echo ${varname}_

Удаление переменной unset var1

Определение глобальной переменной: var1="something"

Обработка значений переменных перед вводом

Обработка переменных 

Длина значения ${#filename}

Типизированные

При помощи declare <param> var

myfunc() {
    echo "Hello from myfunc"
}
declare -f myfunc

Пример: 

declare -i val3=12 val4=5
declare -i result2
result2=val3*val
echo $result2

Выведет 60

Использование let 

let result="4 * 5"
echo $result

Также можно использовать двойные скобки 

let result=$((4 * 5))
echo $result

Есть операции +,-,/,*,%-модуль, += увеличение на константу, -=

Массивы

arr = (1 2 3)
echo "${arr[*]}" #весь массив
echo "${arr[0]}" #1
unset ${arr[1]} #удалит 2 из массива
${arr[0]}=10 #перезапишет 1 в 10

Условия

Условия завершения программы

Условие анализируется не на логическом, а на статусе результата (exit status) выполнения программы. 0 - ОК, 1-255 ошибка.

if condition; then
statements
[elif condition; then 
statements...]
[else
statements]
fi

Условие анализа строк

 конструкция [], внутри нее возможны условия проверки и сравнения строк.

Условия сравнения чисел

Можно комбинировать 

if command && [ condition ]; then

Логика внутри условия

if statement1 && statement2
then
...
fi

if statement1 || statement2
then
...
fi

Свойства файла, проверяемые в условиях

Цикл for

Итерируется только по полному списку.

for name [in list]; do
    statements that can use $name...
    done

Если list не определен, то используется $@

Есть переменная IFS 

IFS=:
for dir in $PATH
  do
    ls -ld $dir
  done

break выход из цикла, continue продолжить следующую итерацию

Цикл while

while condition; do
statements...
done

Для бесконечного цикла можно использовать while true; do

Просмотр каждой строки вывода программы (например ping) 

#!/bin/bash

ping 172.16.10.1 | while read -r line; do
  echo Пинг $line | awk '{print $1 $6}'
  done

Цикл until

until command; do
statements...
done

Case

for filename in "$@"; do
  pnmfile=${filename%.*}.ppm
  case $filename in
    *.jpg ) exit 0 ;;
    *.tga ) tgatoppm $filename > $pnmfile ;;
    *.xpm ) xpmtoppm $filename > $pnmfile ;;
    *.pcx ) pcxtoppm $filename > $pnmfile ;;
    *.tif ) tifftopnm $filename > $pnmfile ;;
    *.gif ) giftopnm $filename > $pnmfile ;;
    * ) echo "procfile: $filename is an unknown graphics file." 
        exit 1 ;;
  esac
  outfile=${pnmfile%.ppm}.new.jpg
  pnmtojpeg $pnmfile > $outfile
  rm $pnmfile
done

Опции исполнения

shift смещает переменные влево.

myshift.sh
echo $1 $2
shift
echo $1 $2
Использование: ./myshift.sh one two
Вывод:
one two
two

Вариант скрипта, считывающего параметры со случайным размещением параметров 

while [ -n "$(echo $1 | grep '-')" ]; do
  case $1 in
    -a ) aopt=$2
         shift;;
    -b ) bopt="True"
        ;;
    -c ) copt=$2
        shift;;
    *  ) echo 'usage: alice [-a] [-b] [-c] args...'
         exit 1
  esac
  shift
done

Опция -b является одинарной, -a и -c параметризованные.

В процессе исполнения можно добавлять интерактивность за счет считывания аргументов 

echo "First arg"
read -r farg
echo "First arg is ${farg}"

Вызов другого скрипта

Если есть права на исполнение и правильный shebang то вызов по имени. Скрипт исполняется в подпроцессе.

#!/bin/bash
echo "Это первый скрипт"

./script2.sh   # вызов второго скрипта

Если директория script2.sh не в PATH то нужен полный путь.

Для выполнения скрипта в одном процессе, все переменные передаются: 

#!/bin/bash
echo "Это первый скрипт"

source script2.sh

Также можно передавать аргументы.

Примеры скриптов

Задача: Есть файл формата кол-во альбомов TAB исполнитель. Нужно вывести первые N исполнителей. Первый аргумент имя файла, второй (необязательный) N. По умолчанию 10. 

filename=${1:?'Нужно определить имя файла в первом аргументе!'}
maxcount=${2:-10}
sort -nr $filename | head -n $maxcount

Задача: Обертка для команды ls, которая выводит информацию в человекочитаемом виде.

if [ ! -e "$1" ]; then
    echo "Файл $1 не существует"
    exit 1
fi
if [ -d "$1" ]; then
    echo -n "$1 директория, в которой "
    if [ ! -x "$1" ]; then
       echo -n "нельзя "
    fi
    echo "проводить поиск."
elif [ -f "$1" ]; then
    echo "$1 обычный файл."
else
    echo "$1 специальный файл."
fi
if [ -O "$1" ]; then
    echo 'Вы владелец этого файла'
else
    echo 'Вы не являетесь владельцем этого файла.'
fi
if [ -r "$1" ]; then
    echo 'У вас есть право чтения этого файла.'
fi
if [ -w "$1" ]; then
    echo 'У вас есть право записи этого файла.'
fi
if [ -x "$1" -a ! -d "$1" ]; then
    echo 'У вас есть право исполнения этого файла.'
fi

Задача: На входе скрипта два параметра: текстовый идентификатор и адрес сайта. Если не хватает параметров - ошибка и выход. Пропинговать адрес, сохранить данные в файл в виде Идентификатор, адрес, результат пинг (Да/Нет), дата и время.

#!/bin/bash

PINGRESULT='ping_result.csv'

ident=${1:?'Нужно определить идентификатор хоста в первом аргументе!'}
myhost=${2:?'Нужно определить адрес хоста во втором аргументе!'}


if [ ! -e "$PINGRESULT" ]; then
    touch $PINGRESULT
fi

if [ -d "$PINGRESULT" ]; then
    echo "$PINGRESULT это директория. Удалите ее или измените имя файла."
        exit 1
fi

declare -i res=$(ping $myhost -c 1 | grep transmitted | awk '{print $4}')
if [ $res -eq "1" ]; then
    isaval="Доступен"
else
    isaval="Не доступен"
fi
echo ${ident},${myhost},${isaval},$(date '+%Y-%m-%d %H:%M:%S') > $PINGRESULT

Задача: Отправить сообщение пользователю telegram

#!/bin/bash
#sudo apt update && sudo apt install -y jq
#usage ./tgsender "My message"

BOT_TOKEN="..."
# 📢 ID канала или ID user
CHAT_ID="..."

MESSAGE=${1:?"Необходимо определить сообщение в первом аргументе"}

# Запрос в Telegram API
res=$(curl -s -X POST "https://api.telegram.org/bot${BOT_TOKEN}/sendMessage" \
     -d chat_id="${CHAT_ID}" \
     -d text="${MESSAGE}" \
     -d parse_mode="Markdown"\
     | jq -r '.ok')

if [ "${res}" = "true" ]; then
  echo "Ok"
else
  echo "Error"
fi

Регулярные выражения

Grep, awk, sed

Общий синтаксис для sed и awk: command [options] script filename

Если скрипт определяется в команде, то одинарные кавычки.

-f filename имя скрипта

Каждая инструкция скрипта состоит из блока шаблона и процедуры. Шаблон отделяется /. Строки скрипта интерпретируются последовательно, если найдено соответствие шаблону - исполняется процедура. Применяется каждая строка скрипта. Sed выводит строку, поведение awk нужно определять в скрипте. В скриптовом файле шаблон пишется без кавычек

cat sedscr
s/ MA/, Massachusetts/
s/ PA/, Pennsylvania/
s/ CA/, California/
s/ VA/, Virginia/
s/ OK/, Oklahoma/

grep

Регулярки пишутся в двойных кавычках

grep "[PV]A" testone.txt

grep "10\{1,2\}1" testone.txt

grep по умолчанию не понимает спецсимволы типа \d,... \d интерпретируется как символ d. Чтобы понимал: 

echo "123 abc" | grep -P '\d'

sed

Правила применяются последовательно, поэтому одно правило может сделать строку, соответствующую второму правилу. И результат замены может быть неожиданным.

Правила для скрипта

awk

Интерпретирует каждую строку как запись и каждое слово как поле. Переменные

$0 полная строка

$1, $2, ... номера полей. Вне awk скрипта $ - параметр bash!

Различные форматы применяются последовательно, например 

awk '/VA/ { print $1}' testone.txt

Для строк, в которых есть VA, будет выведено первое поле.

Можно создавать переменные и затем использовать их в сравнении. Переменные создаются внутри {}, используются вне. Изначально все переменные - пустые строки, автоматически инициализируются.

{LastState = $1}

Правила для скрипта формата {}

Правила для скрипта формата //

Пример совмещения задач

! /bin/sh
awk -F, '{print $4 ", " $0}' $* |
sort |
awk -F, '
$1 == LastState {print "\t" $2}
$1 != LastState {LastState = $1; print $1; print "\t" $2}
'

Вывод 

 CA
         Amy Wilde
 Massachusetts
         Eric Adams
         John Daggett
         Sal Carpenter
 OK
         Orville Thomas
 PA
         Terry Kalkas
 VA
         Alice Ford
         Hubert Sims