システム管理者向けの30のGrepの例

形式言語と正規表現について学ぶことはエキサイティングなトピックです。 grepの学習には、正規表現よりも多くのことがあります。それを開始し、grepの美しさと優雅さを確認するには、最初にいくつかの実際の例を確認する必要があります。

便利であなたの生活を少し楽にする例。ここに30のそのようなgrepのありふれたユースケースとオプションがあります。

1. ps aux | grep

ps auxは、すべてのプロセスとそれに関連するpidを一覧表示します。しかし、多くの場合、このリストは人間が検査するには長すぎます。出力をgrepコマンドにパイプすると、非常に特定のアプリケーションを念頭に置いて実行されているプロセスを一覧表示できます。たとえば、sshd、nginx、httpdなどです。

2.IPアドレスを取得する

ほとんどのオペレーティングシステムでは、コマンドifconfigまたはip addrを使用して、すべてのネットワークインターフェイスとそのインターフェイスに割り当てられているIPを一覧表示できます。これらのコマンドは両方とも、多くの追加情報を出力します。ただし、IPアドレスのみを出力する場合（シェルスクリプトなど）は、次のコマンドを使用できます。

ip addrコマンドはすべての詳細（IPアドレスを含む）を取得し、次にinetを含む行のみを出力する2番目のコマンドgrepinetにパイプされます。次に、これはawk printにパイプされ、各行の2番目の単語を出力します（簡単に言うと）。

追伸：awkをよく知っている場合は、grepなしでこれを行うこともできます。

3.失敗したSSHの試行を確認する

パブリックIPを備えたインターネットに面したサーバーがある場合、SSHの試行は常に攻撃されます。ユーザーにパスワードベースのSSHアクセスを許可すると（私はお勧めしません）、このような失敗したすべての試行を確認できます。次のgrepコマンド：

4.GrepをUniqに配管する

時々、grepは多くの情報を出力します。上記の例では、単一のIPがシステムに入ろうとしている可能性があります。ほとんどの場合、一意に識別してブラックリストに登録する必要がある、そのような問題のあるIPはほんの一握りです。

uniqコマンドは、一意の行のみを出力することになっています。 uniq -f 3は、最初の3つのフィールドをスキップして（繰り返されることのないタイムスタンプを見落とすため）、一意の行の検索を開始します。

5.エラーメッセージの取得

アクセスログとエラーログにGrepを使用するのは、SSHだけに限定されません。 Webサーバー（Nginxなど）はエラーをログに記録し、ログに非常に細心の注意を払ってアクセスします。 grep404が新しい値を返したときにアラートを送信する監視スクリプトを設定した場合。それは非常に便利です。

正規表現は404ではない場合がありますが、モバイルクライアントのみまたはWebページを表示しているAppleデバイスのみを対象としたその他の正規表現フィルタリングです。これにより、アプリのパフォーマンスをより深く理解できます。

6.パッケージリスト

Debianベースのシステムの場合、dpkg -lは、システムにインストールされているすべてのパッケージを一覧表示します。これをgrepコマンドにパイプして、特定のアプリケーションに属するパッケージを探すことができます。例えば：

7. grep -v fileNames

すべての行を一覧表示するには しないでください 特定のパターンが含まれている場合は、フラグ-vを使用します。これは基本的に通常のgrepコマンドの反対です。

8. grep -l

提供されたパターンの少なくとも1つのオカレンスを含むすべてのファイルが一覧表示されます。これは、複数のファイルがあるディレクトリ内のパターンを検索する場合に役立ちます。ファイル名のみを出力し、パターンの特定の行は出力しません。

9.シングルワードオプション-w

-wフラグは、grepに、行の部分文字列だけでなく、単語全体として指定されたパターンを検索するように指示します。たとえば、以前はIPアドレスとパターンを取得しました inet 両方で行を印刷しました inet と inet6 IPv4アドレスとIPv6アドレスの両方を一覧表示します。ただし、-wフラグを使用した場合は、 inet 空白の前後の単語は有効な一致です。

10.拡張正規表現

Grepにネイティブな正規表現には、少し制限があることがよくあります。ほとんどのスクリプトと手順では、-Eフラグが使用されており、これにより、拡張モードと呼ばれるパターンを入力できます。

スーパーマンとスパイダーマンという単語を探すためのgrepコマンドとgrep-Eコマンドは次のとおりです。

ご覧のとおり、拡張バージョンの方がはるかに読みやすくなっています。

11.コンテナのGrep

ホストで実行されているコンテナーの大規模なクラスターがある場合は、イメージ名、ステータス、それらが公開しているポート、およびその他の多くの属性でコンテナーをgrepできます。例えば、

12.ポッドのGrep

コンテナのトピックに取り組んでいる間。 Kubernetesは、特定のデプロイで複数のポッドを起動する傾向があります。各ポッドには一意の名前がありますが、特定の名前空間では、通常、展開名で始まります。それをgrepして、特定のデプロイメントに関連付けられているすべてのポッドを一覧表示できます。

13.ビッグデータのグリップ

多くの場合、いわゆるビッグデータ分析には、特定のデータセット内のパターンの単純な検索、並べ替え、およびカウントが含まれます。 grep、uniq、wcなどの低レベルのUNIXユーティリティは、これが特に優れています。このブログ投稿は、Hadoopがほぼ30分かかったときに、grepやその他のUnixユーティリティを使用してわずか数秒で実行されるタスクの良い例を示しています。

たとえば、このデータセットのサイズは1.7GBを超えています。これには、行われた動き、勝った人など、多数のチェスの試合に関する情報が含まれています。結果だけに関心があるため、次のコマンドを実行します。

これは、4年前の2コア/ 4スレッドプロセッサでは約15秒かかりました。したがって、次にビッグデータの問題を解決するとき。代わりにgrepを使用できるかどうかを考えてください。

14. grep –color = auto

このオプションを使用すると、grepは、見つかった行内のパターンを強調表示できます。

15. grep -i

Grepパターンマッチングは本質的に大文字と小文字を区別します。ただし、それを気にしない場合は、-iフラグを使用すると、grepの大文字と小文字が区別されなくなります。

16. grep -n

-nフラグは行番号を表示するので、後で同じ行を見つけることを心配する必要はありません。

17. git grep

バージョン管理システムであるGit自体には、通常のgrepとほとんど同じように機能するgrepコマンドが組み込まれています。ただし、面倒なパイプの代わりに、ネイティブのgit CLIを使用して、コミットされたツリーのパターンを検索するために使用できます。たとえば、リポジトリのマスターブランチにいる場合は、次を使用してリポジトリ全体をgrepできます。

18. grep -o

-oフラグは、正規表現をデバッグするときに非常に役立ちます。行全体ではなく、行の一致する部分のみを印刷します。そのため、場合によっては、提供されたパターンに対して不要な行が多すぎて、なぜそれが発生しているのか理解できません。 -oフラグを使用して、問題のある部分文字列と正規表現に関する理由をそこから逆方向に出力できます。

19. grep -x

-xフラグは、行全体が指定された正規表現と一致する場合にのみ、行を出力します。これは、単語全体が指定された正規表現に一致した場合にのみ行を出力する-wフラグにいくぶん似ています。

20. grep -T

シェルスクリプトからのログと出力を処理する場合、出力の異なる列を区別するためのハードタブが発生する可能性が高くなります。 -Tフラグは、これらのタブをきちんと整列させて、列がきちんと配置されるようにし、出力を人間が読めるようにします。

21. grep -q

これにより、出力が抑制され、grepコマンドが静かに実行されます。テキストを置き換えるとき、またはデーモンスクリプトでgrepを実行するときに非常に便利です。

22. grep -P

正規表現構文をperlすることに慣れている人は、-Pフラグを使用してそれを正確に使用できます。 grepがデフォルトで使用する基本的な正規表現を学ぶ必要はありません。

23. grep -D [アクション]

Unixでは、ほとんどすべてをファイルとして扱うことができます。したがって、任意のデバイス、ソケット、またはデータのFIFOストリームをgrepに供給することができます。 -Dフラグの後にACTIONを使用できます（デフォルトのアクションはREADです）。他のいくつかのオプションは、特定のデバイスをサイレントにスキップするSKIPと、ディレクトリとシンボリックリンクを再帰的に通過するRECURSEです。

24.繰り返し

既知のより単純なパターンの繰り返しである特定のパターンを探している場合は、中括弧を使用して繰り返しの数を示します

10桁以上の文字列を含む行を印刷します。

25.繰り返しの速記

一部の特殊文字は、特定の種類のパターンの繰り返し用に予約されています。必要に応じて、中括弧の代わりにこれらを使用できます。

？ ：疑問符の前のパターンは、0回または1回一致する必要があります。

*：星の前のパターンは0回以上一致する必要があります。

+：プラスの前のパターンは1回以上一致する必要があります。

25.バイトオフセット

一致する式が見つかった行のバイトオフセットを確認したい場合は、-bフラグを使用してオフセットを出力することもできます。行の一致する部分だけのオフセットを印刷するには、-bフラグと-oフラグを使用できます。

オフセットとは、ファイルの先頭から何バイト後に一致する文字列が開始されるかを意味します。

26. egrep、fgrep、rgerp

前に説明した拡張正規表現構文を使用するために、egrepが呼び出されることがよくあります。ただし、これは非推奨の構文であるため、これを使用しないことをお勧めします。代わりにgrep-Eを使用してください。同様に、fgrepの代わりにgrep -Fを使用し、rgrepの代わりにgrep-rを使用します。

27. grep -z

grepへの入力が、改行文字で終わる行ではない場合があります。たとえば、ファイル名のリストを処理している場合、それらはさまざまなソースから取得される可能性があります。 -zフラグは、NULL文字を行末として扱うようにgrepに指示します。これにより、着信ストリームを通常のテキストファイルとして扱うことができます。

28. grep -a [fileName]

-aフラグは、提供されたファイルを通常のテキストであるかのように扱うようにgrepに指示します。ファイルはバイナリである可能性がありますが、grepは内部のコンテンツをテキストであるかのように扱います。

29. grep -U [ファイル名]

-Uフラグは、提供されたファイルをテキストではなくバイナリファイルであるかのように扱うようにgrepに指示します。デフォルトでは、grepは最初の数バイトを見てファイルタイプを推測します。このフラグを使用すると、動作を推測することが無効になります。

Grep -m NUM

大きなファイルの場合、式のgrepは永遠にかかる可能性があります。ただし、最初のNUM個の一致のみをチェックする場合は、-mフラグを使用してこれを実行できます。それはより速く、出力もしばしば管理可能です。

結論

システム管理者の日常業務の多くは、大量のテキストをふるいにかけることを伴います。これらは、セキュリティログ、Webサーバーまたはメールサーバーからのログ、ユーザーアクティビティ、またはマニュアルページの大きなテキストである可能性があります。 Grepは、これらのユースケースを処理するときに、その余分な柔軟性を提供します。

うまくいけば、上記のいくつかの例と使用例が、この生きているソフトウェアの化石をよりよく理解するのに役立つでしょう。