如何删除重复的行（sed或awk）

springwind426

Post by najia01;778341
找到用一行命令解决的sed的解法：
sed "$!N;/^\(.*\)\n\1$/!P;D" file
具体什么意思，明天再讲，我得回去想想了。呵呵～～～～
:p

这种方法只对排序过的文件有效

lxmxn

发现sort -u可以直接得出结果。。。

higkoo

Post by springwind426;1784562
sort -u  需要排序

awk '!a[$0]++'

这个指令非常好用，有高手解释一下吗？看不懂！

henryhj

Post by higkoo;2120232
这个指令非常好用，有高手解释一下吗？看不懂！

新手弱问，是不是把模式部分理解为不匹配已经有的数组元素，然后因为默认动作是打印，所以就是这样了？

linxiaoyu_lin

四楼的对
my friends, chenhong
my friends, chenhong
my teacher, liyong
my sister, wushiying
my teacher, liyong
my father, wuzhongyi
my father, wuzhongyi
这样的文件就无法正确处理了
springwind的awk方法最好，不过不理解，麻烦高手解释一下

公子月

sort -u  这个最简单

公子月

awk:

1. 
   
2. awk '{if ($0!=line) print;line=$0}' file
   

复制代码

[/QUOTE]

[root@mail tmp]# awk '{if ($0!=line) print;line=$0}' a.tt
my friends, chenhong
my teacher, liyong
my sister, wushiying
my teacher, liyong
my father, wuzhongyi

这个只能过滤连续重复的啊。
还是这个帅
awk '!a[$0]++' a.tt

bhoppi

20楼的方法思路新颖，学习了

chenfengyuan

cat foo|sort |uniq -d就好了

chenfengyuan

嗯,sort -u也不错.这种上sed awk就没必要了.