见解析
解:(1)令x1=x2=0,则f(0)=f(0)+f(0)-2,∴f(0)=2
令x1=1,x2=-1,则f(0)=f(1)+f(-1)-2,∵f(1)=0,∴f(-1)=2+2=4
∴f(-1)=4
(2)设0<x<1,则x+1>1,∴f(x+1)=f(x)+f(1)-2=f(x)-2<0
∴0<x<1时,f(x)<2,又∵当x>1时有f(x)<0,f(1)=0
∴x>0时,f(x)<2
函数f(x)在R上为单调递减函数,证明如下:
证明:设?x1<x2∈R,且x2-x1=t>0
则f(x1)-f(x2)=f(x1)-f(x1+t)=f(x1)-f(x1)-f(t)+2=2-f(t)
∵t>0,∴f(t)<2,∴2-f(t)>0
∴f(x1)>f(x2)
∴函数f(x)在R上为单调递减函数
(3)不等式[f(x2-2x)]2+2f(x2-2x-1)-12<0
?[f(x2-2x)]2+2f(x2-2x)+2f(-1)-4-12<0
?[f(x2-2x)]2+2f(x2-2x)-8<0
设t=f(x2-2x),则t2+2t-8<0,即-4<t<2
∴原不等式?-4<f(x2-2x)<2
?f(3)<f(x2-2x)<f(0)(注:f(3)=f(2)+f(1)-2=3f(1)-4=-4)
?3>x2-2x>0
?-1<x<0或2<x<3
∴不等式的解集为(-1,0)∪(2,3)