Oracle 이라면 lead, lag 쓰시면 될 것 같습니다.

lead(idx) over (order by idx, no), lead(no) over (order by idx, no)

데이터가 소량이라면 풀스캔후 LAG, LEAD 등을 이용해 전후 idx, no 를 가져올 수는 있습니다.
대량의 경우엔 인덱스를 이용하는게 성능상 좋긴 하겠지만...
항목이 두개이다 보니 조건 주기가 여간 까다로운게 아닙니다.

CREATE TABLE test3
AS
SELECT 1 idx, 1 no FROM dual
UNION ALL SELECT 1, 2 FROM dual
UNION ALL SELECT 5, 1 FROM dual
UNION ALL SELECT 5, 2 FROM dual
UNION ALL SELECT 5, 3 FROM dual
UNION ALL SELECT 7, 1 FROM dual
UNION ALL SELECT 7, 2 FROM dual
;

CREATE UNIQUE INDEX x01_test3 ON test3(idx, no);

SELECT /*+ INDEX_DESC(test3 x01_test3) USE_CONCAT */
       'PRE' gb, idx, no
  FROM test3
 WHERE ( (idx = :v_idx AND no < :v_no) OR idx < :v_idx )
   AND ROWNUM <= 1
 UNION ALL
SELECT /*+ INDEX_ASC(test3 x01_test3) USE_CONCAT */
       'NEXT' gb, idx, no
  FROM test3
 WHERE ( (idx = :v_idx AND no > :v_no) OR idx > :v_idx )
   AND ROWNUM <= 1
;

WITH 문으로 수행하면 당연히 인덱스를 안타죠.

저는 테이블 생성하고 인덱스 생성하고 그리고 테스트 한건데요.

게시판 형태라면, 리스트 ->상세 화면 넘어갈때 앞뒤 항목 번호들을 같이 넘겨주는 방법도 있을 것 같습니다.
페이징 고려하면 -1, +1 더 가져오는 부담은 있겠네요.